На замковом дворе размещались православная церковь (в 1533 перенесена в город), жилые и хозяйственные постройки, с 1568 — суд, архив, острог. Жилые помещения размещались на верхних этажах башен. Замок имеет форму неправильного четырёхугольника. Самая большая северная стена. Её длина 93,5 м. В 1891 году Лида сгорела, причём огонь уничтожил весь центр, включая здание ратуши XVIII в. Городские власти начали разбор и распродажу замковых строений, используя их для восстановления города. С откосов замкового холма стали брать песок. Тогда были почти целиком уничтожены остатки юго-западной башни и разобрана часть западной стены. В 1953 году Лидский замок вошёл в список памятников архитектуры, взятых под государственную охрану, хотя это и не остановило его разрушения. В следующие десятилетия на территории замка существовал небольшой стадион, часто останавливался передвижной зверинец. В 1982 году осуществлена полная консервация Лидского замка. Два последние десятилетия ведутся (с перерывами) реставрационные работы; вновь отстроенные части крепостных стен выделяются кирпичным цветом. Сейчас замок стал центром проведения рыцарских фестивалей. Здесь планируется размещение музейной экспозиции.