Замок Любарта являє собою у плані рівносторонній трикутник із випнутими сторонами і відстанями між вершинами (вежами) 100 м. Висота стін близько 12 м над валом. Товщина сягає до 3 м, верхня частина має товщину 0,8 м. Загалом на замок використано до 5 млн цеглин. Протягом шести віків рівень підлоги замкового двору піднявся приблизно на 3,8 м. На стінах містяться бойові галереї.

В'їзна вежа - це п'ятиярусна споруда. Висота становить 28 м. У південній частині розміщені гвинтові сходи,які сполучались з князівським палацом. Від рогу вежі починається стіна Окольного замку. Над входом розташовані два портали із арковим завершенням. Другий ярус вежі має напівциліндричні, а третій та четвертий мали хрещаті склепіння. У середній частині фасаду виступають квадратні зубці, верхній карниз має аркатурний мотив. Задній фасад вежі, який виходить у замковий двір, має простішу структуру. Центральний прохід має готичне завершення. Середні яруси вежі, за винятком верхнього, мають по одному вікну, обрамлені білокам'яними.

Стирова вежа, як і В'їзна, має форму прямокутного паралелепіпеда, підпирається зовні контрфорсами. Висота 28 м. Також має два зовнішні відгалуження: східне (коротше) є залишком східного оборонного кільця, південне (довше) — залишок Окольного замку. Має два входи з білокам'яними порталами: нижній довгий був засипаний, тому користувались входом другого ярусу. Звідси є сполучення з верхніми ярусами по гвинтових сходах, що проходять в стіні. На стінах можна прогледіти орнаментальний тип кладки цегли. Загалом товщина стін зменшується догори: на нижньому ярусі сягає до 3 м, а на верхньому (аттиковий) — 75 см. З третього ярусу є виходи на бойові майданчики стін. У стінах різних поверхів влаштовані бійниці, деякі з вікон мають готичне обрамлення, інші — ренесансне. Перемички внутрішніх дверей аркові.