Именно тогда, в период расцвета государства, дворец считался одним из самых роскошных в Европе. Уникальная отделка помещений, позолота, резьба, мраморные камины - все говорило о богатстве венгерских монархов. Упадок наступил уже в середине XVI века, когда город оказался под властью турок. Частично разграбленный, частично разрушенный, дворец пережил еще множество перестроек. Восстановленный в конце XIX века, он был обращен в руины во время второй мировой войны.
То здание, которое мы видим сегодня, воссоздано уже во второй половине XX столетия по сохранившимся чертежам и рисункам. Фасад его выглядит по-царственному торжественно, он поражает своими размерами и удивительно точными пропорциями. Обратная же сторона дворца, где частично сохранились средневековые постройки, напоминает неприступную крепость.
В помещениях дворца разместилась национальная галерея, с уникальной коллекцией живописи, национальная библиотека Венгрии, музей истории Будапешта.