Общая площадь вместе с садами составляет 7,41 кв. км. Архитектура зданий комплекса является смешанной: некоторые здания построены в европейском, а другие в традиционном стиле. Первый замок в этом месте в XV веке построил местный правитель Ота Докан. С начала XVII века замок приобрел статус поместья сёгунов Токугава, которые правили Японией два с половиной столетия. За свою историю замок много раз менял свой облик – он не один раз горел, во время Второй мировой войны подвергался бомбардировкам, его восстанавливали и достраивали. Восстановленный дворец состоит из двух наземных и одного подземного этажа. Главный, второй и третий дворы комплекса превращены в Восточный дворцовый парк, который в определенные дни и часы открыт для посещения всеми желающими. На территории комплекса также находятся Персиковый музыкальный зал, три дворцовых святилища, Императорская лаборатория. Дворец так же, как и при сёгунах, окружен глубокими рвами с водой. Кроме Восточного парка, дворец по-прежнему является закрытой территорией, попасть сюда можно только два раза в год – 2 января, когда император и его семья принимают новогодние поздравления, и 23 декабря – в день рождения символа государства – императора. Над дворцом запрещено летать на вертолетах, а под ним никогда не будет проведена линия метро. Рядом с дворцом находятся центральный вокзал Токио, торговый район Гиндза и район Кацумагасэки, где располагаются офисы многих министерств и ведомств.
