В 1883 году по проекту архитектора Христофора Нейслера началось возведение замка для супругов. За три года были возведены стены метровой толщины, а к 1887 году была завершена внутренняя отделка. Дворец построен в ʺстароанглийскомʺ стиле. Напротив господского дома — ворота с башней и вмонтированными в неё часами швейцарской фирмы ʺВинтерʺ, названный ʺсвитским корпусомʺ, так как там размещалась свита, сопровождавшая знатных особ, посещавших усадьбу. Принцесса занималась тем, что обустраивала жизнь в селе. В частности, она построила первую в России конфетную фабрику с применением паровых машин, которая получила название ʺПаровая фабрика конфет и шоколадаʺ и позднее стала прародительницей Воронежской кондитерской фабрики. Именно при ней была учреждена стипендия Её высочества принцессы Ольденбургской, появились столовая и лечебница для местных жителей и железная дорога, была построена водонапорная башня и водопровод. При этом в посёлок постоянно приезжали новые крестьяне. В итоге Рамонь стала расширяться и из захолустного поселения превратилась в довольно зажиточное. В 1901 году 33-х летний сын Евгении и Александра Ольденбургских Пётр женился на 19-летней сестре императора Николая II Ольге. В подарок им неподалёку от замка был построен особняк, прозванный ʺУютнымʺ. Однако подарок не понравился Ольге, и для молодожёнов было куплено соседнее имение, названное впоследствии Ольгино. После Октябрьской революции хозяйка замка была вынуждена перебраться во Францию, а затем в Канаду, город Торонто. Имение было разорено неким управляющим по фамилии Кох. После революции здесь по очереди располагались казарма, школа, больница, заводоуправление и т. д. С конца 1970-х годов дворец закрыт на реставрацию. Всё это время здание непригодно для эксплуатации, но несмотря на это в нём проводятся экскурсии. Дворец принцессы Ольденбургской стал первым культурным объектом, попавшим в сферу контроля Фонда поддержки культурного наследия Воронежской области. В конце 2010 года памятник перешёл в областную собственность.
Использованы фотоматериалы с сайтов: lh6.ggpht.com; img-fotki.yandex.ru; www.swadba36.ru; www.dobrodey.ru