Ему покровительствовал архиепископ Майнцский. Его сын (или внук) Людвиг Прыгун или Людвиг Скакун в 1073 году заложил на горе Вартбург своё родовое гнездо. Впервые замок упоминается в 1080 году в связи с нападением войска замка на военный отряд короля Генриха IV. Замок в это время был деревянным, и от того облика, к сожалению, ничего не сохранилось. Значительную перестройку замка провёл ландграф Людвиг II. Под его руководством в 1156—1162 годах в замке был построен дворец, имеющий высокую культурно-историческую ценность, представлявший собой отдельно стоящее жилое здание с представительскими функциями. Восточная стена замка также относится к XII веку. В 1318 году замок сильно пострадал от пожара, возникшего от удара молнии. В 1319 году началось восстановление замка. В это время было построено большое отапливаемое строение и южная башня замка. В XV веке замок потерял своё былое величие и значение. Это отразилось и на архитектурном облике замка, где вместо каменных зданий появились более дешёвые строения — фахверки. Значительные архитектурные изменения Вартбург пережил в XIX веке. Начиная с 1950-х годов в замке проводились серьёзные реставрационные работы. В замке находятся фрески выполненные Морицом фон Швиндом: ʺСостязание певцовʺ в Зале певцов и 7 фресок в Елизаветинской галерее. С XIX века замок Вартбург стал национальным памятником немцев.
