Церковь находится в 150 м от кёльнской ратуши и в 350 м от Кёльнского собора. Датой основания аббатства является период с 953 по 965 года. В том облике, в каком ее сейчас видят жители Кельна и гости города, церковь возникла в 1220-м году. До этого монастырь бенедиктинцев страдал от постоянных пожаров. Впервые он был уничтожен огнем в 1150 году, и высшее церковное руководство было вынуждено приступить к постройке новой церкви. Окончательно строительство завершилось лишь спустя 70 лет, церковь была выполнена в романском стиле. Но на этом ее перемены в облике не прекратились, и за долгие века ее существования она реставрировалась и строилась неоднократно. С каждой реконструкцией церковь все сильнее меняла свой внешний вид в рамках разных архитектурных стилей. В середине 15-го века церковь Святого Мартина была украшена картинами и фресками на деньги состоятельных горожан. В начале 18-го века внутреннее оформление церкви было выполнено в стиле барокко, и был установлен новый орган. Однако спустя почти 100 лет она вновь сменила стиль и получила оформление с уклоном в классицизм. С 1985 и до 2008 года Большой Святой Мартин использовался как католическая приходская церковь со службами на испанском, португальском и филлипинском языках. С 19 апреля 2009 года Большой Святой Мартин вновь, спустя более чем 200 лет, стал церковью бенедиктинского монастыря.