Первое поселение появилось в 1830 году. С 1833 года у Порт-Артура действовала каторга. С 1833 по 1853 годы именно сюда ссылали самых опасных преступников Британии и Ирландии, в основном рецидивистов. Сюда же часто попадали несовершеннолетние преступники, некоторым из которых было по 9 лет – их преступление заключалось, чаще всего, в краже игрушек. И именно эта тюрьма, работавшая вплоть до 1877 года, прославилась своими невероятно тяжелыми условиями содержания заключенных – здесь применялись как физические, так и психологические меры наказания. Например, еду получали только те заключенные, которые хорошо себя вели. Особо покорные могли даже получить чай, сахар или табак – самые желанные предметы. А в качестве наказания заключенных могли неделями держать на одном хлебе и воде. Контакты заключенных с жителями городка и заходившими сюда моряками были строго запрещены. И взрослые, и юные каторжники работали на стройках. Многие сходили с ума из-за недостатка света и звуков, а некоторые кончали жизнь самоубийством. Каторжная тюрьма просуществовала до 1877 года. После закрытия каторги Порт-Артур стал популярным туристическим аттракционом. 31 июля 2010 года историческая часть Порт-Артура была внесена ЮНЕСКО в объекты Всемирного наследия в составе списка Каторжных поселений Австралии. Сегодня по зданию бывшей тюрьмы водят экскурсии и рассказывают страшные истории о духах умерших, и по сей день бродящих здесь. В местном музее можно увидеть записи, предметы быта, одежду и личные вещи заключенных. Каждый год Порт-Артур посещает более 250 тысяч туристов.