Передісторією виникнення Харакса історики вважають інцидент, що відбувся в районі мису Ай-Тодор. Узимку 49 р. н. е. два римські військові судна розбилися об скелі цього мису. Уцілілих моряків, включаючи префекта когорти, було взято в полон таврами й принесено в жертву богині Парфенос. Розгнівані римляни вжили негайних заходів. Таврські та скіфські поселення на всьому узбережжі півострова було зруйновано, а на мисі Ай-Тодор було засновано військовий табір, який згодом переріс у фортецю Харакс.
Фортеця розташовувалася на пагорбі, поблизу стрімчастого морського берега. З боку суші вона була захищена двома оборонними стінами, зовнішня з яких складена з величезних (до 1 м і більше) грубо обтесаних каменів. У стіні було троє воріт; головні з них були захищені двома вежами.
Будівлі фортеці включали дві казарми, ряд житлових будинків і, звичайно ж, терми – обов’язковий атрибут будь-якого римського поселення. Неподалік від терм розташовувався німфей – резервуар для питної води, дно якого прикрашала мозаїка у вигляді восьминога, а вхід – мармурова плита з написом. На найвищій точці пагорба було збудовано маяк, поруч із яким розмістився преторій, прикрашений зовнішньою колонадою.
У 1865 р. у зв’язку з будівництвом нового маяка було зруйновано преторій і маяк римських часів. У 1960-ті рр. територію фортеці займав радянський військовий гарнізон.