清朝康熙年间,由于天灾战乱,
赤崁楼除城垣外,皆倾颓殆。同治13年(1874年),日本人藉
牡丹社事件(日方称征台之役,当时
日本曾进兵至
屏东县牡丹乡)想扩大用武力侵台,当时清朝廷大臣
沈葆桢(
林则徐女婿)奉旨来台阻止日本人侵犯,当年的5月1日沈葆桢由大陆马尾乘船来台,当时天气状况本来应该会有大风大浪,可是沈葆桢的船队却一路平安,沈葆桢觉得是海神保佑,所以请光绪皇帝准建海神庙。到了光绪五年(1879年),原有基座上的荷式城堡建筑慢慢被
中国式传统亭台楼阁取代,
大士殿、
蓬壶书院、五子祠、海神庙、文昌阁都在此时出现。之后,海神庙几经废修。
今日的赤崁楼已完全看不出当年荷兰人所建的“
普罗民遮城”的模样,今天所说的赤崁楼主要包括海神庙和文昌阁两座红瓦飞檐的中国传统建筑,它们是赤崁楼的标记。这两座阁楼建造在高高的台基之上,海神庙位于南面,文昌阁位于北面,二者屋顶均是重檐
歇山式,重檐之间实即为二楼部分,绕以绿釉花瓶栏杆。
这座悬挂“
赤崁楼”门匾的阁楼,其实是海神庙,周长为45丈3尺,高3丈6尺,共分三层,雕栏凌空,轩豁四达。
因为是海神庙,所以特别在海神庙二楼陈列了许多古时候的船的模型与潘丽水先生所画的四海龙王图像,还有
沈葆桢《安平海神请加封号折》。