在
日据时期，曾经有敌性国民、港英官员等约3000人，被日军拘困在赤柱监狱、
圣士提反书院等地，统称赤柱拘留营。
在1937年赤柱监狱建成后，直至1966年秋季最后一个死刑犯被处决的近30年间，香港的死刑全部在该监狱内执行。由于沿用了英国的惯例，死刑犯是不设葬礼的，其遗体会被安葬在赤柱监狱附近的坟场内，他们的家属更没有领回其遗体安葬的权利，甚至无法入坟地内
拜祭。按照市政条例，7年后死刑犯的尸骨始交由死刑犯的家属处理，无人处理或认领的死刑犯尸骨，则会交由当时市政事务处移送到
罗湖的沙岭公众坟场埋葬。
它的前身为香港监狱（Hong Kong Prison），建立于1937年1月。赤柱监狱以收容男性成年犯人而出名，其收容额为1,714名，而该监狱曾经用作《廉政行动》之《监狱速递》和《铁窗无情》还有《
再战明天》摄制场地。