十九世纪时，阿公岩为一个开采
花岗岩的石矿场。当地工作的人主要来自
惠州和
潮州，信奉谭公。由于他们又称谭公为“阿公”，所以该地方便称为“阿公岩”。
阿公岩于1841年，已有200名居民，与
筲箕湾一样。惟到了1901年，人口只微增至213人，可见当时该地发展的缓慢。1905年，当地居民兴建了一座“谭公仙圣庙”，香火鼎盛。1950年至1972年期间，
南华体育会曾于该地设立泳棚。其后，阿公岩兴建多座工业大厦，成为
筲箕湾的工业区。
阿公岩的地理位置，正处于
鲤鱼门水道入口，属于筲箕湾区的偏僻地方，以往只有一条阿公岩道作为主要连接筲箕湾的道路。在1980年代末期，随着港岛
东区走廊第三期（筲箕湾至柴湾段）的开通，有支路接连阿公岩，也为附近
鲤鱼门炮台和
香港海防博物馆的交通连接起了帮助。