小洋山岛，旧称羊山，以岛上多羊而得名，又因岛域较小而改称小羊山，后演写为洋山、小洋山，别有三塔山和
猴山等名。
小洋山历史悠久，唐大中四年（850）即有关于该岛的文字记载，据称当时岛上有座隋炀帝庙，不能不说是一件离奇之事。
自宋至元、明的漫长世纪，洋山渔汛一直盛如海上大都会。作为明清水师海防要地，曾埋设有军事界碑，在岛上仰天盖山的东侧山岙中，有座称天后宫的寺庙，庙内原存江、浙二省巡哨分界碑。清初声势浩大的海上反抗运动，常取道洋山。
顺治十五年（1658）九月，郑成功、
张煌言再次在洋山会师北伐，遭遇大风而损失甚惨，传说郑成功部属在岛上烹羊而食，因此招来海难。此事虽纯属附会，但洋山确也养羊，今居民牧羊多移往相邻的锦鸡岛。
1949年8月，国民党政府在大陆即将全面崩溃之际，
蒋经国先生曾赴小洋山活动。
小洋山除丰富的人文景观外，自然石景风光颇称独特。著名景点为石龙、小观音山摩崖群两处，其他有姐妹石、高泥奇沙、
乌龟石等。石龙景点位岛东部的大城子山中，为
嵊泗石鸡石龙洞，深不可测。景点峰岩巍峨，石色浑厚而略泛金黄，游山有恍然误入画境之感。
大、
小洋山以及
沈家湾岛和
唐脑山等均为
崎岖列岛主要岛屿，列岛由83个小岛礁组成，多裸岩秃石，如路之崎岖不平，故名。