小寨上是以当地所处地理位置及已有物产而命名的地名。

相传清朝末年，地方槽口利用其地势险要在此高台上修筑山寨该村就在寨后故名小寨上。

1961年，根据《中共中央关于农村人民公社工作条例草案》，全县实行人民公社，小寨上村隶属粟城公社小寨上生产大队。 1984年，根据国务院关于建乡工作指示精神，改革农村行政管理体制，小寨上村隶属粟城乡马家楼村民委员会。 2001年左权县撤乡并镇，小寨上村隶属粟城乡马家楼村委会。 2002年12月，撤村并组，撤掉小寨上村。