清末，广东省湛江市霞山区仅是个小渔站。早期的霞山没有确切的地名，周围稀稀落落分布有谢屋、霞山、炮台仔、郑屋、海头港、洪屋等村落，曾统称海头汛，属雷州府遂溪县二十二都管辖。

海头小港，供民船停靠。渔民赶潮在此兜售水产鱼货，邻近乡民小贩则挑来柴米等日用品与渔民交易。潮涨成圩，潮落收市，海滩仅有一字排开的茅棚数间遮日避雨。渔民在海边建有砖木结构的“海生宫”庙（原海富酒店旁），意指渔民都是海的儿女，祈求保佑平安，这也是霞山最早建筑之一。

1899年法帝强迫清政府，把包括今霞山在内的518平方公里陆地和1912平方公里的海域，总称广州湾（湛江市旧称）划为法国租界。法帝入侵后，驻军在麻斜和海头港，根据兵营的位置称为东营和西营。

为巩固和发展其殖民统治，法人在西营进行市政建设，初成商埠，便将兵营的所在地易名为“西营”和“东营”。

当时，广州湾设东营、西营两个市及赤坎、坡头、淡水三个区（后增设赤坎市，今为赤坎区），西营是广州湾法国当局最高行政首府所在地，这是霞山原称西营的来由。法国侵略者，为纪念其战舰“白雅特号”最早登陆广州湾，又把西营称为“白雅特城”，但民间一直沿用西营地名。

抗日战争胜利后，广州湾光复，1946年湛江建市，西营作为市辖一个区，地名保留。解放后至1956年，湛江市仍沿袭使用西营地名，市委、市人委行政机关设在西营。

解放后，当家作主的湛江人民，纷纷要求更改带有殖民地烙印的地名东营、西营。

经广东省人委批准，1957年1月1日，取消西营和东营名称。取消后，西营以“湛江市”名称包括，不另命名，东营改称麻斜。

西营以“市”来包括，造成混乱，给人民生活和工作带来诸多不变。湛江市人委根据市区中心有个大村庄霞山村，位置刚好又落在市委市政府办公大楼旁，经请示省批准，1958年6月30日，把西营改称为霞山。

从此，霞山地名一直沿用至今。霞山区地名几经更迭，几度易名，见证了霞山的发展历程。