咸平城故址原为咸平镇，在乐陵市城区西南五十里郑店镇旧乐陵村，址长、宽皆五百米。唐、宋时，乐陵县城在故黄河（鬲津河）南岸，宋熙宁二年（1069年）河决，仓卒迁此，草草创城。城辟三门而无南门，原城墙内至今存一高丘，是南宋副相吕颐浩读书处“萃贤亭”遗址。

咸平城故址位于乐陵市郑店镇旧乐陵村，是宋金元时期的乐陵县治所在地，称作咸平城，又因建于宋代，也称宋乐陵城。据《宋会要辑稿》记载，“沧州乐陵县咸平镇：咸平六年(1003年)改崔村为咸平镇，熙宁二年(1069年)废”。当时的崔村地处要道，商业繁荣、人口集聚，是乐陵重要的税赋来源之地，故于北宋咸平六年（1003年），直取大宋年号“咸平”之美意，设咸平镇。60多年后，到北宋熙宁二年（1069年），乐陵县城（唐乐陵城）由县之北境鬲津河（今漳卫新河）南岸一带迁治至咸平镇，随即废镇设县，即宋乐陵城，又称咸平城。直到明洪武二年(1369年)，乐陵县治迁入今乐陵市城区后，咸平城才被革省降而为村，并保留“乐陵”之称呼，于村名前加一“旧”字以示区别与纪念。据清代《乐陵县志》记载，咸平城内旧有萃贤亭遗址，传为吕颐浩年少时读书之处，“登第之后，扁（匾）其亭曰萃贤”。清乾隆年间，乐陵举人张镠曾作《吕相·萃贤亭》一诗，追记吕颐浩的事功。