文天祥自号文山，在
南剑州（今福建
南平）开府起兵期间留下不少足迹，影响最深的应当算是“文山墙遗址”，南平人又称之为“
鬼城墙”。
文山墙从南剑州北门约今
明翠阁经龙山（今林业职业技术学院内）直至环城路后山。外侧多利用自然山脊为天然工事，十分险要。城垣旧址全长约5000多米，宽4．5米、高3米许，部分地段用石头垒砌而成，更多为夯土所筑。遗址后来经造林、开路，严重受毁，地面大部分已不存在，地下墙基尚存。
文天祥于1276年七月中旬到达南剑州后即着手筹建这一带城墙。因为元军南侵陆路必经城北的官道，因此筑城墙成为当务之急。按理说这么浩大的工程至少需要三、五个月才能完工，但据说文天祥仅用了几天几夜就把这10里长墙筑成了。修筑工事，夜以继日，远近百姓闻风而动，有钱出钱，有力出力，足见当时民众抗元热情之高涨。后来人们以为文丞相筑城墙惊天地泣鬼神，如有神助，遂把这段城墙称为“鬼城墙”。
一、南宋末年，政治腐败，元兵趁势攻取中原。杭州沦陷后，
文天祥以右丞相兼枢密使的身份与元军统帅、元朝宰相伯颜“抗论皋亭山”。因大义凛然、不肯屈服，坚持元军先撤退再谈判的立场，结果激怒伯颜，被扣留羁押北上。途中乘虚逃脱，九死一生，于六月从温州抵达福州。此时南宋首都临安早已陷落，宋恭帝及全太后等被押往元大都燕京。益王、福建安抚使赵晸在福州称帝，改福州为福安府。行朝授文天祥为右丞相，结果他与一向专横跋扈的左丞相陈宜中不和，七月初文天祥以都督身份往
南剑州（今福建
南平）开府聚兵，广纳天下之贤士。“占溪山之雄，当水陆之会”，文天祥以战略家的眼光，看到了南剑州乃兵家必争之地，而且东能保卫临时京都福安府，北可获取江浙，进而收复中原，欲予重兵扼守。遂连夜给福安王写了个奏本，要求修筑南剑州城墙，以抵御和抗击元军。可是奏本送上时却被左丞相陈宜中接走了，陈宜中怕文天祥筑墙有功，从而被福安王赏识，就故意刁难文天祥。他一面附议修城筑墙，骗取福安王信任；一面又苛扣钱粮，且限时文天祥修筑城墙。此时元兵又打进铁牛关，攻下了邵武，南剑州危在旦夕。面对陈宜中的刁难、眼见元军的猖狂、再看看南剑州北侧绵延几十里的崇山峻岭，要在短期修成城墙谈何容易啊。但为了南剑州人民的安宁，为了国家的利益。文天祥是日夜操劳、心急如焚、誓死修城墙、御敌保国家。于是他怒发冲冠、仰天长啸：老天啊，你显显灵，帮助我一下，修好城墙保护南剑州军民的安全吧。
就在这天晚上，护城的哨兵们都看到筑墙的工地上灯火闪动，似有千军万马在修凿山岩、搬石运土、砌石垒墙......第二天，人们就看到了一座斧砍刀削的壁垒绵延几十里，巍然守护着南剑州城。军民们奔走相告，纷纷传说文天祥精忠报国之举，惊动了上苍，玉帝派来了鬼神帮助修筑城墙，因此大家又纷纷称这座城墙为“鬼城墙”
二、因城墙修建的太快，很多人不相信为人力所为，因此当地还流传另外一个传说。相传两位精通法术的高人在打赌，一个说，我能在一夜间将城墙建在山上，另一个高人根本不信，于是打赌开始。这个高人真不是吹牛，他施展法术，把全城的鬼都招来，众鬼“噼哩啪啦”劳作，速度极快。眼看城墙就要建成，另一个高人见状，赶紧施法让全城公鸡打鸣，鬼闻鸡叫，误以为天将亮，即逃之夭夭。据说城墙某处有一段空着，就是当时众鬼还没砌完的城墙。因是鬼砌的城墙，鬼城墙由此得名。