台湾日据时期就有兴建屏东和台东间横断铁道的计划，但是因施工困难等问题而未付诸实行。战后，于1947年、1958年、1963年、1968年及1976年进行勘测与纸上选线，所采起讫地点，共有十种方案，最终敲定以施工较易、工期较短及经费较省的枋山线做为南回线的路线。1977年列入“十二大建设”并进行规划。
1980年设立“南回铁路工程处”并着手动工开始兴建，1984年改以“继续完成南回铁路计划”并入“十四项重要建设计划”中，1985年7月卑南（台东）到知本段通车，1987年12月知本到太麻里段通车，1991年12月全线完工通车，自此台湾的环岛铁路系统终于完成。南回铁路工程之艰钜更甚于北回铁路，西经枋寮车站，经古庄、大武、泷溪、金仑、太麻里、知本等地，途中穿越查留凡山、巴矢山，终点站为台东（卑南）车站。全线共修筑大、小桥梁158座，隧道35座，总长38,202米，最长的
中央隧道长达8,070米，名列台湾最长铁路隧道十余年之久，直至2003年
北回线的
新观音隧道（长10,307米）启用后才退居第二。