清初只在山东济宁设河道总督。1677年（丁巳年）（康熙十六年），
靳辅出任总河，因总河署距黄河淮河京杭运河交汇处、河工最重要处
淮安路途遥远，往返不便，为便于及时掌握水情河势，就近指挥，于是在清江浦（今
江苏省淮安市清江浦区）原户部分司旧衙署设立行馆。雍正七年(1729年)，正式分设
江南河道总督(简称南河总督)，驻节清江浦；以及河南、山东河道总督（东河总督），驻济宁。次年又增设
直隶河道总督（
北河总督），归
直隶总督兼领。时南河总督辖有4道、24厅、24营，
河督署规模庞大。历任河督中，政绩比较显著的有
张鹏翮、徐端、
黎世序等。 清初，朝廷每年拨给南河河工修防银达450万两之巨，决口漫溢时还另有支拨。同时，南河总督署官员肆意贪黩、降低工程标准，中饱私囊的情况，在当时就为舆论谴责。
南河总督及下属官员驻扎的
清江浦，繁荣也达到鼎盛，上下十数里长街，各种店铺、酒楼、茶社、浴室鳞次栉比，上百家青楼妓院日夜歌舞，风气奢侈。
1855年（太平天国战争期间），黄河北徙。1860年，前来夺取粮仓的
捻军攻破清江浦，烧毁南河总督署和整个城市。次年，南河总督被裁撤。