西水关位于
水西门南侧，背靠城墙上下三层，担当水利、防务两大功能，在功能设计上是非常精密的。倚靠古人的这个地下排水系统，一般的大雨都不容易造成路面积水。明朝迁都北京之后，仿照南京城地下水系疏通系统进行改造，所以每次北京大雨时，故宫一般都是不会积水的，因为它有良好的地下排水系统，这也是西水关、东水关这样的水利工程在当时所发挥的重要作用。
据《古里秦淮地名源》里所考证，西水关旧称下水门，始建于杨吴时期，明初修建
南京城墙时在此基础上扩建，改建为西水关，设偃月洞。
西水关在历史上，对于保护南京城免受洪涝之害起到了重要的作用。除了防洪排涝，西水关在军事、政治、经济上也大有作为。当时在修建西水关时颇有讲究，西水关有两道闸门、桥道和藏兵洞。一道闸门在城墙之内，另一道闸门在内秦淮河出水口，城墙之下留有多孔拱券式进水巷道，用条石封住，防止敌人的“水鬼”潜水入城，城墙从两道水闸之间堆砌而成。
西水关与
东水关建筑布局基本一样，两相呼应，中间所夹水道从六朝起便是望族聚居之地，商贾云集，文人荟萃，儒学鼎盛，最终形成了久负盛名的“
十里秦淮”。可别看东水关、西水关建筑结构都一样，到了六朝以后，西水关的繁华、热闹却是当时东水关远不能企及的，与现在成相反之势。西水关的繁华从考古发现中也可力证。
西水关是内秦淮河的出水口，与长江相连，设有码头，算得上是南京“进出口”的咽喉，也是当时南京城最繁忙的物资集散中心。除了货物外，外地人如果想走水路进入南京城，也必须是从西水关下船，然后经水西门进城。码头上也设有关卡，想要下船上岸的人必须得出示凭证，才可以进城。这大概与洪武年间发生过的“间谍案”有关，因为当时商业发达，有许多外国人也会来到中国，期间发生过不愉快的事情之后，进出口管理也便更严格了。