税务司公馆建于1883年，供历任北海关税务司及其眷属居住，因它是北海有史以来建造的第一栋洋楼而出名，故有“北海第一洋楼”之称。据一些老北海回忆，这是一栋很漂亮的洋楼，和德国领事馆旧址相似，建筑的周边是一个美丽的园子，颇有欧洲园林风味。

税务司公馆的建造缘于1877年清政府在北海设立北海海关，那时称“北海关”，是广西四大关之一。因清政府腐败无能，未能有效收取关税，于是聘请有经验的洋人任税务司。起初洋人税务司租用民房居住，1883年才在今北海市委宣传部办公楼所在地，按西方人居住的洋楼式样建造税务司公馆。

海关大楼、税务司公馆和波楼，在市区的东南部形成了三楼互为近邻的格局。北海市区及其东南部的地势为东南高，西北低，三楼均在东南郊的高坡上，在每一栋楼上都可看到西北方向货船进出港口的动态。从这一点可以看出洋人在选址建造北海关建筑群时的高明之处。

税务司公馆遗址现已不存在了，在2011年北海市档案馆举行的“北海百年老照片资料捐赠暨老照片展”上，市民才得以见到税务司公馆、洋关外班洋员大楼和波楼三栋洋楼的珍贵老照片。

光绪三十一年（1905年）出版的《北海杂录》的“洋楼”一章中有这样的记载：至1905年止，总计北海大小洋楼共二十二座”，但其中只记载最有代表性的“英国领事馆、法国领事馆、德国领事馆、法邮政局、双孖楼、森宝洋行楼”、税务司公馆”和“洋关外班洋员大楼”共八座。现如今除了英、法、德领事馆旧址和北海关大楼旧址等十多座洋楼被公布为“国保”单位外，其余的包括税务司公馆、洋员大楼、监察长楼和洋员俱乐部在内的十多座洋楼已不复存在，其中的许多建筑连照片也没有留下来