小市是个历史悠久的街道，最有名的是
小市街。明朝定都南京后，修筑了举世闻名的
南京明城墙，在所开的十三个城门之一——
神策门（今
和平门）外，是广大的乡村。城外的农夫、商贩进城买卖均在此歇脚，因城门开启、关闭是有时间限制的，远路来的人不得不在此找客栈安顿下来，久而久之，此处便形成了一个小市场，称为“小市街”。
在历史中，也经历了起起伏伏，太平天国时，这条“延绵数里，人来车往，店铺林立”的小市街，因遭战火焚毁，逐渐荒凉。清朝末年，沪宁铁路通车，在此设和平门车站，作为城乡物资交流集散之地，小市街又发展起来。
解放后，南京市政府于1950年在此建小市乡，1957年建小市镇，由下关人民公社管辖，1960年划归
鼓楼人民公社管辖，1961年划归
栖霞区管辖，1995年
南京市行政区划调整，小市镇由栖霞区划归
下关区，并撤镇改为街道。
2002年3月，原下关区将原小市街道一分为二成立小市街道和
幕府山街道，办事处驻东门街33号。2011年因建设东门街地铁三号线，小市街道搬迁至黄家圩36号办公。
2012年8月，原下关区再次调整街道区域范围，将幕府山街道原
张王庙社区的孙家洼路以南划入小市街道；将小市街道
河路道社区的汽轮五村（托管）、汽轮七村，安怀新村社区的军犬队家属区、绿苑小区、防化大队小区、一干所、北崮戎院、安怀村455号小区、军械弹药修理所家属区、总装试验场宿舍、六干所、南汽宿舍及安怀东路以北散居划入幕府山街道，下辖9个社区。