吾园是清代嘉庆时藏书家李筠嘉别业。道光时改为龙门书院，后改为上海中学。上海中学迁吴家巷，此处建龙门村新式里弄房屋。“吾园”原为“邢氏桃圃”，由李筠嘉购得，修葺辟为别墅，内有清池曲径、名花异草和“带锄山馆”、“红雨楼”、“上鹤巢”等亭台楼阁。喜爱提倡书画的上海道台李廷敬(味庄)与李筠嘉为好友，常联名召集书画家在吾园活动，成为清嘉庆年间上海书画界的重要活动场所。

清代嘉庆年间，光禄寺典簿李筠嘉购得上海县城西南的邢氏桃圃，“稍加修葺，养鱼种竹其中”，起名吾园。园内有带锄山馆、红雨楼、潇洒临溪屋、清气轩、绿波池等景物；绿波池上有鹤巢，频现仙鹤。

吾园曾引种露香园水蜜桃百株，所以清人褚华的《水蜜桃谱》提及：“今桃之最佳者，产黄泥墙、李氏吾园。” 桃花盛开时，这里游人不断。

据地方文献资料记载，吾园内还诞生了一个上海近代的书画社。李筠嘉是藏书家、书法家，他与文友李廷敬志趣相投，于嘉庆八年（1803年）在吾园共同创办吾园书画会，参加者有方楷、李学璜、改琦、林镐、洪亮吉、陈复堂、钱杜等，共一百数十人。据李筠嘉编的《春雪集》记载，这些书画家雅集时陆续为吾园留下的绘画、书法、诗词达二百五十余件。吾园书画会前后活跃了二十余载。

道光初年，江苏巡抚陶澍来沪，欲在上海县城内扩建黄道婆祠即先棉祠，于是他收买了吾园的一部分，作为祠址。

同治年间，吾园由上海道台应宝时买下，归龙门书院使用，内辟讲堂、宿舍等四十余间。

光绪年间，上海道台袁树勋将它改成龙门师范学堂。

辛亥革命后，它更名江苏省立第二师范学校。

1927年，它与位于陆家浜路、迎勋路口的江苏省立商业专门学校合并，成为江苏省立上海中学（吾园旧址设初中部）。

1932年，上海中学搬迁，吾园遗址变成住宅区即龙门村。如今黄浦区的吾园街，即因吾园而得名。

《春雪集》所收编、方楷撰写的《吾园雅集记》一画的题记中带着几分赞美的口气说：“昔王晋卿都尉集苏东坡以下十六人于西园，李伯时为图，米元章记之，至今屏幛传为故事。我辈虽不敢拟古人，而良辰美景，赏心乐事，贤主嘉宾六者兼之，当日有西园，何不今日有吾园。”