小说写的是明代成化年间，松江府华亭县旧家子弟魏玉卿性淫好色，不仅交了桃花运，而且官运享通，最后竟得善终，修成正果的故事。魏玉卿因得《如意君传》而淫性大开，又为仆人的房事所感悟，先后与女仆山茶、丫环兰英、寡妇卞二娘、就馆主人家的瑞娘、小玉、尼姑了音、财主王某之妻婉娘等私通。后中进士，升为江西巡抚娶了卞二娘之女卡非云为妻，又娶瑞娘、小玉、备方册，战于一床后经痴和尚占化，携六个富人与铁人仆人泛舟游于太湖，修得正果，而成地仙。
《桃花影》虽写风情，多涉淫荡，但主人公玉卿所遇的几个女子，都是多才貌美，风情万种，每相会定情，均作有诗词曲赋；情节的发展、人物性格的描绘，都与烟水散人的其他才子佳人小说相似。书中有些情节，有意学
《西厢记》，如玉卿与非云定情前后，传简、玉卿醉后失约等情况，都与
《西厢记》相仿。因此，该书可称是才子佳人小说的旁流。
此书最早的版本有畹香斋刊本，今残存二卷六回，即第一、二两卷（第回至第六回）。现藏
北京大学图书馆，又有清光绪丁酉（1897年）上海书局石印本，改题《牡丹缘》，藏南京图书馆。