潘我源出身于
国民党元老的家庭，她的母亲早年曾由国民党派往
苏联留学，与
蒋经国是同学，回国后也历任国民党内要职。潘我源的父母很早就离婚了，她跟着母亲生活，可以说养尊处优。可她不安于大小姐的生活，结交了一些有左倾思想的朋友。在上海解放前夕，她竟跟电影演员
夏天一起投奔了解放区，从此就跟她的母亲失散了。
上海解放后，潘我源与夏天回到上海并结了婚。夏天分配到电影演员剧团；潘我源则分配到了翻译片组，担任
剪接工作。潘我源出身国民党高官家庭，可一点也不像个大小姐；她去过
解放区，但她也一点都不像个革命干部。她当时只有十九岁，却常常叼一根香烟，说话、处世大大咧咧，笑起来不管不顾，嘎嘎嘎地像只鸭子，所以才有了“鸭子”这个外号。
潘我源有她自己的戏路，像《
凡尔杜先生》中那个中了头彩的女佣人以及《
冰海沉船》中那个女财主，没有人能比她配得更精彩了。
改革开放以后，她跟在
台湾的母亲取得了联系。她是母亲的独生女。为了照料已达八十高龄的母亲，她申请离职去了台湾。
《
悲惨世界》（1958年，管家马古洛瓦太太），《
傲慢与偏见》（1940年，卢卡斯太太），《
罗马之战》（女仆阿斯帕），《
尼罗河上的惨案》（重量级女佣鲍尔斯太太），《简爱》（上译本，史凯契尔德小姐），《
沉默的人》（女服务员），《基督山恩仇记》（维尔福之妻），此外还有《
最初的年代》，《巴黎圣母院》等等。