上海市老干部大学成立于1985年3月，1987年2月江泽民同志为该校题写校名，吴邦国同志出席校牌揭幕仪式。原市委书记钟民、原市委副书记陈铁迪先后担任校长。

建校之初，学校制订了“探求健身之道 ，增长新鲜知识，丰富精神生活，陶冶高尚情操，保持光荣晚节，贡献革命余热”的办学宗旨；“开拓、探索、创新、示范、辐射”的办学方针;“社会办校、联合办校、民主办校”的办学原则。近年来，学校以“三个代表”重要思想和科学发展观为指导，努力发挥学校在开展老同志思想政治工作中的主阵地作用，把学校建成“党的创新理论的学习基地，当代新知识的传播基地，中华优秀文化的研修基地，老干部榜样表率作用的辐射基地”。

20多年来，在市委领导的直接关心下，学校取得了较快发展：每个教室都装备有多媒体教学系统，有专用电脑教室、钢琴教室、语音教室和书画教室；建立了高质量的师资队伍，聘请的教师大部分来自上海知名高校，具有高级职称的占78%；学校开设了政经、文学、史地、书画、文艺、科技、保健、计算机、外语等9大类40多种课程。

学校还创办了《上海市老干部大学校报》和《上海市老干部大学学报》，编印了一批教材和论文集。

学校是上海市首批示范性老年大学和全国先进老年大学，并被多次评为全国和上海市的老干部工作、老年教育、老龄事业先进集体。

2009年秋季学期开始，学校已对市级机关处级退休干部开放，并将不断推出适合退休干部特点的专修班，我们热忱欢迎广大离、退休干部报读上海市老干部大学。

2020年12月，荣获全国“敬老文明号”称号。