国立安徽大学的前身是1928年创立于安徽省原省会安庆的省立安徽大学。省立安徽大学是国民革命的风云中，顺应安徽高等教育形势发展需要的结晶，是民国初年安徽境内唯一的高等学府。时有“于京沪（指当时的南京上海）一带，仅次于上海同济大学”之誉。抗日战争中，安庆沦陷，原“省立安徽大学”被迫停办。

1928年在安庆创办的省立安徽大学是安徽高等教育史上第一所开创先河的综合性大学，她是顺应当时社会发展形势需要而创立的。

19世纪后期，由于帝国主义的侵略，民族矛盾日益激化，民族资产阶级极力要求改革维新。甲午战争后，以康有为为代表的维新派认为，中国积弱的根本原因是教育不良、学术落后，提出“变法之本在教育人才，人才之兴在开办学校”。辛亥革命后，中国高等教育制度的变革又获得了新的发展。在此背景下，中国各省都纷纷创办了大学，省立安徽大学也是在上述背景下创办的。

省立安徽大学从1921年开始筹备，几经波折，历时七年，终于1928年孕出硕果。1928年4月10日，省立安徽大学完成筹备，预科班正式开学，142名学生（分为社会科学班和自然科学班）在安庆菱湖百子桥原法政专门学校礼堂举行了开学典礼。同年8月，省立安大设立“文法学院”开始招收本科学生。10月，96名本科新生入校（中文19人，教育20人，外语2人，法律32人，政治15人，经济8人）。北京大学著名学者刘文典先生被任命为省立安大的第一任校长。刘文典热心教育，爱护青年，重视人才，治校有方，深得教师、学生爱戴。但因保护学生顶撞了蒋介石，遭蒋责难，于1928年12月被免职。

此后，学校又经历了程天放、王星拱、杨亮功、何鲁、程演生、傅铜、李顺卿等多位校长的主政，学校专业设置日臻完善，师资队伍不断加强，办学规模不断扩大。1929年2月学校析文法学院为文学院和法学院，文学院设中文、外语、教育三系；法学院设政治、经济、法律三系。1929年9月，学校成立理学院，正式招收数学、化学、物理三系理科新生。1930年秋，学校在理学院又设立了生物系招收生物专业新生，这时学校形成三院10系的办学规模，学生人数由1929年的131人增至379人。省立安大的师资队伍也不断壮大，国内声名远播的学者、大家如郁达夫、苏雪林、陈望道、周健人、朱湘、冯沅君、陆侃如、刘大杰等都受聘来校任教，大大提高了省立安大的办学水平和声望，获得“在京沪一带，仅次于同济”的美誉。1935年，省立安大增设了农学院，开始招收农艺、农业经济专业学生。

1937年，抗日战争全面爆发。日寇侵占南京后，拟沿江而上进攻武汉，安庆常遭轰炸，安徽省政府办公机关1938年1月13日从安庆迁大别山腹地立煌（金寨），全省秩序大乱。6月，安庆沦陷，安大的学生、教师纷纷离走，校长李顺卿借去重庆教育部催款一去不归。省政府任命农学院院长汪洪法为代理校长负责保管学校财产、物品，后令其将学校图书、仪器、设备等装船运至湖北沙市，拟在那里复学，后因教育部考虑内迁大西南的学校过多，无足够生源就学，决定安徽大学停办，现有学生并入武汉大学。1939年，汪洪法向省政府办理了移交手续。至此，具有10年优秀办学成果的省立安大就此中辍，这是日本军国主义侵略造成的恶果。

省政府迁大别山后，安徽还有半数未被日寇侵占的“非沧陷区”高中学生亟需就学，于是省政府在立煌设立临时政治学院，收聚部分流散的原省立安大教师并又新聘一批师资，继续培养国家急需的高等教育人才。1941年临时政治学院开始招生，设文史、教育、政治，法律四系，学制一年。1942年临时政治学院改为省立安徽师范专科学校，1943年秋又更名为省立安徽学院，招收四年制本科学生。学院设中文、史地、外语、数学、政治、经济六系并及银行、艺术专修科。安徽学院还在皖南休宁万安镇设立皖南分院，招收银行、财会专业学生，安徽学院是省立安大停办后安徽省高等教育的继续和发展。

1945年日寇投降，抗日战争胜利。安徽学院迁合肥东南临河集租李鸿章家族仓库办学，因条件极差无法教学，半年后迁芜湖赭山南麓原日伪旧军营办学。与此同时，内迁大西南的各大学在抗战胜利后纷纷回原籍复校，省立安大经皖籍学者多方努力并报教育部批准，也开始复校，并改“省立”为“国立”，是为国立安徽大学。1946年1月国民政府教育部决定：聘朱光潜、陶因、高一涵、叶元龙、杨亮功、程演生等12人为国立安徽大学筹备委员会委员，朱光潜为主任委员，陶因为委员兼秘书，负责复校事宜。至4月，朱光潜坚辞不就，教育部改陶因为筹委会主任委员。4月20日，在南京教育部会议室召开了第一次筹委会会议，教育部次长巢县人杭立武出席并致词。会议决定：“国立安徽大学”在安庆原校址复校。5月5日，筹委会由南京迁至安庆办公。6月正式接收校舍，并添建教授住宅及办学设施，组建机构、聘请师资。9月30日，教育部正式任命陶因为校长。11月6日，陶因启用“国立安徽大学关防”（即校印，现藏于安徽师范大学档案馆）和校长印鉴。11月11日国立安徽大学隆重举行了开学典礼，陶因作了《本大学创立经过》的报告。

复校后的国立安徽大学设文学院、法学院、理学院、农学院四院，内含中文、外语、历史、教育、政治、经济、法律、数学、物理、化学、教育、农艺、森林12个系，后又增设园艺系及茶叶专修科。1947年上期，国立安徽大学有教职员工307人，学生1100余人。

1948年6月陶因辞职，教育部改任原省立安大校长杨亮功为校长。1949年3月23日，中国人民解放军包围了安庆，杨亮功带少数追随者渡江逃往大渡口又转江西（后又随蒋介石逃至台湾）。4月22日，安庆解放。6月，中国人民解放军南京军管会派首席军代表靳树鸿、副代表黎洪模等人来安庆接管了国立安徽大学。

1949年7月，暴雨肆虐，长江洪水泛滥，安庆广济圩溃破，国立安大校园被洪水淹没，三个月洪水未退，二层以下楼房浸泡在洪水中，学校损毁严重，无法继续办学。军代表向南京汇报后，华东局（时设南京）及南京军管会决定将国立安徽大学迁芜湖，与安徽学院合并成立新国立安徽大学，聘请地质学家广德人许杰为校长。10月，许杰来芜设立安大筹备处，开始接收安徽学院的一切设备。安庆的学校图书、仪器、家具、设备也开始装箱准备搬运。1949年12月4日，国立安徽大学的全体教职工及其家属，携带着除房舍外的全部物品“图书仪器百余箱、家具万余件”，连同农学院养的八头奶牛，乘南京军管会派出的一艘军舰，成建制整体从安庆搬迁到芜湖。

1949年10月，中华人民共和国成立。中央教育部、中国共产党军管会正式敕令国立大学一律去掉“国立”二字。至此，中国大陆地区已不存在正式由“国立”冠名的大学。

解放后，我国高等教育专业设置学习苏联，进行院系专业大调整。1950年9月，安徽大学的土木工程调到南京大学，1952年，安徽大学的法律专业调到华东政法大学、经济专业调到复旦大学。1953年，安徽大学的教育、历史三年级学生调到华东师大。调整后的安徽大学由四院改为二院：师范学院、农学院。1954年，中央高教部通知华东局：安徽大学校名和建制取消，其所属的师范学院和农学院分别独立为安徽师范学院和安徽农学院。1954年9月，安徽农学院迁往合肥。安徽师范学院于1972年更名为安徽师范大学，安徽农学院于1995年更名为安徽农业大学。1956年，物理等系师生和部分管理干部搬迁到合肥，1958年9月16日，毛泽东同志亲笔为学校题写“安徽大学”校名。