汪国垣自幼敏慧，12岁从师学《春秋左氏传》，日抄
《尔雅》100字，过目不忘，深得塾师喜爱。14岁随父际虞（清知县）往河南任所，诵九经毕，又读《资治通鉴》。16岁开始读西欧史书，并从留学日本亲友处购得日文版欧美各国史籍，获80余种，其时内忧外患日重，有识之士多办报刊以醒国人，诸报时引西史及欧美先哲学说，他尤喜读《清议报》《时务报》《国闻报》，对研究西洋历史逐步产生兴趣，并先后作《发明家列传》《航海家列传》。光绪三十年（1904），经河南提学使孙祥林主考录取，保送北京京师大学堂（北京大学前身），研究国学。其时大学藏书几乎全是原巴陵方柳桥（功惠）碧琳琅馆藏书，且多为世间不传之秘本，尤多明清禁书。他日处藏书楼中，研读写作。时程家桐密组同盟会于京师，他为会员之一。1912年毕业，一度去上海，经乡人刘芸台介绍，得识邵力子、于右任，叶楚伦、苏曼殊诸人，旋以父病返里侍亲。1915年父丧，在乡守制3年，研读家藏旧书。
1918年，汪国垣任江西省立第二中学国文教员。1922年，聘为心远大学文学系教授。1927年心远大学停办，应南京第四中山大学（后改名中央大学、南京大学）之聘，历任文学院中文系副教授，教授，授目录学、诗歌史、各种文体习作、读书指导等课程，深为同系师生所敬重，为当时“江南七彦”之一。抗战时，汪国垣随校西迁重庆。1939～1949年，曾任中央大学文学院中文系主任，1946～1948年，经于右任推荐，兼任监察院监察委员，国史馆修纂，当选为“国大代表”。1954年，因患高血压中风，右肢瘫疾，行动艰难。病后仍坚持左手写书，并带研究生在家讲课。
汪国垣治学严谨，著述甚富。已刊印行世、卓享盛誉的有《光宣诗坛点将录》《近代诗人述评》《读书举要》《唐人小说》《丛书书目索引》《目录学研究》《方法谈荟》《方湖类稿》《彭泽县志长篇》等共数百万言。近年上海古籍出版社出版《汪辟疆文集》。自幼用力于诗歌创作，自言学诗途径“首在寝馈玉溪（李商隐），以挹其绵远之韵，继在诵法杜韩，以见其骨律之坚苍，胸怀之超脱，终在细玩荆公、山谷，以求其体势之变化，措语之清拔”。其诗苍秀明润，用笔开合自如。
郭沫若称其“诗心清以越”，
汪旭初言其“目录传中垒（汉中垒校尉刘向著《七略》），歌吟接后山（陈师道）”。不以雄重厚实取胜，然具奥折盘屈之体势，蕴疏朗清挺之高致。