北京图书馆的前身是1909年4月24日清政府学府部奏请筹集的京师图书馆。
辛亥革命后由北京政府教育部接管，1912年8月 27日开馆，正式接待读者。北京图书馆是1975年3月，由已故
周恩来总理提议并批准兴建的。新馆工程作为国家重点建设项目，于1983年9月奠基，1987年7月1日落成，邓小平同志为北京图书馆题写了馆名。万里同志为北京图书馆新馆开馆剪彩。新馆占地 7。42公顷，建筑面积14万平方米，包括
文津街分馆在内，馆舍建筑面积为17万平方米。可藏书2000万册。设有阅览室30余个，拥有阅览座位3000多个，日平均可接待读者七，八千人次。
北京图书馆的前身是于1909年9月9日始建的
京师图书馆。光绪三十三年十一月二日（1907年12月6日），张之洞向
慈禧太后奏呈，请求在北京和全国各省会设立公共图书馆；慈禧原则同意，但未及谕办其事。宣统元年七月二十五日（1909年9月9日），隆裕太后批准学部关于筹建京师图书馆的奏呈，同意调拨热河（承德避暑山庄）文津阁《
四库全书》入藏京师图书馆，内阁翰林院藏书也移交京师图书馆收藏，同时还任命翰林院编修缪荃孙为京师图书馆监督；向京师图书馆筹委会派发200两白银，作为第一批办公费用；还制作一枚银质“京师图书馆”大印，以资行文。宣统元年，学部奏请拨净业湖暨汇通祠等地为京师图书馆馆址；后因建馆经费困难，建新馆舍事暂停，只得借房筹组，“以款绌迄兴筑，暂就积水潭广化寺余屋为办公地矣。”
中华民国成立后，
北洋政府教育部接管京师图书馆，后将其改名为国立京师图书馆，1912年（民国元年）8月27日正式开馆接待读者。
1928年
北伐成功后，国立京师图书馆改名
国立北平图书馆，并迁址到中南海
居仁堂。1929年8月，北平图书馆与中华教育文化基金董事会建立的北海图书馆合并，接受
中华教育文化基金会的资金支持，归国民政府教育部领导，并开始独立行使国家图书馆的职能；直到1933年在南京建立国立中央图书馆，后者与北平图书馆一同行使国家图书馆职能。
1931年，北平图书馆新馆（今为
中国国家图书馆古籍馆所在地）在文津街落成，是当时远东最先进的图书馆之一。当时的北平图书馆下设二会八部，分别为：购书委员会、编纂委员会、总务部、采访部、编纂部、阅览部、善本部、金石部、舆图部、期刊部。馆藏书籍包括：中文、满文、蒙文、日文、西文普通书籍逾四十万册；宋元明清刊本、写本、抄本古籍逾三万册；金石拓片逾八千幅；舆图八千余幅；此外还有寄存图书六千余种、三万余册。其中包括文津阁《四库全书》等珍贵收藏。
1942年1月2日，
华北政务委员会教育总署接管国立北平图书馆，国立北平图书馆更名为国立北京图书馆。1945年中国抗日战争结束后，该馆复名
国立北平图书馆。
中华人民共和国成立后，于1950年3月6日
国立北平图书馆更名为国立北京图书馆，1951年6月12日更名为北京图书馆，成为中华人民共和国唯一的国家图书馆。
民国八年（1919年），
梁启超游历欧洲后归国，并购置图书多种。民国十一年（1922年），梁启超呈请政府拨北海快雪堂和西城石虎胡同7号官房组建松坡图书馆。当时在北京的松社（1918年梁启超等人在上海为纪念蔡锷成立的组织）成员决定以快雪堂为第一馆，石虎胡同为第二馆，先后成立并开馆。后因梁启超逝世，办馆经费困难，经呈政府批准将石虎胡同房产变卖。日本占领时期，松坡图书馆的藏书，俄文书和其他一部分图籍被中华民国新民会掠去；但以杨守敬旧藏为基础的中文古书，特别是其中的宋版大藏经《
思溪藏》等，由该馆同仁保存下来。中华人民共和国成立后，经多次协商，决定由国家接收松坡图书馆，并入国立北平图书馆，同时建为“北平图书馆分馆”。
1909年9月9日（清宣统元年七月二十五日），清政府批准军机大臣、学部尚书
张之洞的奏请，筹建
京师图书馆，调内阁大库、翰林院、国子监南学书，以及文津阁《
四库全书》、敦煌劫余遗书作为基本馆藏。京师图书馆成立后，缪荃荪首任监督。
1928年，南京国民政府成立；同年7月，国立京师图书馆更名为
国立北平图书馆，隶属大学院。
1998年12月，经国务院批准，北京图书馆更名为国家图书馆，对外称
中国国家图书馆。