吉安县图书馆始建于1956年，原址位于吉安县永阳镇。

1988年，搬迁至现在的县城文山路7号。是全市最早拥有独立馆舍的县级馆之一，馆舍面积近2200平方米，有正式职工7人。2009年，被文化部评定为国家二级图书馆。2012年3月，被评定为江西省古籍重点保护单位。2013年参加第五次全国公共图书馆评估，首次获评国家一级图书馆。现有老馆舍面积2000余平方米。馆内总藏书容量20万册，阅览坐席240席，计算机50台，宽带接入20Mbps，选用ILAS3图书馆自动化管理系统。

2020年1月，获得“江西省第九届‘读好书’活动先进单位”荣誉称号。