西汉武帝元光五年（前130年），开“西南夷”，置犍为郡。初只领“南夷”之夜郎地两县，元鼎六年（前111）平南夷并设牂牁郡后领县十二，即僰道、江阳、武阳、南安、资中、符县、牛鞞、南广、朱提、蚲鄢、堂琅、汉阳（见《华阳国志》、《汉书·地理志》）。

《史记·卷一百一十六·西南夷列传第五十六》：······建元六年（前135年），大行王恢击东越，东越杀王郢以报。恢因兵威使番阳令唐蒙风指晓南越。南越食蒙蜀枸酱，蒙问所从来，曰“道西北牂柯，牂柯江广数里，出番禺城下”。蒙归至长安，问蜀贾人，贾人曰：“独蜀出枸酱，多持窃出市夜郎。夜郎者，临牂柯江，江广百馀步，足以行船。南越以财物役属夜郎，西至同师，然亦不能臣使也。”蒙乃上书说上曰：“南越王黄屋左纛，地东西万馀里，名为外臣，实一州主也。今以长沙、豫章往，水道多绝，难行。窃闻夜郎所有精兵，可得十馀万，浮船牂柯江，出其不意，此制越一奇也。诚以汉之彊，巴蜀之饶，通夜郎道，为置吏，易甚。”上许之。乃拜蒙为郎中将，将千人，食重万馀人，从巴蜀筰关入，遂见夜郎侯多同。蒙厚赐，喻以威德，约为置吏，使其子为令。夜郎旁小邑皆贪汉缯帛，以为汉道险，终不能有也，乃且听蒙约。还报，乃以为犍为郡。发巴蜀卒治道，自僰道指牂柯江。蜀人司马相如亦言西夷邛、筰可置郡。使相如以郎中将往喻，皆如南夷，为置一都尉，十馀县，属蜀。

当是时，巴蜀四郡通西南夷道，戍转相饟。数岁，道不通，士罢饿离湿死者甚众；西南夷又数反，发兵兴击，耗费无功。上患之，使公孙弘往视问焉。还对，言其不便。及弘为御史大夫，是时方筑朔方以据河逐胡，弘因数言西南夷害，可且罢，专力事匈奴。上罢西夷，独置南夷夜郎两县一都尉，稍令犍为自葆就。

······及至南越反，上使驰义侯因犍为发南夷兵。且兰君恐远行，旁国虏其老弱，乃与其众反，杀使者及犍为太守。汉乃发巴蜀罪人尝击南越者八校尉击破之。会越已破，汉八校尉不下，即引兵还，行诛头兰。头兰，常隔滇道者也。已平头兰，遂平南夷为牂柯郡。夜郎侯始倚南越，南越已灭，会还诛反者，夜郎遂入朝。上以为夜郎王。······

按《汉书地理志》记载：犍为郡，武帝建元六年（公元前135年）设立，领县十二。

武阳（今四川彭山）、南安（今四川乐山）、僰道（今四川宜宾）、江阳（今四川泸州）、牛鞞（今四川简阳）、资中（今四川资阳）、符县（今四川合江）、南广（今云南镇雄、威信）、朱提（今云南昭通、鲁甸）、郁邬县（今云南宣威）、堂琅（今云南东川、会泽、巧家）、汉阳（今贵州赫章、威宁）。

关于犍为郡的治所，《华阳国志·蜀志》记：“犍为郡，孝武建元六年置，时治鄨（今贵州遵义），其后县十二，户十万。鄨，故犍为地也。”元光五年（公元前130年），移治南广县（今云南镇雄、威信），昭帝始元元年（公元前86年），再迁治僰道城（今四川宜宾）。

王莽于公元9年建立“新”朝，犍为郡改称西顺郡迁治武阳（彭山县江口镇），领县有：武阳（彭山）、资中（资阳）、牛鞞（简阳）、南安（乐山）、僰道（宜宾）、江阳（泸州）、荷节（即，符县，台江县台江镇镇南南关）、汉安（内江市镇镇南关）、南广、朱提县（昭通）、汉阳县（贵州西威宁县）。更始元年（公元23年）复称犍为郡。

三国时，犍为郡属蜀，郡治武阳。领县五：武阳（彭山）、南安（乐山）、僰道（宜宾市）、资中（资阳城关镇）、牛鞞（简阳简城镇绛河北岸）。

东晋时犍为郡郡治仍在武阳。领县有：武阳、南安、僰道、资中、冶官（安帝义熙十年）（414年）分南安县地置。今仁寿县东南汪洋乡（旧名汪安场）开刊（或作开邦县。东晋置。今洪雅县西罗坝乡）。

南齐武帝时（483～493年）犍为郡由武阳迁回僰道。

南齐末，东昏侯永元三年（501年）僰道为“夷戎”占据，郡废。

梁武帝大同十年（544年）平定“夷戎”后，改置六同郡。领县二：僰道县（今宜宾市）为州、郡治南广县（今宜宾市郊南广镇），属戎州。

隋开皇三年（583）废六同郡。

隋炀帝大业三年（公元607年）罢戎州复置犍为郡，治地不变。

唐高祖武德元年（618年）废隋置犍为郡。

唐玄宗天宝元年（742年）改嘉州（今四川乐山）为犍为郡。唐肃宗乾元元年（758年），废犍为郡复置嘉州。这也是犍为郡最后一次出现历史中。