曹魏广魏郡，西晋泰始（265年～274年）中改名略阳郡，以属县名命名。领临渭、平襄（甘肃省通渭县治）、略阳（甘肃省秦安县五营乡蔡河村）、清水（甘肃省清水县永清镇李崖村）4县。属秦州。
东晋元帝大兴二年(319年)，郡地属
前赵。前赵仍治临渭县，领临渭、略阳、清水、绵诸4县。属秦州。东晋成帝咸和三年(328年)，
后赵因之。穆帝永和七年(351年)，
前秦因之。
孝武帝太元十年(385年)，
西秦略阳郡治临渭、略阳、清水、绵诸、陇城5县。东晋安帝隆安四年(400年)，
后秦因之。
东晋安帝义熙十三年(417年)，
刘裕灭后秦，郡地归东晋。东晋治所在略阳，领略阳、临汉、
上邽3县。