先秦时期，全国分为九州，甘肃省境大部属雍、梁二州，旧称“雍梁之地”。秦始皇统一中国后，分全国为36郡，省境东南地区为北地郡和陇西郡。汉代先在省境置凉州，至元封五年(前106)省境先后改置武都、陇西、金城、天水、安定、北地、武威、张掖、酒泉、敦煌等10郡。

唐代改郡为道，省境分属关内道、陇右道和山南道，共辖22州。元代始设甘肃行中书省，辖黄河以西七路二州，黄河以东地区为陕西兴远路。明代废省设司，省境属陕西布政司、陕西都司、陕西行都指挥使司。清代设陕西右布政司，后改甘肃布政司，行政中心从巩昌(今陇西县)迁至兰州市，辖今甘肃、新疆、青海、宁夏省区范围。光绪十年(1884)分出新疆。1912年省境又划分为宁夏(原朔方)、西宁(原海东)、兰山、泾原(原陇东)、渭川(原陇南)、甘凉(原河西)、安肃(原边关)七道。1927年废道，1929年分出青海和宁夏两省区。第二次国内革命战争时期，省境陇东地区属陕甘宁边区的陇东和关中两分区。1949年8月26日成立甘肃行政公署。1950年1月8日，甘肃省人民政府正式成立，甘肃省名相沿至今。

甘肃建省约有700多年的历史;县的建制早于省的，从春秋时开始萌芽算起，迄今己达2200余年。北宋初期西夏统治河西时设有甘肃军司(驻甘州，今张掖市甘州区)。这是最早出现的甘肃之名。但作为地方行政区划名称，元代才正式设置甘肃省。省名的命名，系西魏、唐代曾置甘州(今张掖市)、肃州(今酒泉市)的第一个字合成。简称甘。因省境的大部分在陇山之西，故亦称陇西、陇右，或简称陇。

甘肃位于黄河中、上游。远古时期这里的气候更加温暖、湿润，是个稀疏的草原环境。低凹地丰富的水源，高山茂密的灌木丛，台地上疏松的黄土，灌木、草地上生活的多种动物，为原始人类生存提供了天然适宜的环境。因此，这里是我国历史上经济开发，特别是农业垦殖和古代文化发展较早的地区之一，是形成中华民族灿烂文化的重要发祥地。根据考古发掘的大量文物证明，远在一二十万年前的旧石器时代，我们的先民就在这块地方生息、繁衍，利用简陋的石器顽强地同大自然作斗争。建国以来，先后在镇原县姜家湾、寺沟口、黑土梁，庆阳巨家塬，环县楼房子和刘家岔处，发现了旧石器时代中、晚期的石器、骨器、动物化石和早期人类用火的遗迹。属于新石器时代的文化遗迹，己发现的有1000处，其中著名的有受仰韶文化影响而发展起来的以洮河、大夏河和湟水中下游为中心，处于母系氏族公社阶段的齐家文化;还有晚于齐家文化，发现己有铜器，已经进入原始社会末期或奴隶社会早期的辛店、寺洼和卡窑文化。古代传说中的四千年前的炎帝(号神农氏)、黄帝(号有熊氏，又号轩辕氏)也起于西北。近几年来，我省考古工作者在省境东部秦安县大地湾发现并挖掘了一处距今7800至4500年的新石器早期文化遗址，出土文物8000余件，其中发现的7000年前的地画、5000年前的混凝土和一座建筑面积达450平方米的原始社会会堂式宏伟建筑，系国内首次发现。这处遗址堪与西安半坡村遗址相媲美。这里发现的罕见的三足钵、三足罐珍品，比仰韶文化半坡类型要早1000多年。大地湾遗址的发现，为研究史前史特别是研究古代建筑、文字起源和人类生活提供了重要的资料。