秦朝创建独立的监察制度：中央设御史大夫，为丞相之副，位列三公，掌监察、纠劾百官；在地方上，派御史驻郡，称“监御史”，负责监察郡内官员违法犯禁之事。此乃监察制度肇兴之始。
汉承秦制，但较秦制更严密。在西汉，中央仍设御史大夫作为长官，御史中丞为副，兼掌皇帝机要秘书和中央监察之职。在地方上，西汉初年废监御史，由丞相随时委派“丞相史”，分刺诸州。汉武帝时，为加强中央对地方的控制，全国分为13个监察区，叫州部，每个州部设刺史1人，为专职监察官,以“六条问事”,对州部内所属各郡进行监督。丞相府设司直，掌佐丞相举不法。朝官如谏大夫加官给事中，皆有监察劾举之权。郡一级有督邮，代表太守，督察县乡。宣帝时，会侍御史二人掌法律文书，也有评断决狱是非之权。因特别使命而设的符玺御史、治书御史、监军御史、绣衣御史（亦称绣衣直指）等，分别行使御史的职权。西汉末年，御史大夫更名大司空，御史府改作御史台，由御史中丞主管监察事务。
东汉时，御史台称宪台，仍以御史中丞为长官，但职权有所扩大。御史台名义上转属少府，实为最高的专门监察机关。它与地位显要的尚书台、掌管宫廷传达的谒者台，同称“三台”。东汉侍御史，掌纠察；治书侍御史,察疑狱。把全国分成13个监察区,包括1个司隶(中央直辖区)和12个州。司隶设司隶校尉1人,地位极为显赫，朝会时，与尚书台、御史中丞一样平起平坐，号曰“三独坐”。司隶校尉负责监察除三公以外的朝廷百官和京师近郡犯法者。每州置1刺史，用以监察地方政情、受理案件、考核官吏。由于事权混杂，后来刺史逐渐变为凌驾于郡之上的一级地方行政长官，失去监察作用，故改称
州牧，州也由监察区变为行政区，地方监察制度便基本瓦解。
唐代以御史台总掌隋时御史、司隶和谒者三台事务，形成一台三院的格局。御史台是中央专司监察的最高机构，“掌以刑法典章以纠百官之罪恶”（《新唐书·百官三》）。御史台下设台、殿、察三院。侍御史所在称台院，掌纠举百官，必要时可参与三法司审判；殿中侍御史所在称殿院，主要负责朝仪纠察；监察御史所在称察院，掌“分察百僚、巡按州县”（《新唐书·百官三》）。察院派出的巡视官员称“巡察使”“宣抚使”“存抚使”等。唐中宗时，朝廷将全国划为“十道”，每道设巡按使，代表中央巡察州县。唐朝光宅元年（684年），废御史台，改置左、右肃政台，前者负责军官和朝官的纠察，后者主管监察地方。后来，左台也有了监察地方的职能。两台每年春秋两季派出观风俗使和廉察使巡察州县。神龙元年（公元705年），两台改称左右御史台。中唐以后，节度使、刺史等可带御史衔，称外台，监察权再一次与行政权合体。
宋初在中央与府、州、军、监之间设“路”，一开始类似于汉朝的监察区。路属机构有转运司（漕司）、提点刑狱司（宪司），两司都兼有监察本路地方官吏之责，故称“监司”。监司在下辖州军巡行，随时解决发现的问题。神宗熙宁二年（1069年），两司外又增设提举常平司（仓司）。三司本来就是因事而设的行政和司法机构，赋予监察权的结果最终会导致监察职能的失效，不过三者分权互制减弱了监察失效的危害。
元初，御史台设殿中司、察院，其中殿中司主纠察朝廷百官贪赃不法与其他渎职犯禁行为；察院设监察御史三十二员，定期出巡地方。后来为便于行政，又在江南和陕西地区分设派出机构——行御史台。行御史台对御史台名义上有隶属关系，实则都是直接向皇帝负责，两者职级也基本相同。元初还在山东东西道，河东陕西道，山北东西道，河北河南道设置了提刑按察使一职，掌管纠劾辖区内官吏之不法犯罪行为，分隶于御史台、行御史台。至元二十八年到至元三十年（1291-1293年）间，朝廷将全国分为二十二道监察区，同时改提刑按察司为肃政廉访司，“每道仍设官八员，除二使留司以总制一道，余六人分临所部，如民事、钱谷、官吏奸弊，一切委之。俟岁终，省台遣官考其功效”（《元史·世祖本纪》）。肃政廉访司名义上隶属御史台和行御史台，但亦有相当大的自主权，可以越级直接奏报皇帝。
明洪武十五年，改御史台为都察院，由左右都御史和左右都副御史掌管，属下御史巡按全国。朝廷先后出台一系列法规和章程，致力于巡视制度的标准化、规范化。明成祖时，将全国划分为十三个监察巡视区，各设监察御史一名，按时分道出巡。监察御史直接对皇帝负责，拥有“大事奏裁，小事立断”（《明史·职官志》）的专断之权。同时地方各省置提刑按察使司，负责辖区内官员的巡查纠弹。
清代沿用明制设都察院，将明代的十三道监察御史增加到十五道，监察御史既负责巡察地方，也有权纠劾朝中官员。清代的省级长官由明代的三司改为布政使和提刑按察使两司。提刑按察使又称臬台，主管辖区内的司法与巡察，其下属机构称“巡道”。另外，各地总督、巡抚往往领有都察院右都御史、右副都御史、右佥都御史等衔，在行政管理外兼有巡察职能。