汉武帝时设十三州部，每部设一刺史，汉成帝时，改刺史为州牧。后废置无常。东汉灵帝时，为镇压农民起义，再设州牧，并提高其地位，居郡守之上，掌一州之军政大权。如汉末刘表为荆州牧，袁绍为
冀州牧，都等于割据政权。以后历代设都督、总管、节度使等，州牧之名即废。唐宋时惟京师或陪都地方最高长官以亲王充任者，尚称为“牧”，其他州牧之名均废。清代往往借作知州的别称，实际上远非东汉州牧之比了。
汉代的“州”相当于省，州设“刺史”（不同时期也叫“州牧”，如刘备曾经是“豫州牧”）；“州”下置“郡”（相当于“市”），郡设“太守”；“郡”下面还有“县”，大县设“县令”，小县设“县长”。三国时魏、吴、蜀都沿用汉代的做法。