据《五代志》记载：十六国前燕建熙时（公元360年），从元城县分出一部分组建了贵乡县。县治设在孔思集寺（今河北大名县大街乡）。

为同时设立贵乡郡治所。不久贵乡县、贵乡郡俱废，仍并入元城县。北魏太和二十一年（497年）复置贵乡县，后又省。东魏孝静帝天平二年（公元535年），分馆陶县西部复设贵乡县，县治设于古赵城，即今大名县王莽城。属魏尹。公元578年北周统治者把贵乡县治迁到孔思集寺。579年为魏州治所。隋开皇三年（583）属魏州。大业三年（607）属武阳郡。唐武德元年（618）复属魏州。建中三年（782年），田悦改魏州为大名府，贵乡属之。后唐同光元年（923年）三月，改贵乡县为广晋县。属兴唐府。