毛玠年轻时为县吏，以清廉公正著称。他本想到荆州躲避战乱，尚未到达，听说
刘表政令不严明，于是改往鲁阳县。曹操治理兖州，征召他为治中从事。毛玠对曹操说：“现今国家分裂，君主流离，民众失业，饥饿流亡，公家没有能维持一年的储备，百姓没有安定的心思，这种状况是难于持久的。
袁绍、刘表虽然兵民众多，力量强盛，却都没有长远的考虑，没有树立基础、建设根本的人。用兵之事，合乎正义的才能取胜，保守权位需要财力，因此，应当拥戴天子以命令那些不肯臣服的人，致力于耕植业，积蓄军用物资，这样，称霸称王的大业就可以成功了。”曹操郑重地采纳了他的意见，转任他为幕府功曹。
曹操任
司空、丞相时，毛玠曾做过
东曹掾，与
崔琰一起主持选举，他所推荐任用的都是清廉正直的人士，那些在当时有盛名而行为虚浮、不务根本的人，始终没有得到引荐任用。他力求以俭朴作风为人表率，因此全国士人无不以廉洁的操守自我勉励，即使是宠臣，车马服饰也不敢超越制度。曹操感叹说：“用人能做到这样，使天下人自己治理自己，我还有什么可做的呢！”
曹丕作
五官中郎将时，亲自去见毛玠，托他任用自己的亲属。毛玠答复说：“我因为能够恪守职责，才幸而得以免于获罪。现在您所提到的人不合升迁的次第，因此我不敢奉行您的命令。”
曹操统率大军返回
邺城，商议撤并一些机构和官职。毛玠对以私情向他求官的一概拒绝，当时一些人很害怕他，都想要撤除东曹。于是他们一起禀告说：“依旧制，西曹为上，东曹为次，应该撤销东曹。”曹操知道其中实情，下令说：“太阳出于东方，月亮明于西方，凡人说到方位，也是先说东方，为什么要撤东曹？”于是省弃了西曹。起初，曹操平定
柳城，分赏所缴获的器物，特意把素色屏风、素色凭几赐给毛玠，说：“你有古人的风范，所以赐给你古人的用具。”毛玠居显要之位，却常常穿布衣吃素菜，抚育哥哥的儿子尽心尽意，所得的赏赐用来救济贫苦族人，自己家里没有多余的财物。毛玠后来升任右军师。
建安十八年（213年），魏国建立，毛玠担任尚书仆射，又主持选举。当时太子还没有确定，而临菑侯
曹植受到恩宠，毛玠秘密地劝告曹操说：“近来
袁绍因为
嫡子庶子不分，导致家破国亡。废立太子是件大事，废长子而另立，可不是我所愿意听到的消息。”后来群臣聚会，毛玠起身去厕所，曹操用眼睛看着他说：“他正是古人所说的国中正直之士，是我的
周昌啊！”
建安二十一年（216年），
崔琰因被人指称言论傲世怨谤，触怒曹操而被赐死，毛玠因而十分不快。
后来，有人告发毛玠，说：“毛玠出门看见脸上刺字犯人，那人的妻子儿女被籍没为官家奴婢，就说：‘使老天不下雨的原因大概就是这个吧。’”曹操大怒，把毛玠逮捕下狱。大理
钟繇奉命责问毛玠。
毛玠说：“我听说
萧望之自杀，是因为
石显的陷害；
贾谊被流放，是因为
周勃、
灌婴的谗言中伤；
白起被赐剑自刎于
杜邮，
晁错被斩首于东市，
伍子胥命断于吴都。这几位人士的遭遇，都是由于有人公开妒忌，或是由于有人在背后暗害。我自年少时就作县吏，积累勤勉取得官职，我的职务处在中枢机要之所，牵涉复杂的人事关系。如有人以私情请托，他再有权势我也要加以拒绝，如有人将冤屈告诉我，再细微的事件我也要审理。人的本心是想无限制地追求私利，这是法律所禁止的，谁要按照法律去禁止非法求利，有权势的人就可能陷害他。进谗言的小人就像青蝇一样一哄而起，对我进行诽谤，诽谤我的肯定不是其他人。过去王叔、陈生与伯舆在朝廷上争辩曲直，
范宣子进行评断，他叫双方举出证词，这样使是非曲直各得其所。《
春秋》称许此事，因此加以记载。我并没有说过那样的话，也谈不上什么时间、对象。说我说过，则必须有证据。我请求得到
范宣子那样的评辨，和王叔那样的诬陷者对质。如果曲在于我，行刑的日子，我就会像得到安车驷马的赠予那样安然就死；送来让我自杀的赐剑，我将把它比作重赏的恩惠。谨以此状作为申诉如上。”
当时
桓阶、
和洽进谏营救毛玠。毛玠于是被免刑、废黜，后来死在家中。曹操赐给棺木、祭器、钱和绢帛，授给他的儿子
毛机郎中的官职。
清
康熙九年编修《麻城县志》时，主修者周维秬曾对毛玠晚年迁居麻城一事进行了考证，言曰： “旧《志》谓玠为
介休人，并为文帝使吴者，误。余于燕邸书肆购阅《廿一史》，录得此传。玠为
陈留人，与《
一统志》相合。其玠之携幼子迁居麻城事，《传》或未之详也。”
康熙县志《人才志·流寓》将毛玠排于首位，原文为： 汉毛玠，字孝先，陈留人。今邑中毛氏子孙言玠携幼子家于麻城，有魏武帝手书“万古高风”四大字赐玠者，毛氏世珍藏之。如佥宪之毛凤韶、丁丑进士之毛羽仪，皆玠后裔也。玠墓在花桥，离县治东十七里。 乾隆六十年刻本《麻城县志·金石考》载：毛玠神道碑，在花桥之麓，
梁大同九年（543年）彭城黄斌建立此碑。
在小说《
三国演义》中，曹操在兖州，毛玠来投。曹操迁都许昌，任命毛玠为
典农中郎将，催督钱粮。曹操担任丞相，为东曹椽。
赤壁之战，曹操中计误杀
蔡瑁、
张允，以毛玠、
于禁代任水军都督。