黄初七年（226年），曹叡即位，即魏明帝。因六年“东宫之旧”，毋丘俭深受明帝信赖，仕途平步青云，先后任尚书郎及羽林监，洛阳典农中郎将。作《承露盘赋》、《承露盘铭》，曾与雍丘王曹植一同为汉朝名器铜仙承露盘题文刻字，声明雀起之后，先后结识夏侯玄、嵇康等名士。
适逢汉相诸葛亮北伐，明帝大兴土木，高柔、王朗等群臣纷纷进谏劝阻，毋丘俭亦在其中，指出：“依臣愚见，天下应最先消灭的是吴、蜀二贼，最应寻求的事是丰衣足食。今，吴、蜀二贼没有被消灭，且百姓仍处于饥寒交迫，即使宫室再美，还是没有益处的。”明帝擢升他为荆州刺史，镇守襄阳。
太和年间，明帝处理“浮华案”，整治浮华、空谈之风，罢黜、逮捕了诸葛诞、何晏、邓飏、丁谧等人，毋丘俭叹道：“万世（盛、乘，有争议）之朝，不畜庸才。”引以自省。在人事选拔上愈发尽责小心。后来向朝廷举荐了裴秀，而当同乡杜挚写诗寄来，寻求捷径时，毋丘俭委婉回绝，安慰老乡莫要自轻自贱，勉励其自行表现。少时友谊和磊落正直的作风，使得明帝愈加信赖毋丘俭。不久后，他又获升迁，逐渐投身军旅。
青龙三年（235年），汉相诸葛亮病逝，西线战事暂定。毋丘俭揣摩圣意（一说曹叡指使），上书伐辽，提出详细的用兵方案，为了坚定明帝的决心，最后附上：“陛下您继位以来，没有什么值得史书记载的伟绩，吴、蜀凭借天险抗衡大魏，朝廷这么多年屡次用兵始终没有剿灭它们，应该趁休战的这段时间把战略重心投入别处，收复辽东。”卫臻等近臣觉得公孙渊实力强大，而毋丘俭的计划太过冒险，坚决反对。但明帝早就不满公孙渊割据辽东，在魏吴之间反复暧昧的态度，已有伐辽之心。称赞毋丘俭有能力有策谋，欣然采纳，以“俭有干策”任命其为幽州刺史，加度辽将军、使持节、护乌丸（桓）校尉。从此毋丘俭正式开始了自己的军事生涯。
被封为辽东太守，扬烈将军的公孙渊名义上是魏国的臣子，不久前又因诱斩东吴使团，献俘有功得到明帝嘉奖，加授大司马，封乐浪公。但公孙家族世代割据辽东，实力深厚，名为魏臣却自成一体。向来无视幽州刺史部的谕令，公孙渊满足于割据现状，不肯赴京任职。加之时而与吴国来往密切，引起魏廷不满。屡次征召、警告无果，明帝渐渐失去耐心。公孙渊通过种种渠道，探知明帝屡次收到幽州刺史和东莱太守弹劾自己的奏疏。因而对毋丘俭充满戒心和敌意。
青龙四年（236年），毋丘俭在多次弹劾公孙渊后，终于得到明帝批准，开始对辽东郡用兵。通过外交手段，招降右北平乌桓单于寇娄敦、辽西乌桓都督王护留，以及当年追随袁尚流亡辽东者共计五千余部众。削去公孙渊的潜在盟友后，秘密率领幽州、鲜卑、乌桓联军开赴襄平（辽东郡郡治），抵达附近的辽隧，设下埋伏，派人携带书信、印章前去征公孙渊进京述职。一切都按计划进行，只等公孙渊就范或出城。但大军的行踪走漏了消息，刺激了公孙渊。又因之前对洛阳屡有不敬，已成惊弓之鸟，当其发现埋伏在外的魏国大军后，又惊又怒，诡称幽州刺史假传圣旨，阴谋害己，以此为由拒不奉诏并发兵对抗魏军。两军战于辽隧，僵持日久，又逢十日暴雨，辽水暴涨，魏军虽有备而来，但辽东军却占据天时地利，战争异常艰苦，胜负一时难分，明帝看完战报，诏毋丘俭立即退军，撤回北平，等待洛阳援军，以期二次进军。一伐无功而返，公孙渊愈加乖张跋扈，一面指使幕僚们上书明帝，象征性认罪求和，归罪于毋丘俭。一面却公开割据备战，自立为燕王，置官刻玺，通使东吴，以求外援，但上过一次当的孙权不肯出兵相助。讨伐无功而返，明帝没有怪罪毋丘俭，诏命其兼任太尉司马懿军队副帅，准备第二次征讨。景初元年（237年），司马懿4万援军至，毋丘俭与其会师，并率本部幽州兵马再度伐燕，期间高句丽也派了数千士兵加入魏军助战，联军经一年苦战，最终打败燕军，公孙渊为司马懿所杀。辽东郡光复。战后魏明帝曹叡论功行赏，毋丘俭据此战役进封安邑侯，邑三千九百户。
景初二年（238年）末，战事基本结束，明帝的使节抵达蓟县，犒赏三军。太尉司马懿率数万京军先行踏上归程，而毋丘俭则以州牧之责继续留守燕地，处理战后事宜。景初三年（239年）正月，明帝病情急剧恶化，一月之间便不治驾崩。当使节驰行两千里，再次抵达蓟县后，毋丘俭能做的，只有举境发丧了。事业在幽州停滞了几年，不受到当权者的重视和理睬，几年后，他出征塞外，途经辽东郡，不禁悲从中来。在《之辽东》一诗中写道：“忧责重山岳，谁能为我檐？
辽东郡虽然成功收复，但是在战争期间以及之后，大量军人死亡、平民迁徙以及战争期间的屠戮。幽州的东北部地区汉人减少，出现了势力真空，反而不如公孙氏对当地的控制力、影响力。以高句丽为代表的外部势力趁机发难，开始侵扰边境，蚕食魏国土地。
正始五年（244年），高句丽趁虚犯边，袭破西安平。毋丘俭组织魏军展开报复，亲率万余精锐步骑兵出玄菟郡讨伐高句丽，高句丽王位宫引军两万迎击。虽敌众我寡，实力悬殊，“俭为方阵，决死而战”，先后在沸流水、梁口两度大败高句丽军，杀死高句丽军一万八千余人，位宫携妻子及千余骑逃向东沃沮避难，毋丘俭没有追击东川王，转而进军其国都丸都山城，勘察地形，因山城西北山体陡峭，守兵空虚，旋即采用避实就虚的计策，正面佯攻，西北偷袭，选派善于攀登的精卒，携带兵器长绳，摸上山崖，杀死守兵，智取北门。“束马悬车”，攻破了丸都，焚毁宫殿，处死大批官吏，摧毁其统治中心。