黄初七年（公元226年）五月，曹丕驾崩，享年四十岁。临终时，令司马懿与中军大将军曹真、镇军大将军陈群、征东大将军曹休为辅政大臣。曹丕对太子曹叡说：“有间此三公者，慎勿疑之。”曹叡即位，改封司马懿为舞阳侯。孙权得知魏文帝去世后，于八月出兵攻魏。命诸葛瑾、张霸兵分两路进攻襄阳，亲自率军进攻江夏郡。司马懿击退了孙权，又击败诸葛瑾，并斩杀张霸，斩首千余级。十二月，升任骠骑将军。

太和元年（公元227年）六月，魏明帝曹睿命司马懿驻扎宛城，加督荆、豫二州诸军事。时有蜀将孟达降魏，魏朝待其甚厚，司马懿认为他言行倾巧，不可信任。但曹睿不听，任命孟达领新城太守，封侯，假节。后孟达失宠，蜀丞相诸葛亮即暗中与之通信，图谋叛魏。诸葛亮恐他言行反复无常，想促他速叛，知魏兴太守申仪和他有矛盾，便派郭模到申仪处诈降，有意泄露其事。孟达闻此泄露，准备马上起兵。申仪将此事密告司马懿后，司马懿怕他突然发难，给他去信，详为慰解，信中说：“将军昔弃刘备，托身国家，国家委将军以疆埸之任，任将军以图蜀之事，可谓心贯白日。蜀人愚智，莫不切齿于将军。诸葛亮欲相破，惟苦无路耳。模之所言，非小事也，亮岂轻之而令宣露，此殆易知耳。”

孟达得信大喜，犹豫不决。司马懿则暗中率军进讨，诸将见孟达与吴蜀交接，劝司马懿先观而后动。司马懿说：“达无信义，此其相疑之时也，当及其未定促决之。”司马懿亲自率军日夜兼程前去讨伐孟达，八天抵达新城城下。吴、蜀派出援兵解救孟达，被司马懿部拦阻于西城的安桥、木兰塞等地。此前，诸葛亮曾告诫孟达加紧防范，孟达写信给诸葛亮认为：“宛城和洛阳相距八百里，离我处一千二百里，上表给天子，来回路程，少需一个月，那时我的城池已修固，诸军都作好了准备。我驻扎的地形深险，司马懿必不会亲自来，其他部将来，则不足为患”。而司马懿先斩后奏，仅八日就兵临城下，孟达又写信给诸葛亮，惊叹：“吾举事，八日而兵至城下，何其神速也！”

上庸城三面环水，孟达在城外树立木栅，加固城防。司马懿挥师渡水，毁其木栅，直逼城下。太和二年（公元228年）正月，司马懿兵分八路攻城，仅十六天，孟达的外甥邓贤、部将李辅开城投降。魏军入城，擒斩孟达，传首京师，俘获万余人。司马懿回军，仍驻宛城，奖劝农桑，禁止浪费。南方吏民心悦诚服。

申仪自恃有功，久在魏兴郡专威弄权，擅自借皇帝名义刻制印信，私相授予。孟达被杀之后，申仪自生疑虑。当时各郡郡守见司马懿克敌制胜，纷纷奉礼祝贺。司马懿听之任之，并让人向申仪暗示，申仪只好前来祝贺。司马懿乘机将他收捕，送往京师。司马懿又将孟达余众七千余家免罪，迁往幽州，不久蜀将姚静、郑他等率其部属七千余人来降。

魏明帝又问他吴蜀都该讨伐，应该先从何处着手？司马懿回答说：“吴以中国不习水战，故敢散居东关。凡攻敌，必扼其喉而摏其心。夏口、东关，贼之心喉。若为陆军以向皖城，引权东下，为水战军向夏口，乘其虚而击之，此神兵从天而坠，破之必矣。”魏明帝同意他的看法，命他回宛城备战。八月，大司马曹休不依计划，迳下皖城深入敌境接应诈降的吴将周鲂，在石亭被陆逊伏击，大败，曹休病死。

太和三年（公元229年），蜀丞相诸葛亮第三次出兵攻魏，并占据武都、阴平二郡。太和四年（公元230年），魏明帝决定兴师伐蜀。升司马懿任大将军、加大都督、假黄钺，与大司马曹真一起伐蜀。八月，魏明帝命曹真率主力由长安入子午谷，左将军张郃出斜谷，司马懿自荆州溯汉水出西城，将兵分三路会攻汉中。司马懿从西城开拓道路，水陆并进，沿着沔水逆流而上，直达朐忍，攻克新丰县，驻军丹口，后遇大雨班师。

太和五年（公元231年）二月，蜀汉丞相诸葛亮率军第四出进攻魏，包围祁山贾嗣、魏平部，并以木牛流马运输粮草。魏明帝对司马懿说：“西南边境战事吃紧，除了你没有可以应对的。”，于是派他西驻长安，都督左将军张郃、雍州刺史郭淮等防御蜀军。司马懿留部将费曜、戴陵率四千人守邽，自率主力西救祁山。张郃劝司马懿分兵驻扎雍、郿两地，以作大军后镇，司马懿不同意道：“料前军独能当之者，将军言是也。若不能当，而分为前后，此楚之三军所以为黥布禽也。”于是挺进喻麋，对战诸葛亮。此次战役的结果，与诸葛亮互有胜负，平分秋色。

青龙二年（公元234年）二月，诸葛亮率军十万出斜谷攻魏。四月，诸葛亮至郿县，进驻渭水之南。司马懿率军渡渭水，背水筑垒阻击。诸将想在渭北与诸葛亮隔水相持，司马懿说：“百姓积聚的粮秣财物都在渭南，这是必争之地。”遂渡渭背水扎营。司马懿分析形势后，对诸将说：“百姓积聚的粮秣财物都在渭南，这是必争之地。”当时，司马懿屯兵渭南。郭淮估计诸葛亮一定会争夺北原，主张先占领，他说：“如果诸葛亮跨过渭水登上北原，就可以连兵北山，断绝陇道，惊吓臣民和胡人，此乃国家安危之大患。”很多人不以为然，但司马懿很认同，让郭淮屯兵北原。战壕还没修好，蜀军压境，魏军奋力回击。不久，诸葛亮率大军西行，诸将都认为诸葛亮想攻西围。郭淮则认为，诸葛亮虚张声势是要让魏军大举回应，而他的目标是阳遂。夜里，蜀军果然进攻阳遂，因城中早有防备，诸葛亮没能成功。五月，十万吴军攻魏，配合蜀汉军作战，被满宠所拒。七月，魏明帝率兵亲征，吴军撤走。群臣认为司马懿正还在西边和诸葛亮重兵对峙，车驾可西幸长安，魏明帝则说：“权走，亮胆破，大将军以制之，吾无忧矣。”诸葛亮东进的道路受阻于司马懿，从渭水前进，又有郭淮阻挡，乃移军攻取散关，陇城等地，回师进攻司马懿。

八月，司马懿以“坚壁拒守，以逸待劳”的姿态，与诸葛亮相持百余日。诸葛亮数次挑战，司马懿均坚壁不出，以待其变。诸葛亮便派人给司马懿送来“巾帼妇人之饰”，欲激司马懿出战，司马懿仍不出战。为平息部属不满情绪，故意装怒，上表请战。魏明帝不许，并派骨鲠之臣辛毗杖节来做司马懿的军师，以节制他的行动。诸葛亮一来挑战，司马懿就要带兵出击，辛毗杖节立于军门，司马懿便不出兵。蜀将姜维就对诸葛亮说：“辛毗杖节而至，贼不复出矣。”诸葛亮则说：“彼本无战情，所以固请战者，以示武于其众耳。将在军，君命有所不受，苟能制吾，岂千里而请战邪！”诸葛亮遂分兵屯田，做长久屯驻之准备。司马懿的弟弟司马孚也来信问前线军情，司马懿回信说：“亮志大而不见机，多谋而少决，好兵而无权，虽提卒十万，已堕吾画中，破之必矣。”