河西败报传来，司马炎非常震恐。他免去司马亮都督秦、凉州诸军事的职务，改派另一宗王司马骏接替他镇守关中。司马炎又任命尚书石鉴都督秦州诸军事，负责平定河西鲜卑动乱。石鉴到达秦州，强令与他有芥蒂的新任秦州刺史杜预出兵，遭到对方的拒绝。杜预向石鉴提出比较稳妥的攻战方案，石鉴不予采纳。他一面逮捕杜预，一面亲自带兵与秃发树机能交战，结果仍大败而归。

　　秃发树机能的兵力越战越强，周围地区的少数民族受到鼓舞纷纷起兵反晋。泰始七年（271）四月，凉州的北地胡人造反，与秃发树机能合谋袭击金城（今甘肃兰州西），将凉州刺史牵弘诱至青山击杀。

　　西方战事日趋紧张，司马炎深感忧虑。侍中纪恺给他出主意说：只有安排象贾充这样有威望有智谋的人亲自挂帅，战乱才能平息。司马炎觉得很有道理，随即任命贾充都督秦、凉二州诸军事开赴西部战场。当时，贾充官任侍中、尚书令、车骑将军，是朝内最有权势的臣下，素有宰相之称。贾充与侍中兼中书监荀勖、越骑将军冯紞等人朋比为奸，操纵朝政。任恺是他们的反对派，推荐贾充西行，目的是使他远离朝廷。贾充不愿此行，求计于荀勖。荀勖劝他与太子结亲。贾充等人买通了皇后杨氏，又在皇帝面前大造舆论，终于使司马炎答应了以贾充之女贾南风为太子妃的亲事。碍于亲家的面子，司马炎就不再提及挂帅之事，贾充由此而免去了西征之苦。

　　这时，被司马炎派到南方主持荆州军事的羊祜也遇到强硬的对手：东吴西线军事的主帅已由陆抗出任。陆抗为东吴名将陆逊之子，本人也是个出色的军事家。陆抗上任不久，便攻破西陵（今湖北宜昌），将献城降晋的步阐击杀，并打败羊祜等人率领的援军。羊祜知道灭吴不是一朝一夕的事情，遂一面继续积蓄力量，一面以信义对东吴边界军民施加影响，等待时机。

　　泰始十年（274），陆抗病死，东吴西线的防御能力明显下降。羊祜开始筹划南进的军事部署和作战方案。咸宁二年（276）十月，羊祜给司马炎上表，请求伐吴。羊祜认为，西晋灭吴的条件比当时灭蜀的条件远为成熟，只要司马炎肯下决心，平吴是不成问题的。但是，羊祜的建议遭到贾充、荀勖等人的坚决反对。他们以秦、凉地区的动乱尚未平定为理由，极力阻挠南进。羊祜再次上表陈述早日发兵的原因，然终未能获得司马炎的同意。

　　司马炎不能下定灭吴的决心，除因西部动乱外，还有他分封诸王以屏卫皇室的计划没有完全实现的因素。自泰始分封以来，司马炎没有认真要求诸王就国，多数宗王留官或留居洛阳，也有部分宗王出任都督。咸宁三年（271）七月，司马炎接受卫将军杨珧等人的建议，始命令诸王就国。他按照户邑的多少，把王国分为三等。“邑二万户为大国，置上中下三军，兵五千人。邑万户为次国，置上军、下军，兵三千人。五千户为小国，置一军，兵千五百人。”（《晋书·地理志》）由于诸王贪恋京师的奢华生活，都把就国看作是一件极为痛苦的事情，史称“皆涕泣而去”。这些懦弱无能的宗王在以后的政治事变中几乎没有发挥什么作用，司马炎所预想的目的并未实现。在命令在京诸王就国的同时，司马炎对于“诸王为都督者，各徙其国使相近”（《资治通鉴》卷八十）。由于这一部分宗王“出拥旌节，莅岳牧之荣；入践台阶，居端揆之重”（《晋书·汝南王亮传序》），既能持节掌握一方军政，又能操纵左右中央的朝权，权力过重，野心膨胀，遂在司马炎死后酿成了“八王之乱”这样空前的历史大悲剧。

　　咸宁四年（278）六月，羊祜病重，要求入朝面陈灭吴大计。司马炎允许他乘车上殿，不行参拜之礼，对于他的意见也表示愿意听取。后来羊祜在病榻上要前来探病的中书令张华转告司马炎说：吴主孙皓暴虐异常，现在出兵可以一举成功。如果孙皓死掉，吴国另立有为新主，我们再有雄师百万，也难渡长江天险了。羊祜的话，确实对司马炎震动很大。他要求羊祜卧护诸将，带病出征。羊祜表示，灭吴战争不一定非他指挥不可，他可以推荐一个能够胜任这一职务的人选。当年十一月，羊祜病故。临终前他举杜预代替自己。杜预以镇南大将军、都督荆州诸军事的职务到达襄阳后，以离间计诱使孙皓撤换了对晋军有威胁力的西陵总督张政。孙皓在临战之前的将帅移易，造成以后西线吴军的迅速崩溃。经过一段时间部署之后，咸宁五年（279）八月，杜预向司马炎上表请求伐吴。司马炎答应明年准备出兵，但杜预反对说，东吴西部的兵力已调空，这是大举进攻的最好时机，如果给孙皓以喘息时机，很可能要功亏一篑。这时，益州刺史王濬也上书请战。他在益州为准备灭吴大造舰船，至此已有七年。王濬说，他造的船有的已开始朽烂了，自己年纪已到七十，死亡无日，实在不愿再白耗光阴，请求皇帝切勿坐失良机。

　　司马炎被说服了，开始倾向及早伐吴。但是一到贾充等人搬出种种理由反对时，他又迟迟疑疑下不了决心。他把中书令张华找来对弈，以条理思绪。恰巧杜预的又一份请战奏疏送到，一直主张灭吴的张华把棋局一推，说什么也不肯下了。他极力催促司马炎当机立断，在这种形势下，司马炎终于同意立即对吴采取军事行动。贾充等人听到消息又赶来争吵，惹得司马炎发起火来，他们才不敢再唱反调。

　　咸宁五年（279）十一月，司马炎命令张华为度支尚书，主持灭吴大局，掌管漕运粮饷。同时，他发布诏书，下令以六路大军，二十万众，大举进攻吴国。这六路是：镇东将军司马伷出涂中（今安徽滁河流域）为第一，安东将军王浑出江西（今安徽长江以西）为第二，建威将军王戎出武昌为第三，平南将军胡奋出夏口为第四，镇南大将军杜预出江陵为第五，龙骧将军王濬等率巴蜀水军，顺江而下为第六。