有一次，晋军俘虏了吴人的两个孩子，羊祜见后心生怜爱，他亲切地抚摸着两个孩子的小脸蛋，慈祥地说：“告诉我你们最想要什么吧？”两个孩子眨巴着天真的大眼睛，望了望眼前的这个面目仁慈的老者，说：“你是谁呀？你会杀掉我们吗？”羊祜急忙安慰这两个孩子说：“我是个好人，决不杀人，别怕，告诉我你们的心愿，好吗？”两个孩子带着哭腔说道：“我们想回家……”羊祜听后急忙送他们回家与家人团聚，孩子的父亲因此很感激，不久即举家降晋。
东吴有一位将领叫邓香，在攻夏口时被俘虏，羊祜亲自解开捆绑他的绳子。为了报答羊祜的不杀之恩，他也率部降晋。还有一次，羊祜带兵巡视边境，因军粮不足，便沿途以吴境成熟的庄稼充饥，但事后立即让士兵送绢给农田的主人，以此作为代价。羊祜的良苦用心没有白费，吴人逐渐改变了敌视的态度，甚至有人敬称他为羊公。
羊祜对待敌军将士也是如此，有一次，吴国的前线指挥陆抗生病，羊祜送去药物，左右怕有不测，建议不要服用，陆抗说：“羊祜岂是害人之人。”然后毫不犹豫地服下。陆抗还告诉他的部下：“羊祜怀之以德，而我们却加之以暴，这是不战自败，现在我们只需保守边界，不要追求蝇头小利。”于是，边境日渐平安。
但羊祜并没有满足这一点，暗地里悄悄加紧灭吴的准备。可是，朝中权臣贾充等人却从中阻挠，使晋武帝始终下不了灭吴的决心。就在这时，河西地区却意外地燃起了熊熊战火，少数民族首领树机能因不满不平等待遇，率部造反。秦州（州治在今甘肃天水）刺史胡烈领兵反击，但由于过分轻敌，加之没有援军，终于导致全军覆没。
这一来更助长了树机能反晋的气焰，他一连杀死了三个刺史，并于咸宁五年（公元279年）春攻下了凉州首府武威。司马炎为此忧心忡忡，最后，还是司马督（官名）马隆毛遂自荐，担任了靖乱的重任，平定了这场骚动。
虽然西北的插曲打乱了正在进行的灭吴工作的程序，但羊祜并未懈怠。他在一次上表时，迫切地指出：“平蜀之时，人们都说可以一并消灭东吴，从那时到现在已经13年了。东吴的山河之险比不上蜀之剑阁和岷水、汉水，但如今孙皓的残暴超过了刘禅，吴人的困苦也甚于当年的蜀汉。而今大晋的兵力已经强于当初，物资机械也胜于往昔。此时若能水陆并进，一定能战胜东吴。”
但时光荏苒，岁月不居，此时的羊祜已进入暮年，虽然司马炎在各方面对他礼遇备加，仍然慰藉不了他壮阔的情怀。当老友中书令张华去看望他时，他满怀忧虑地说：“吴国的政治太酷虐了，如果现在进攻，唾手可得。万一孙皓死了，吴人另立新主，即使我们有百万大军，也难以跨越长江天险。”
他又嘱托张华：“我的愿望能否实现就靠你了。”终于，这位灭吴的奠基者没能看到“一片降幡出石头”的一天，于咸宁四年（公元278年）含恨而逝。
面对羊祜的去世，司马炎顿感失去了左膀右臂，伤心异常。
平定吴国经济增长
羊祜临终之时推荐了另一位名将杜预接替他的职务。这位风度儒雅的将军有书生的头脑，却无书生的弱点，政治与军事才能不亚于羊祜。羊祜死后，他担任了镇南大将军，都督荆州诸军事，上任伊始就表现出了卓越的军事才能。
杜预首先袭击了驻守在要害之地的吴军，并且大获全胜。吴将张政恐朝廷怪罪，将此事隐而不报。杜预深知张政是一个不易对付的敌手，便想借此事除掉他。杜预派人把战俘送还东吴，孙皓闻之大怒，调离了张政。就这样，杜预轻而易举地赶走了自己的劲敌。
这时，担任训练水军重任的王溶已是七十高龄的老人，他向朝廷上了一份情真意切的文表，传达灭吴的心愿：“孙皓日益荒淫，东吴有志之士无不怨仇，今不伐吴，变化莫测。老臣七年来一直制作战舰，有的因长期闲置已经朽坏。臣年已七十，来日无多，望陛下体恤我的衷愫，勿失良机。”
与此同时，杜预也向司马炎请求伐吴之期，但得到的答复是等到明年，杜预便上书陈述利害：“自今秋以来，讨贼主事已露端倪，如果现在中止，孙皓便会另生他计，或迁都武昌，或加固江南的城池，到时候便会城不可攻，野无所掠。”
杜预的疏表送到的时候，司马炎正和张华下棋，司马炎看完后，很久没有说话，只是微笑点头，然后顺手将其递给张华。
张华看罢，忽然将手一伸，猛地推翻棋盘，棋子撒了一地。
司马炎惊得目瞪口呆，张华早已站起身来，躬身施礼道：“恭喜陛下，贺喜陛下！”武帝司马炎糊里糊涂地问：“何喜之有？”张华眼里闪着光芒道：“陛下眼看就要成就一桩惊天动地的勋业，如何不喜！”
武帝让他细细说来，张华这才有头有尾地说出一番话来：“陛下，杜将军所言甚是！目前敌我相比，成败之势一目了然。陛下英明神武，我朝国泰民安，兵精粮足，一旦兴师，军民定能全力以赴；而吴主孙皓则荒淫暴虐，国内民怨鼎沸。所以乘势发兵定能以死效命。这也是羊太傅（指羊枯）的遗言，臣以为陛下决不会坐失良机。”晋武帝听完，顿时兴奋得满脸放光，他的鼻翼翕动着，猛吸了几口气奋臂一挥说道：“卿言正合朕意。朕意已决，明日传旨发兵。”
司马炎命令战事要按照羊祜生前提出的方案进行：琅玡王司马抽出兵涂中（今安徽滁州），安东将军王泽出兵江西（今安徽长江以西地区），建威将军王戎出兵武昌，而平南将军胡奋向夏口（今武汉市汉口）进军，镇南将军杜预向江陵进军，龙骧将军王洛、广武将军唐彬则率巴蜀水军顺江而下。这六路大军20多万人犹如六支利箭直射东吴的腹地。
在这六路大军中，王溶率领的巴蜀水军是其中坚。王溶在担任巴郡太守期间发现，百姓苦于重役，经常遗弃男婴，他便立即实行宽松的政策，减轻百姓的负担，并鼓励生育，被他救活的婴儿就有好几千人。巴蜀子弟为了感谢王溶，积极随之东进。王溶的战舰规模之大，亘古未有，他的船双双为单位，方120步，可载2000余人，船上造有城楼，四面开门，将士可以自由地在上面骑马奔驰，船头还刻有怪兽的头像，于宏大中露出几分威武。
太康元年（公元280年）正月，王溶自成都出发，不久攻克丹阳。吴人为了阻挡晋军的进攻，也早有准备，他们在长江的险要之处，布下长长的铁锁，又在江中埋下丈余长的铁锥，企图使晋军的战舰陷入尴尬的境地。但这一情况早被羊祜获知，所以在进攻之前，王溶就准备了大小竹排，并在上面布上披有盔甲的稻草人，使之前行，挟去江中的铁锥。他又制作了巨大的火炬，灌上麻油，放在船前，遇到铁锁便点上火炬，使之熔为铁水。就这样，吴人自恃的长江天险，在王溶的脚下化作了平地，他几乎兵不血刃，迅速攻下了夏口、武昌。
正当王溶准备乘胜东进，直驱建业（今南京）的时候，却遇到了麻烦。
身为六军统帅的贾充从中作梗，向司马炎上书：“现在正值春夏之交，吴地瘟疫流行，应该召回各路大军。并且要腰斩张华，以谢天下。”司马炎没有听信他的谗言，只是冷冷地说道：“伐吴是我的主张，张华只是赞同而已。”
于是王溶的部队又继续前进。这时，王浑的大军也势如破竹，到了横江（今安徽和县），在两路大军的夹攻下，建业城中的孙皓成了瓮中之鳖，他派将军张象带领水军抵抗。谁知张象根本没有抵抗之意，一出城便做了俘虏。在这种情况下，孙皓不得不素车白马，肉袒而缚投降西晋，东吴的40多个郡，300多个县，230余万人口全部归入西晋的版图。东吴这个立国近60年，曾经雄踞江东的国家，终于断送在亡国之君孙皓的手中。
这年五月，司马炎在都城洛阳召见了孙皓，封他做了归命侯，原吴国的牧、守以下的官员一律保留不动。
西晋灭掉吴国，除去了心腹之患后，司马炎顿感轻松了许多，人民希望的和平安定生活的宿愿，终于实现了，人民欢呼雀跃。司马炎百感交集，兴奋喜悦之余，他想，灭吴的功绩当然非忠臣莫属，于是他下令在都城洛阳举行了盛大的庆功大会，论功行赏。文武百官、四方使者和国子监的学生们都参加了这个庆功大会，共同颂扬司马炎扫灭群雄、统一海内的功绩。
国家既已统一，外患又已消除，司马炎便把主要精力放到恢复经济、发展生产上来。由于东汉末年以来战乱频频，曹魏一直实行为战时服务、带有浓厚的军事色彩的屯田制，这种陈旧的生产方式显然已不适应和平时期的需要。为此，司马炎着手颁布新的土地制度，即占田制。实际上早在司马昭当政时，就已考虑过这个问题，咸熙元年（公元246年）就曾下令罢屯田官，以均政役，并将典农中郎将、典农校尉改为太守，典农都尉改为县令或县长，这样，原来的典农部民和屯田客都成了属于郡县的编户了。
在此基础上司马炎在全国大力推行占田制，允许世家大族荫庇亲属、佃客、衣食客占有土地，不纳赋税。这一规定，使皇家宗室和世家大族更加肆无忌惮地兼并土地。后来，司马炎为了限制他们，增加国家的财政收入，又规定了限田的办法，比如：王公贵族第一品可以有田5000亩，每低一品递减500亩，第九品可以有田1000亩。司马炎没有想到，限田诏书颁布以后，实行起来却十分困难。他听说蓝田县令张辅执行得好，敢于把当地豪门庞宗的2万多亩土地没收，分给百姓耕种，就对他大加赞赏，并把他调到京师附近的山阳（今河南焦作市东）做县令，后又提升他为尚书郎、御史中丞。
司马炎还规定了占田和课田的数额：按占田制的规定，每个男子可以占田70亩，女子占田30亩。占田制对提高人民的生产积极性，解放生产力，起到了一定的作用，这从太康时期的繁荣可以窥见一斑。平吴那一年（太康元年280年），西晋有户240余万，但到太康三年（公元282年），已激增到371万户，两三年中增加了130多万户，其中除去当初遗漏的户数，实际增加的人口也是相当可观的。
在封建时代，人口的增减往往是衡量社会安定与动乱的标准，西晋初年人口的增长在某种意义上说明政府的政策法令收到了一定的成效。史书上这样描述当时的繁荣景象：“太康之年，天下书同文，车同轨，牛马遍野，余粮盈畴，商旅道栖，夜不闭户。”而永宁之初，洛中尚有锦帛四百万，宝珠金银百余斛。
