1949年6月，聂荣臻搬进中南海春藕斋（后迁到居仁堂）办公，协助兼总参谋长的周恩来主持总参谋部的日常工作。10月19日，中央人民政府人民革命军事委员会成立，徐向前任总参谋长，聂荣臻任副总参谋长。因徐向前病休，实际上仍由聂荣臻主持总参谋部工作，后任代理总参谋长，直到1954年11月为止。在新中国建立前后，总参谋部一直协助中共中央和中央军委领导部署全军的作战和军队的各项工作。
1949年4月21日，毛泽东、朱德发布了《向全国进军的命令》。当时，总参谋部的第一项任务就是按照中共中央、中央军委的决定，组织好消灭约120万国民党军残余部队的作战部署。
1949年3月至12月，第一野战军向西北进军，歼灭和改编国民党军30万人，解放了西北全境。8月至10月，第三野战军进行了福州、漳厦战役，歼国民党8万人，华东沿海大陆全部解放。在华中、华南、西南地区，蒋介石的部署是，以华中军政长官公署长官白崇禧、华南军政长官公署长官余汉谋等部，扼守中南地区；以川陕甘边“绥靖公署”主任胡宗南、川湘鄂“绥靖公署”主任宋希濂等部，扼守西南地区。他们遥相呼应，总兵力达90多万人。对这两股敌人，毛泽东都要求采取大迂回的动作解决，即先完成包围，然后再实行围歼的方针。
9月上中旬，毛泽东以军委名义致电第四、第二野战军，要求他们先以一部解决广东余汉谋部，以一部迅速进入广西，抄白崇禧的后路，包括切断白崇禧向云南、贵州的退路，不要在湖南地区与白部主力纠缠，以迫使白崇禧退到广西与我军决战而歼灭之。对猬集四川地区的敌人，也是以重兵先占领重庆以西地区，完成包围，然后再往东打。聂荣臻认为，这种关起门来打狗的办法，在人民解放军已占绝对优势的战略追击阶段，无疑是极其高明的。9月、10月，人民解放军在湖南衡阳地区进行了衡宝战役，歼灭白崇禧主力一部。10月，进行了广东战役，歼灭余汉谋部主力。
11月、12月，解放了贵阳、重庆，进行了成都、广西战役，歼灭宋希濂、胡宗南部和白崇禧部主力。这几个战役，使国民党军90多万人几乎全部被歼，只有很少部分逃到海南岛和越南。8月，国民党长沙绥靖公署主任程潜、第一兵团司令官陈明仁率部起义。12月，国民党云南省主席卢汉，西康省主席刘文辉，以及西南军政长官绥靖公署副长官邓锡侯、潘文华等先后宣布起义。到1950年3月，在滇南和西昌战役以后，除西藏地区以外，中国大陆已全部解放。5月，第三、第四野战军先后解放万山群岛、舟山群岛和海南岛。
至此，除台湾、澎湖、金门、马祖等少数岛屿尚待解放以外，已胜利完成了解放战争后期作战的任务。
此外，总参谋部还遵照中共中央、中央军委的指示，组织解放军39个军140多个师约150万人的兵力，对国民党遗留下来的数以百万计的土匪进行了清剿。这些土匪中，有被打散了的残部占山为王的，也有几年甚至几十年的惯匪武装。由于各部认真执行了广泛发动群众、军事打击与政治瓦解相结合，以及首恶必办、胁从不问、立功受奖等方针政策，并普遍结合土改等民主改革运动进行剿匪。经过1年左右的努力，取得了巨大的成效，匪患基本肃清，为后来抗美援朝战争安定后方打下了基矗1950年6月，聂荣臻在全国政协一届二次会议上做军事报告时指出：渡江以后，人民解放军解放了除西藏、台湾、金门等以外的全部国土，歼灭国民党正规军183万人，非正规军和土匪98万人，取得了重大胜利。
1949年9月8日，由毛泽东草拟的新华社电讯宣布：“北平市市长兼北平市军事管制委员会主任叶剑英将军奉命赴两广工作，担任中共华南分局第一书记及广东军区司令员兼政治委员。为此，中国人民革命军事委员会任命聂荣臻将军继任北平市市长兼北平军事管制委员会主任。”
当时，聂荣臻花费精力最多的是北平的社会治安。因为这是直接关系到人民、中共中央的安全和定都北平的关键问题。部队虽然进驻北平，但治安情况仍不能忽视。北平是和平解放的大城市，这里不仅集结了华北各地的一些反动残余势力，而且东北解放后，许多国民党特务、党团骨干和地主、恶霸、流氓头子等流亡到北平，加上社会上还流散着数万名散兵游勇。北平群众形容那时是：特务多，散兵游勇多，抢匪多，小偷多，银元贩子多。仅1949年3月，就接连发生103起案件。可见，当时的社会秩序是比较混乱的。
聂荣臻指示平津卫戍部队，立即组织收容散兵游勇。1949年6月，平津两地共收容国民党军流散官兵3.7万多人，解决了社会治安中的一大隐患。
打击敌特的问题，北平市军事管制委员会也给予了高度的重视。军管会在一个关于严防敌特活动的紧急通知中指出：敌伪在离开北平时，对特务组织曾有周密布置。他们以各种名目，混入各单位、部门、行业，进行暗杀、破坏、造谣等活动。通知要求各单位提高警惕，并对原有人员严密注意，慎重审查。夜晚，凡解放军工作人员，没有必要的事，切勿外出，以防不测。
那时候，北平虽有200多万人口，但天一擦黑，街上几乎没有什么行人，家家门户紧闭。有一天晚上，聂荣臻的警卫员坐着轿车去取药。车刚刚开到北海北门桥头，不知从哪儿窜出来一个黑衣骑车人挡住了小车前行的道路，汽车不得不放慢了速度。就在这时，突然“叭”的一声枪响，一颗子弹打在汽车后座的玻璃上。这是一支无声手枪，声音很校射击者击中了汽车后，迅速钻进附近的胡同，消失在黑暗中。前面那个挡道的骑车人看见射击者跑了，也很快骑着车溜掉了。
司机和警卫员急忙下车查看，幸亏子弹没有穿透玻璃，只留下一个乳白色的凹坑。如果子弹射进来，将会打中坐在后座的警卫员身上。司机和警卫员没敢多停留，很快离开了此地。
这次枪击事件发生不久，又有一辆与聂荣臻的墨绿色皮尔卡轿车一模一样的车也挨了枪击，时间也是在傍晚。那辆车是从聂荣臻住处出来后，在老地方挨了一枪的。这次子弹是打在钢板上。北海北门桥头一带，小胡同多，地形复杂，打黑枪的特务始终没有被抓祝据1948年敌机轰炸城南庄毛泽东住地案件的主犯刘从文交代，他曾向特务头子报告过华北军区首长的住址，以及聂荣臻汽车的颜色。特务头子指示他设法搞清聂荣臻汽车的牌号。特务分子的阴谋没有得逞。
聂荣臻要求公安部门、卫戍部队加紧工作，发动人民群众，与危害社会治安秩序的种种反革命势力以及流氓小偷等作斗争，以力争社会治安状况迅速好转。经过军队与人民群众的努力，在新中国成立时，北平已经基本上恢复了正常秩序。旧北平时期隐藏下来的万余名特务分子、反动党团骨干警，除逮捕了一批和有极少数潜逃外，大部分向军管会和人民政府自首，基本瓦解了北平的特务组织，使北平市的安全有了保证。
点击收藏 小提示：按键盘CTRL+D也能收藏哦！