解放军攻进太原后，残留日军一部战死，一部自杀，岩田、城野宏、菊地修一、河本大作等700余人被俘，军官关入小北门战俘收容所接受审查，士兵一律被送到大同、云岗煤矿去挖煤背矿。
曾经声言“至死也要留在山西，坚持斗争在反共第一线”的河本大作，并没有逃过历史的清算。在原阎锡山政权警察的带领下，他被刚刚成立的太原市公安局从位于工程师街9号的寓所逮捕。河本性质不同，民愤尤其巨大，震惊世界的大同煤矿万人坑，还仅仅是他其中的一项“杰作”，故而被送到太原市公安局重点关押。1956年，河本大作病死在太原战犯管理所。
1956年6月，中华人民共和国最高人民法院特别军事法庭在太原开庭，法庭就设立在离“万字楼”不远处的海子边大礼堂。经过9天的审理，原第10总队少将副司令兼政工处处长城野宏被判处有期徒刑18年，原第10总队3名团长住冈义一、菊地修一、永富博之分别被判处13至15年不等的有期徒刑，为阎军充任教官的大野泰治被判处13年有期徒刑，为阎军充任军需官的笠实被判处11年有期徒刑。
这些战犯虽然受到了法律的惩处，但很多中国人内心却很难宽恕他们的某些罪行。例如，曾担任过伪满滨江省公署特务科股长的大野泰治，参与了对抗日女英雄赵一曼的审讯和迫害。再如住冈义一，他曾参与指挥对中国战俘的集体屠杀，1942年，在为新兵练胆而组织的两次“活靶刺杀训练”中，共有340余人在太原市小东门外的赛马场被屠杀，其中包括50余名抗大女学员，新中国成立后曾担任云南省民政厅厅长的抗大学员赵培宪，是那场大屠杀中唯一的幸存者。她作为证人，出现在了太原特别军事法庭上。
免于起诉的人员中，包括目睹了今村方策绝命时刻的第10总队军医汤浅谦，他曾经在长治参与对多名中国人的活体解剖。汤浅谦回国后，致力于发展中日友好和反省日本战争罪行，记录他参与活体解剖经历的书籍后来在日本出版。
从汤浅谦身上，我们可以看出相关部门对战犯的思想改造是极其成功的。另一个显著的例子是免于起诉的山下正男。这位原第10总队第6团的连长回到日本时，身穿中山装式的军便服，头戴解放帽，胸佩富有鲜明中国时代特征的徽章，从服饰到气质，都与一名普通的中国人无异。山下正男后来在日本出版了《我懊悔的青春》一书，记述了“残留日军”的故事。
1964年，关押于抚顺战犯管理所的城野宏服刑15年后被提前释放。回国之前，他向狱方提出了前往太原参观、谢罪的请求，获得中国政府的同意，山西方面还专门为此成立了接待组。
1964年3月间，城野宏偕另一战犯富永顺大郎（日满间谍，蒋介石国防部2厅北平工作站中校副站长），由中国红十字会派人陪同来太原参观访问。
城野宏等人抵达太原后，接待组将他们接到条件最好的并州饭店，城野宏等人没有想到能“享受到贵客的礼遇”，再三表示：“我们是战犯，中国人民的罪人，得到宽大释放，这次是特来太原向山西人民谢罪的。”
城野宏说：“我年纪大了，回国后再来山西的机会没有了，我欠山西人民的太多了，怕是这一辈子，再加上子子孙孙也还不清。”
看上去，他十分伤感。他们希望通过一种形式、拜会有代表性的人物，表达他们向山西人民谢罪的意愿。城野宏还提出要拜访老朋友赵瑞（日伪时期，曾担任山西省保安队副司令）、冀贡泉（曾担任太原特别军事法庭城野宏的辩护律师）、孙凤翔（曾担任太原特别军事法庭日语翻译）；希望为解放太原攻城部队的死难烈士敬献花圈并致以哀悼；要求参观东山太原战役要塞牛驼寨、凤阁梁战场遗址，并希望能够故地重游“山西省绥靖公署”（即山西省人民政府大院）、“复兴楼”（日军第1军司令部旧址），以及他曾居住过的东华门19号寓所。
城野宏并没有提出游览“万字楼”。但冥冥之中仿佛自有天意，他再一次来到了文瀛湖畔，一边是他实施残留活动的“万字楼”，一边是他接受审判的海子边大礼堂，当年他在海子边大礼堂接受审判时，几十米外的“万字楼”，正是他参与残留活动策划与组织的罪证。如今，当他向山西省革命烈士纪念碑敬献花圈时，面对近在咫尺的这两座建筑，不知道会做何感想？“万字楼”、海子边大礼堂、山西省革命烈士纪念碑，这三座见证城野宏人生重要历程的建筑，就这样奇妙地被集中组合在了文瀛湖畔。
接待组满足了城野宏等人的要求，并安排首长陪餐一次，在长风剧场看晋剧一次，增加游览市容一项，每人送一件御寒布大衣，赠送一套太原活动照片。
通过参观访问和接待组的友好接待，这两个前日本战犯深感中国人民的宽大胸怀，也进一步看到了解放了的中国人民意气风发、斗志昂扬、奋发进取的革命精神和建设成就，从而受到了深刻教育。
城野宏说：“参观太原后，我的思想又比抚顺监狱大大提高了一倍。百闻不如一见，中国人民团结战斗的精神风貌和他们建设美好生活的成就真使我们难以置信。我在有生之年要全身心地总结历史经验，揭露军国主义，现在我说什么赔情道歉的话也是空的，我回去后一定要用实际行动反对战争，维护和平。我一定要成为一个名副其实的中日友好的使者！”
他还在一张白纸上用中文工整地写下“今日的战争罪犯，明天的友好使者”两句话交给接待组。
城野宏回国后写的回忆录《保卫山西——日籍部队戡乱作战始末》，回顾了他在山西的这段历史。他后来成为知名的演说家和三国研究专家，著述颇丰，《战略三国志》等专著曾在中国翻译出版。
2006年7月22日，一部由山西残留日本老兵奥村和一讲述二战后在中国山西作战经历的口述实录电影《蚂蚁部队》在日本上映，轰动了整个日本。
由日本导演池谷熏导演的《蚂蚁部队》，在香港国际电影节获得“人道关怀”特别奖，随后于2006得8月5日开始在东京各个电影院上映。
《蚂蚁部队》是一部纪录片，主人公奥村和一是侵华日军中的一名普通士兵。他于1944年应征入伍，随即被送到中国山西。
奥村告诉人们，在那场战争中，杀人是日军新兵的必修课，名曰“新兵教育”。只有杀人动作干净利落的士兵才算是合格的士兵，才有可能晋升。奥村和一第一次杀人时非常恐惧，他不知道自己杀的是什么人，也不知道他们为什么要被杀死。他浑身发抖，闭着眼睛，用刺刀刺死了3名无辜的中国人。就这样，奥村被训练成为合格的“士兵”。1945年8月15日日本无条件投降后，奥村成为山西“残留日军”中的一员，中文名字是燕兴东。1947年，奥村和一被解放军在山西俘虏，上个世纪50年代被释放后回到了日本。
影片展示了1945年二战结束以后，驻扎在山西的侵华日军第1军中的数千名官兵，违反关于日军全部解除武装的《波茨坦协议》，根据长官澄田睐四郎的命令以“祖国复兴”的名义滞留山西，编入了阎锡山的部队，并参加了对解放军的作战。可是，时至今日，日本官方并不承认这些这段历史，他们认为老兵之所以有这样的经历，是他们当时“自愿留下，愿意继续参加战争；也是战胜国的行为”。而老兵们则认为，“我们是服从长官的命令，像蚂蚁一样默默地留下来参战了”。
《蚂蚁部队》第一次向世人展示了“日本军队在山西的残留问题”，奥村以亲历者的身份告诉世人，战争中、战后所不为人知的一面。
残留山西的日本军人战死者姓名不能入靖国神社，侥幸活下来的老兵回国以后，也被国家与公众视为逃兵，受尽歧视，生活非常艰难。与如今一般的日本家庭相比，他们住在简陋的房子里，依靠社会救济为生，有的人因为负伤而终身残疾，也有的人已经接近百岁高龄，风烛残年。
2005年，为了争取残留军人参战的恩给补偿，奥村与活着的残留老兵走上法庭，请求法律援助，可是他们失败了。日本当局仍然以“因个人原因志愿留下”为由拒绝给予他们战争补偿。为了争取自己的权利，向世人展示历史的真相，集战争加害与受害一身的奥村和一到处奔波，与摄制制组一起走访了健在的残留军人和相关部门，后来在“全国山西省在留者协议会”和摄制组的支持下，重新来到山西，来到他们曾经参加过战争的地方，访问了经历过战争的老人，被日军奸污的妇女，阎锡山的机要秘书等人，以历史事实证实了日军在山西残留问题的存在。
再次目睹自己过去经历的残酷历史，往事一幕幕浮现在眼前，奥村指点着档案卷宗记载的被俘日军的交代材料，指着阎锡山写给孙连仲，托其关照化名逃亡的山西日军最高指挥官澄田睐四郎，为其在通关、回国给予方便的信，连连说：“这就是！这就是！”
影片结尾告诉人们，日本政府拒绝对山西残留军人给予国家赔偿，而且法庭判定不再诉讼。
《蚂蚁部队》放映过程中，电影院里一片抽泣声，观众被“我们像蚂蚁那样被战争的铁蹄践踏”的侵华日军的阴暗过去所震撼。战争的残酷惨烈，也让更多的日本民众站到了“反对复活军国主义，呼唤中日永久和平”的正义阵营中。
（1）摘引自《残留日军军官城野宏自述：保卫山西——日籍部队戡乱作战始末》。