城野宏一家，就住在一间这样的窑洞里。
从这以后，每遇执行小组出巡，步哨便鸣枪为号，示意日军队伍退入山中。当被询问“枪声何来”时，人们就告诉执行小组：是共军游击队。他们就用这样的办法，和执行小组玩起了“捉迷藏”的游戏。
一次，张纯清和执行小组的几名工作人员乘车途中经过一个日本兵营。一队武装的日本兵刚刚走到大门口，看见执行小组汽车来了，停下不走了。阎方一个宪兵看见情况不对，赶紧跑过去和他们说了几句，实际是提醒他们赶快藏匿起来，队伍马上就钻进一条小胡同，顺着山沟钻进了大山。
等执行小组的汽车进入兵营后，日本人和枪支弹药都不见了，只留下一个徒手队长。队长承认他们这个兵营里共有八十八人，武器装备早就上缴。如今的十支步枪，是山西当局发给他们自卫的。
就在残留派绞尽脑汁躲避执行小组的追踪而藏进山里的时候，归国派日军将兵和日侨，则开始了回国的旅程。他们在阎军的押送下，前往驻地附近的火车站收容所集中，然后陆续登上闷罐火车驰往天津大沽口，换乘轮船归国。铁路沿线的各个火车站，到处都能看到身穿阎军军装的日本军人，来到出发前的收容所，送别即将归国的妻子和儿女。他们一边让幼小的儿女吃着自己特意买来的中国式蛋糕，一边用自己的脸颊跟孩子的小脸蛋紧紧贴在一起，当然也得抓紧时间和妻子多说上几句话。也有不少残留下来的青年男女去送即将启程的父母，场面自是令人伤感。不过总的来说，通过城野宏、岩田清一等人的努力，山西毕竟还是有一万五千名将兵和数量更多的日侨残留了下来，由于有阎锡山对残留日本人实施的优待政策，所以在山西各地，并未出现在中国其他地区发生的那种遣送战败国军民时，频繁发生的难堪的和悲惨得像亡灵队伍那样的场面。
这样一支山西残留日军与过去的日本军队截然不同，名义上是军队，但家属占了近三分之一，将兵和家属浑然一体。和丈夫一起残留下来的女人大都年轻，因此，她们也被组织起来，由军医官教授战地医护知识，充实部队的医护力量。而且经常到附近村庄巡回，为当地老百姓提供免费的医疗服务。因为这时候的日本人，已经没有了作为占领军时的那股子傲劲，也想和附近的老百姓搞好关系。有时，医护队还全体出动，随同部队在山中进行战斗演习。
城野宏主持的对残留将兵的政治工作做得也卓有成效，大家又是唱歌，又是演戏，还经常举行舞会，各种各样的体育比赛，尽量让残留将兵精神充实愉快，不至感到百无聊赖和空虚。
城野宏还找阎锡山划拨了土地，批了专款，为孩子们兴建学校，士兵们开垦土地，创办农场，以求蔬菜自给。为了补充营养，还陆续建起了豆腐作坊，因买牛奶困难，而给部队配发豆浆。
思想文化残留活动，也是城野宏抓的重要工作。在残留日军中，“纪元节”、“天长节”等纪念活动，被规定在必须的教育事项中。每逢规定的日子，要进行“敕谕奉读”“诏书奉读”和面向宫城“遥拜天皇”。
小池元吾和白岩定夫、柿副善治三名日军罪犯被枪决后，军国主义分子还专门为他们举行了仪式，通夜烧香超度。慰安所也重新张贴告示，公然开张。甚至，为了使残留人员念念不忘“复兴皇国、恢弘天业”的宗旨，向日本军人、侨民发放的烟卷名为“复兴牌香烟”，出售的香皂名为“樱花皂”。
在山里隐蔽的时间一长，日本将兵就受不了了，阎锡山给他们的钱也多，强烈要求进城去享受享受，不允，便私自邀邀约约地开小差进城花天酒地地玩乐。违令进城的人一多，法不治众，军纪也就随之**然无存。后来当官的觉得堵不如疏，干脆安排将兵分期分批进城，为了不致走漏消息，要求所有进城的日军将兵都必须换上阎军军装，否则给予重重罚款。可是军装拉来后，许多日本兵宁愿被罚款，也拒绝换装。这也难怪日本人挑剔，阎军的军装不仅质量差得不好意思说，而且还难看得要命，皱巴巴的，就像是刚从坛子里抓出来的老咸菜。颜色呢？全部是用洋槐树花熬水土染而成，长相再英武的军人穿上这样的军装，也失了七分威风。
通过城野宏领导的残留日军政治部的努力，太原很快成了滞华日本人心向往之的中心，在他们的努力宣传下，各地的日本人也以山西的日本人为榜样，想尽千方百计，以各种方式残留了下来。从一九四六年冬季起，从北部的哈尔滨、长春、沈阳、到天津、北平、张家口、青岛、济南、石家庄到南部的上海、杭州、汉口到海南岛，少则有一二名医生残留，多则有像上海那样的五百名左右的以技术人员为主的残留者。城野宏的政治部给这些残留同胞和团体，寄去《周报》和《晋风》，使其了解山西的情况，以鼓舞残留者的士气，同时也使山西的日本人了解在全中国各地的残留日本人的动向。
也有因从事残留运动被山西以外的中国当局枪杀的。
元泉馨的一位旧部属从长春托中国人给元泉馨捎来信件，于是，元泉派自己的副官小泽带着自己的信件，前往长春，向部属介绍山西残留运动的情况，并让他与山西方面遥相呼应，在长春建立日本人部队。并说如果在东北的活动不顺利，也可带上愿意残留者前来山西。小泽副官运气不好，火车到山东海关车站时，遇上国民党中央军搜查，元泉馨给部属的信件成为了罪证，当即被中央军以间谍罪枪毙。
或许是因为人们感到了不安全，才会轻易相信那些虚幻的东西吧。各种谣传和凭空捏造的故事，在混乱中常常被当作真实的事情而广为传播。例如，在东北的长白山中，隐藏着以加藤中将为司令官的十万关东军将士，既不投靠共产党，也不依靠国民党，而是保持中立，等待日本东山再起的机会。这件事是副官处处长长野贤去大同日军总队联络工作归来时，在北平听说的。他还说，原任日军军医的吉村花子认识了宋美龄的秘书、中华民国创立者之一黄兴的女儿黄桂英，并经黄的介绍，受到宋的召见，并接受了宋的密令，请她前往东北，请加藤司令官出山来协助在东北的中央军作战。
长野贤带着这样一个传闻回到太原，立郎被急需鼓舞的日本军官当作一件英勇的壮举，而大受褒扬。一个道听途说、似是而非的传闻给他带来的影响，远远超过了他辛辛苦苦编写的剧本《楠木正成》的回报。
更让人哭笑不得的是，岩田清一竟信以为真，打算和长野贤一同乘飞机经北平去东北，以便在加藤司令部出发之前，加以阻止。
城野宏找出几本杂志，扔在岩田面前，说：“你看看，这段时间，中国的杂志上也饶有兴味地刊登了在长白山里，残留着许多日军的故事。我看，这多半是由于通化事件（1）之类而引起的一些不切实际的幻想。”
岩田翻了翻杂志，这才放弃了东北之行。
城野宏还说：“平部朝淳甚至还向我报告，说他听到太原师范的学生说，有不下三千人的日本人部队开进了五台山，我派了几个中国人去调查，结果是误把从五台山经过的八路军部队，当成了日军，因为战争结束后，他们穿着我们的装备服装，样子很像日军，所以就产生了这样的传闻。”
岩田不好意思地笑了笑，说：“这样的事情，我也经历过。石家庄的日本人带来了聂荣臻部队里出现了日本人的机械化兵团的消息，五城邦一团长还想同他们取得联系，并且认为他们一旦知道太原有这么多日本人残留下来，而且正在扩大势力，就一定会赶来投靠我们。五城向我提出了这个建议，我的答复是，虽然不知虚实，但不管怎样，都有必要去了解一下。于是我派永富带几名部下一起去石家庄，化装深入到八路军控制的地区，进行了深入的调查。结果只是一个美丽的传说。”
像日本这样一个特别崇尚武力的民族，他的军队从来就是靠灌输军人对天皇的绝对忠诚与严厉无情的军规来加以控制管理的，而今犹如神祇，战无不胜的天皇宣布投降了，日本人的精神偶像瞬间崩塌，信仰也不复存在。驻山西的第一军也和所有的日本军队一样，成了战败之师，如今只能寄人篱下，苟延残喘。亡国已经成为所有日本人共同的痛，还有不少来自被美国人从B-29轰炸机上扔下的凝固汽油弹夷为平地的东京、横滨、名古屋和神户的将兵，以及来自被美国人用原子弹从地球上抹去的广岛和长崎的将兵，更多了一层家破人亡之恨，故乡遭此大难，亲人是否还活着，成为他们最强烈的担心。军人们的精神状态早已如同嗜血的野兽，一有机会，便渴望发泄。尤其是残留太原的这样多血气方刚杀心犹重的青年人，已经生活在全国炮声隆隆的中国人的血腥内战环境之中。所以，即便是在日常生活中，他们也常常渴望着弄出一些血腥的事件来。
小田切正男的第一团躲藏在陈家峪时，队伍都是由具有各种各样经历的人聚集起来的，都很粗野，所以，几乎每天都要发生吵闹打架的事情。而且，因为人人都带有武器，一旦发生摩擦冲突，就会马上拔刀相见，你死我活。
某日，上等兵龙弥泽英酒醉之后，由于要发泄平日的积愤，拿起两支手枪，冲进了田中分队长的房间，冲着田中连开数枪，将其打死，随后便向山谷的出口处逃去。
听到枪声赶来的左藤中队长等人，看到田中已经断了气，马上带着人去追，很快把龙弥追上了。
“站住！”左藤大喊。
龙弥站住了，举起右手的毛瑟枪对准了自己的中队长。
左藤刚想举枪，龙弥的枪声先响了，枪法极好，一发子弹从左藤的眉心穿过，左藤一声没吭地倒了下去。
一阵乱枪过后，龙弥也躺倒在了血泊中。
众人提着枪一拥上前，看见龙弥还在抽搐，失神的眼睛望着蓝蓝的天空，发出的最后一声呼喊是：“妈妈……我想回家……我想回家！”
那一刻，打死龙弥的士兵们全都哭了。
在军纪弥废的一段时间里，类似这样的血腥事件，时有发生。但很快，这个集团中新的等级秩序，依仗一种原始的力量，自然而然地得到了调整。这种原始的力量，就是实力，谁上谁下，谁尊谁卑，由谁强谁弱来区别，来决定。
比如小田切正男，使他威望大增的不是因为他是特务团第一团团长，而是因为他是“讲道馆”中有名的柔道五段高手，是一个体重一百公斤以上的彪形壮汉，其臂力之大，能够当着全团将兵的面，以一种独特的方式来惩罚两名违犯军令的士兵。