“哦，是他呀。阎锡山的意思是谈什么？怎么谈？”
“他强调要以和我私交甚好的你，和在日军司令部有很大影响力的少壮派军官岩田清一少佐，作为日本方面的正式代表。因为商谈的内容是极其秘密的，所以不能让翻译参加，由我和你，还有岩田直接谈。你可以兼翻译。希望一定这样做。”
城野宏知道老成持重得有些迂腐的澄田司令官对日军残留的事不太热衷，只想遵照天皇敕令，尽早让官兵和侨民回到日本，便找了赞同残留的军参谋长山冈道武商量。山冈一听果然大为支持，急不可耐地便让岩田和城野宏一起，与赵瑞展开了商谈。
谈判在东缉虎营原来的保安队司令部一间小屋子里进行，阴阳彻底颠倒，每天夜里十二点整开始，一直进行到第二天早晨四点钟才结束。阎锡山每天四点准时起床，四点半到办公室上班，听取各方面的报告并给予指示。赵瑞每天结束谈判后，就马上赶回晋府向阎锡山和梁延武报告始末，并接受有关第二天交涉的指示。城野宏与岩田也赶回日军司令部，向澄田司令官和山冈道武通报谈判情况，商量对策，统一意见。
赵瑞第一次谈判便提出，阎长官的意见最好是全部隶属第一军的驻晋日军五万九千官兵原封不动残留下来，成建制地编入阎军。但这一建议遭到岩田反对，岩田说，日本军队只属于天皇，只遵从天皇的命令行事，连军司令官也无权决定日军官兵的去留。
而真实的原因是，澄田、山冈、岩田等日本军国主义分子在实施残留运动这一计划时，也不能不有所顾忌，他们担心英美苏等国出面制止，尤其害怕近在咫尺的中共反对。
城野宏担心谈判破裂，提出可否考虑一些折中方案。
双方就此问题，每天熬更守夜地进行讨论，连梁延武也按捺不住，索性跳到前台，直接参与到和日本人的谈判中。
最终，澄田拒绝了阎锡山提出的“由阎部原封不动接受日本军队”的建议，而只同意“个别发动”，也就是将驻晋日军改头换面，以零敲碎卖的方式交由阎军接收——说得直白一点，就是阎锡山要批发，澄田只同意零售。
这样做，澄田认为即便不能做到人不知鬼不觉，但也至少能够大大减小动静。这是因为澄田做贼心虚，或者也可说是考虑事情比阎锡山更周密，根据《波茨坦公告》，投降日军应该全部解除武装，遣返回国。澄田担心这种公然违反《波茨坦公告》的事情一旦被美英等列强，还有中共方面获知，会给日军以及日侨带来难以预料的灾难。
双方经过五次秘密谈判，最后达成如下协议：
一、日军响应阎锡山的提议，将日本军人重编部队，并将这些部队置于阎锡山的指挥之下。其方法是以日本人自愿为原则，就地办理完日军方面的复员退伍手续，再行加入阎的队伍。
二、阎锡山对留用日本军人全部给予军官待遇，在日军现有级别基础上，提升三级。
三、给全体人员安排宿舍，并允许在营外居住。
四、合同期暂定为二年，由阎方负责归国事宜。
五、一俟对日交通恢复，将协助办理申请各日人家属来晋居住，或汇款返日接济家人生活等事宜。日人如愿与中国人结婚，甚表欢迎。
协议达成后，阎锡山指定由梁延武具体负责各项条款的落实。
阎锡山对这个协议感到非常满意。他立即要求澄田调动一部日军到太原驻扎，帮助他维持太原城内和郊区的治安。接着，又聘请澄田睐四郎为第二战区总顾问，山冈道武和一一四师团长三蒲三郎为副总顾问，联队长阪井大佐为太原市警备司令。
不过两天，在太原市的城门和街头又堂而皇之地出现了日本军队的布告：
布告
日本军于八月十七日停止了战斗行动，但凡向我挑战或有企图破坏铁路道路通讯线者，便作敌人断然膺惩。
特此布告，俾众周知
此布
山西日军司令官 澄田睐四郎
利用投降的侵略者对战胜国人民堂而皇之地执法，实乃旷古奇闻！
前些时候因战败而显得萎靡不振的日本侨民，又像被雨打过后的菜秧一样，挺起了腰杆，全副武装出现在太原街头的日本军人和警察，也重新在中国百姓面前耀武扬威。
残留运动也遭到了许多回家心切的日军将兵的抵制和反对。阎锡山为了笼络日本人和达到自己的目的，不断地在变换花样和做法。一九四五年十月，他召集他的亲信开会讨论办法。阎说：“对全部日本人留用问题，我一再和他们（指澄田、山冈）商议，他们始终不敢接受，只说可以由我们‘个别发动’。我想，从他们的中下级来个‘个别发动’，优予留用的办法，还是可以成功的。”又说：“我们为了存在，非有一个非常的办法不可。现在我们的兵力不够，应付不了共产党。为了充实兵力，只得招兵，但招兵又有困难，即使招来十万中国兵，也顶不住一万日本人。你们应该好好努力，分头动员，设法争取，越快越好。”
阎锡山要苏体仁和梁上椿，以“接收委员”的名义，专门向澄田、山冈联系，请他们从中协助，并予以指导；要梁延武、长官部高参张文昭专门作日军中下级军官的争取工作。阎锡山嘱咐他们“千万不可用强迫的办法，一定要用‘合谋’的形式，与人家好好商量，进行工作”。
为了做好“合谋”的工作，阎锡山还提出立即成立一个“合谋社”作为发动日本人的专门机构，并由赵承绶代表他督导这一工作。
随着残留工作的进展，阎锡山诚心诚意地要求与日本人联合一事被更多的日本人理解了。大矢正春的大和饭店重新开门营业，底楼的千鹤居寿司店装潢一新，橱窗的饰物也完全采用了中国人喜欢的风格，色彩也以中国人过日子喜欢的朱红和金黄二色为主，看上去既鲜艳，又华丽。重新开张这一天，大矢请来了锣鼓唢呐队，还不停地燃放鞭炮，在庭院上弄得惊天动地，几条街面上的大小中日老板，全被他请来赴宴，着实热闹了一把。
柳巷、迎泽大街、桥头街等日本人聚居区的商店也紧跟着纷纷重新开张。前些时候不知藏到了什么地方的砂糖、服装、肥皂，还有肉类和鱼类等市面上紧缺的商品，全都像变魔术般地涌现了出来。一些卖鸡素烧、寿司的店铺，人头攒动，生意十分红火。美国香烟迅速地涌进市场，骆驼牌和野球牌成为最受欢迎的牌子。电影院里，也开始上演久违了的日本电影。
在日本人开的咖啡店里，纯正的咖啡，涂有奶油的西式点心，也都出现在顾客的眼前。大家三个一群五个一簇地围坐在一起，抽着美国香烟，热闹地讨论着一个任何一位在山西的日本人也回避不了的重大问题——残留，还是归国？
经过城野宏和岩田等一段时间艰苦努力的工作，总算把一部分日军残留下来了，可军队的组建，却遇到了难题。在第一军司令部的高级干部中，除了山冈、岩田外，再也难以找到积极主张残留的人了。幸亏阎锡山态度积极，提供的条件也足以让人心动，并且他还对公开在军队中鼓动归国的头面人面毫不留情地予以压制。比如军司令部的副官长恩田忠录少将，公然反对残留，就被阎锡山列入战犯名单给关押起来。这一招很见效果，许多为自己和家人选择了归国之路的官佐，也再不敢拿着鸡蛋往石头上碰，很少有人再敢跳出来公开反对残留，在这样的特殊时刻，谁也不愿意步恩田将军的后尘，被当作战犯抓起来。当时的现象是，参与残留运动的高级将佐不太多，与城野宏、岩田同心协力推进残留工作的大都是一些大尉、中尉级的年轻官佐。
一九四六年一月，刚刚在上党战役中被八路军打得焦头烂额的阎锡山，用专机把山冈道武送到北平，争取华北方面军司令部的同意。方面军最初也认为天皇的敕谕是全军复员，作为军人，无论如何也不能违背天皇的意旨。他们甚至不能理解，为什么日本已经向全世界宣布战败投降，山西的日本军队还要残留下来？所以怎么也不同意。
最后，经山冈再三说明山西的特殊情况，以及强调山西的丰富资源对未来日本的复兴有多么重要后，方面军司令部这才改变了态度，表示：如果中国方面确有如此急切的要求，作为战败者的日方，也不便拒绝。
很快，太原市的日本侨民，接到日本第一军司令部的一份通知书：“山西派遣军经晋绥军之请求，特留一部分兵力于山西，协助晋绥军剿共。居留民原拟赴北京、天津者，可暂留太原。”