山西的日本人受到阎锡山良好待遇的风声很快便传到了北平、石家庄等其他省份，从而打动了那些想残留中国的日本人的心扉。特别是在紧邻着的河北省，由于省主席孙连仲是中国对日战争中的一员著名战将，他对日本人毫不姑息，河北省的日本人开的商铺，住的房子，包括财产一律被没收，全部送往集中营等待遣返。集中营当然不是疗养院，尤其是设在河北永年的集中营，更让日本人闻之色变。因此为逃避目前生活的困苦，河北的日本人都把河北当成了地狱，把山西当作了天堂。再加之传闻总是会被人们夸大和渲染，好像在山西的日本人，现在已经恢复了过去作为征服者时的地位和生活。他们听到的简直是天国传来的消息，于是在开向天津塘沽码头的闷罐列车上，不断地有胆大者以各种方式逃跑，最终犹如涓涓细流，最终都汇聚到了上千里外的太原城。
这样的情况让阎锡山大受鼓舞，山西的残留日军达不到他需要的人数，把外省的吸引来，不也是一样的吗。
于是，某一天，梁延武来到万字楼，交给城野宏一项马上派人去北平和石家庄招兵买马的任务。
城野宏派五城邦一到石家庄，派汤泽正到北平。
五城邦一由梁延武的手下陪着，带着上千份第二战区中国人干部的证明书，进入石家庄，同被关押在集中营的日本人取得了联系，并说明山西的良好状况，向他们散发《日本人的处境》等小册子。结果，就这样把四百多名日本人，以第二战区留用人员的名义，用火车“遣送”到了太原。
以后藤武为核心的普济会的两百多名成员，也从北平成功来到了太原。该会以佛教为招牌，坚信通过祈祷而枪弹不入，或即使中弹也不会殉命。后藤武是陆军士官学校毕业，并早已退役的支那浪人。他们此行不仅仅是太原，而是想以中国的佛教圣地五台山为大本营，建立反共基地。谁知他们到了太原，才知道五台山眼下已经处在与聂荣臻的晋察冀八路军交战的前线，三天两头便会打上一仗，只好待在太原城里参加了太原的残留日军队伍。
徐士珙也亲往北平，拉来了以隅谷为首的一百八十名北平日侨到太原，并以此人马，建立了一支特别警备队。
城野宏每天坐镇万字楼，与几十名部属研究组编残留日军的策略，并付诸实施。因为他已经是名正言顺的第二战区司令长官部合谋社的军事组长，已经成为戴中国方面的官帽，拿山西方面给的薪资，替日本方面干事的特殊角色。
一九四五年十二月下旬的某一天，城野宏接到梁延武的电话，让他马上到合谋社去开紧急会议。他赶到时，看到赵承绶和岩田清一、今村方策已经到了。
赵承绶对三名日本人说：“这些日子，太原发生了一些令人不愉快的事情。今天请三位来，是想请你们出面主持，把留下来的日本部队，尽快地统一起来。”
赵承绶此刻说的“令人不愉快的事情”，三位日本人早已知道。
由于从河北与北平来了不少日本人，太原城里的日本人一时泥沙俱下，鱼龙混杂。只有不到两百名佛教徒的后藤武，竟然把自己当成个大将军。其他武装队伍的首领，也都大耍手腕，不择手段地抬高自己的地位和级别，这样做既能满足自己的虚荣心，也能靠扩大影响来网罗更多的成员。而且所有首领无不信誓旦旦地宣称，自己是最受阎长官信任的人。好像只要他们横空出世，八路军马上就会兵败山倒，望风披靡，消失得干干净净。
而且，这些名目繁多，麇聚在太原城里无所事事的日本人的小队伍，很快便建立起各自的人事关系和利益网络，由于投靠的对象不同，为队伍争到的军费也就有高有低，给养也不统一。甚至在作战时，各支队伍也完全按照各队的意图来行动，因为队伍的长官总是以自己倚靠的势力为依托，只顾自己队伍的利益。为了扩大势力范围和争权夺利，彼此间不时地发生流血冲突。比如说，有的人在后藤武的队伍里只是个少尉，而只要加入隅谷的特别警备队，就可升至中尉甚至大尉，他们理所当然就要跳槽。后藤武与隅谷之间，免不了就会因此而发生矛盾甚至摩擦。
这次紧急会议卓有成效，一月初，便以第一军的名义下达了组编特务团的命令。特务团下辖各个旅团各自组建的一个步兵团（联队），并在司令部组建一个由志愿残留士兵组成的直辖步兵团，以及炮兵、装甲、工兵等特种部队和后勤机构、医院、农场、学校等。
这道命令，是根据中国第二战区司令长官，给作为俘虏的日本第一军司令官，关于组建特务团的命令而作出的。由于有阎锡山的大力支持，组建特务团的各项工作很快便得到了落实。
“司令部下设九个步兵团，加上特种部队、后勤机构，共约一万五千人。大体上相当于整整一个师团。我们设想以此为基干，组成这样三种类型的部队，即全部队员是日本人的部队；只有指挥官和基干人员是日本人，而其他是中国人的部队；全部是中国人，但置于我们的编制内，并接受我们指挥的部队。这三种类型的部队，以总兵力六万人作为最初的目标。”（引自城野宏自述《山西独立战记——日俘残留山西始末》）
据合谋社军事组秘书平部朝淳于一九五三年在太原军事法庭上的证词：“第一军下达征集残留日本军人的任务，到一九四六年四月中旬，实际达到数为六千六百七十人。”
据由河本大作任委员长的山西日侨俱乐部一九四七年一月的统计数字，除军人外，当时“残留日侨数为七千二百七十九人”。
城野宏主持了在坝陵桥第一军司令部召开的特务团组建会议。
由于以前合谋社的宣传教育取到了相当大的成果，在各地的军队内部已经出现了愿意残留和狂热拥护残留的组织。这次会议不再像过去那样，讲究日军的阶级，而是为了使“各人的志愿”和军司令部的命令适当地结合起来，会议的参加者不再仅仅由官佐组成，也还有被士兵大会推选出来的士兵代表出席。
在这次会议上，已经被日本人视为“残留导师”的城野宏，作了“日本人的立场”的长篇发言，以他惯有的能使人热血沸腾的**和过人的思想表述能力，提出“为祖国复兴而献身”的口号，并阐述了为什么有必要残留山西、重建军队以及作为一个日本人，今后应该怎样工作的“残留学说”。
城野宏还在补充发言时巧妙地提出：“特务团的组建，将起到完成军队复员工作一部分的后卫兵作用。也就是说，日本政府的命令是要全部复员，可是现实情况是，山西遍地是八路军，到处炸桥扒铁路，给遣返工作造成了障碍，也给日本军民造成了威胁。为了完成赤手空拳的主力部队和侨民的安全撤退，有必要设置一支后卫精兵，也就是我们的特务团。残留将兵无上荣光，因为，每一个人都要具备牺牲自己生命的思想准备。”
城野宏还说，组建特务团，以便使其他部队和侨民迅速而安全地撤退，是军机关的首要任务。因此，残留和归国并不是对立的，而是相辅相成的，缺一不可，符合日本人民的整体利益的。从而为成立特务团找到了一个极好的理由，自然也就顺理成章地争取到了绝大多数参会者的支持。
特务团立即从第一军司令部分离出来，设在工程司街的一栋公馆里，城野宏带着合谋社军事组的二十几个手下军官，也搬到这里，军事组从此多了一块“特务团政治部”的牌子。城野宏每天的主要工作，就是派出部员组成宣导小组，前往驻扎在山西各地的日军部队，就残留的目的、动机，展开教育。例如召开座谈会、讲演会、讨论会，推心置腹地和各部队将兵交换意见。目的只有一个，那就是使更多的将兵坚定不移地残留下来。
特务团的一万五千名日军不过是残留日军的核心，除此之外，还有以山西产业和铁路局为代表的技术人员、办事人员、侨民等不下两万人。在有三十万人口的太原城里，三万五千名心往一处想，劲往一处使的日本人，自然很快便会形成一股强大的势力。
第一一四师团师团长三浦三郎中将被推举为特务团司令官，该师团的参谋太田黑少佐被列为司令部参谋长，但三浦和太田都不愿离开榆次来太原，所以最终太原司令部主要是由岩田清一来处理实际事务。这也使军衔不高、资历不深，在一些日本官佐眼中还“乳臭未干”的岩田清一，却因为职务的便利而一度取得残留日军的实际指挥权。也使他在很短的时间内，成为了残留日军中颇具号召力的人物之一。
山西的残留运动搞得如火如荼，可是，由于美、苏两强的坚决反对，待在南京城里为侵华日军料理后事的冈村宁次，却不得不派特派员前往太原，制止残留工作。
一九四六年二月飞往太原调查残留真相的，是冈村身边的宫崎参谋率领的一个工作小组。宫崎来到太原之后，经过一系列的调查，才知道了在“山西所发生的这一骇人听闻的事件真相”。
“应阎锡山的要求，已经组成了一支约有一万五千人参加的日本人武装部队‘特务团’，归国派和残留派之间引起了流血事件，军司令部情报参谋主任岩田清一少佐、独立步兵第十四旅团旅团长元泉馨少将，都是活跃在阎氏周围的主要人物。”
“三月十二日，访问了驻在太原南面榆次的第一百一十四师团师团长三浦三郎中将，向他传达了此次来太原的任务。十三日，又在军司令部会见了来到太原的元泉馨少将，对其不负责任的胡言乱语，激烈地进行了交锋。当天早晨，还把岩田参谋唤到宿舍，当面严加斥责，他只是低下头来，一语不发，未做任何辩解。”
残留分子后来说，阎锡山“没有扣留住宫崎参谋的飞机”实在是一大失策。
“在北平，将山西的实际情况，向根本博方面军司令官等做了汇报。对南京总军方面也发电报告，同时提请以方面军司令部名义，迅速给元泉馨少将和岩田少佐下达命令。”
宫崎晚年接受著名作家楳本舍三采访时还提到：“数年前，我看到了《山西独立战记——日俘残留山西始末》。该书著者城野宏氏，日本投降时，在太原任山西省政府顾问辅佐官，东京帝大毕业，预备役中尉。战后，取得山冈参谋长的同意，在阎锡山的庇护下，他和岩田参谋等共同策划在山西的强行残留工作，他应是首谋。但我在太原期间，没有任何一个人，向我谈及此事。看了这本战记，我才知道城野宏这个人。”