十一月敌军退，汪直、王越请求班师回京，宪宗也渐渐发觉，汪直在京城职务过多，一来难以兼顾，而且二人战功显赫多有赏赐，朝臣多有嫉恨，不如让他们在大同多留一段时日，便未加同意。
十一月初十二，安妃姚氏诞下皇九子，取名朱祐榰。
十二月，大同总兵孙钺病故，兵部请示何人补缺，正想让汪直迟些回京的宪宗便在十二月二十下诏，命威宁伯王越佩征西前将军印，镇守大同，仍与汪直提督京营、宣府各路军马。
成化十八年二月二十一，命汪直总镇大同、宣府。二月二十六，命京营还师，留汪直专门镇守大同。
先窥伺皇上意图而后行乃历朝历代文臣习性。一直试图抑制汪直、王越势力的万安、刘吉亦不例外。过往汪直取胜，皇上无不令其立即班师，隆重欢迎。此次不仅未班师，反倒令其镇守大同，似有故意疏远之意。二人感到机会到来，私下商量以罢除最令朝臣厌恶的西厂作为开端来打击汪直。万安行事十分谨慎，为确认皇上意图，他让刘吉活动，先怂恿朝廷言官六科十三道上奏，请求罢革西厂，试探皇上如何答复。宪宗接到奏章后复曰：“朝廷自有处置。”
万安一看大喜，因皇上说得模棱两可，若内阁联名上奏再请，事或能成。万安心想，上奏之事刘吉不会不从，刘珝则未必。这日在内阁见只有他和刘珝在，便过来说：“西厂为害已久，今六科十三道欲罢革，皇上未许，吾辈岂可坐视？当劝说皇上从众人之言才是。”
刘珝反问道：“难道西厂行事有何不公？”
万安辩解道：“不在于说西厂行事不公，但至少西厂一向不得人心。”
刘珝知道万安罢革西厂是假，借机削除汪直权力是真，他并不想参与其中，但又不愿同万安直接对立，便沉默不语。万安看难以说服刘珝，心想若仅他和刘吉二人联名上奏，皇上必然要问刘珝意见如何。因此倒不如他以内阁首辅名义一人上奏，事不成，大不了皇上再批个“朝廷自有定夺”，若事成还可独享有推翻西厂美名。万安想得明白，便对刘珝说：“公不愿，吾自为之。”
次日，万安上书皇上道：“先帝当年建都北京，为防大奸大恶，访查谋逆妖言，无所不用其极。初时命锦衣卫暗自访查，为防范外朝官员徇私枉法，便另设由内朝宦官提督之东厂，之后五六十年间，锦衣卫、东厂并行，相互制约，行事有规，人易遵守。八年之前，京城妖狐夜出，人心惊慌，圣上忧虑，遂设西厂官校，特命汪直提督稽查。设立西厂，乃为安定京都人心，一时权宜之计，之后诸事多有纷扰，臣不赘言。现汪直已受命镇守大同，西厂早已形同虚设，地方京都大小官员及军民皆众口一词，皆谓朝廷是时革去西厂矣，伏望圣上明察，俯顺下情，下旨革罢西厂，遣官校悉返原处，复旧制以复人心。西厂存革，事关人心治体，臣不敢缄默。”
朝政大事，宪宗不会同万贵妃商量，万贵妃也深知后宫女子不得参政的规矩，但西厂之事同汪直有关，宪宗收到万安奏疏后，当晚便对她提及此事。其实万贵妃近来不时在想汪直的事，也一直想和皇上说，不过有些不知如何开口，正好倒是皇上先说了，万贵妃便答道：“汪直之事，其实妾近来想了许多，生怕他有祸上身。八年前汪直提督西厂，因年幼行事未免鲁莽，不久革除西厂而再立，商辂、项忠等去职，朝臣便开始忌恨汪直。这些年，汪直在外战功显赫，皇上多有嘉奖，且不断委以要职，毕竟汪直是被外朝文官士大夫鄙视为阉竖的宦官，殊荣加身，权势在握，他们便愈加忌恨了。再加汪直又与王越如影随形，那王越恃才傲物，特立独行，朝廷重臣对他深怀戒心，生怕生性单纯的汪直被王越所利用。此次一众言官及内阁首辅万安上奏言西厂之事，不过是借废西厂之名，行削除汪直权势之实罢了。”
“贞儿所言十分有理，正因如此，上次接到言官奏章，朕未加理会，不料万安奏章却接踵而来。”
“依妾之见，皇上不如准其所请，一来汪直主事边防，大都不在北京，他对京城之事既无兴致，亦无力主持，徒具西厂提督之名，无主理之实，若西厂有何过错，外人反倒赖在他身上。倒不如陆续免去他京城职务，看看能否平息一些外间对他的忌恨。”
成化十八年三月初四，宪宗同意万安革罢西厂之奏请，人们皆以为万安仗义执言，终将残害忠良无数的西厂革除。其实，自成化十三年六月十五宪宗下旨重开西厂，到十八年三月初四同意罢革的五年中，汪直大部时间在边防作战，西厂一共也未有办过几件案子。就连万安自己请罢西厂的奏章中也留下了“西厂早已形同虚设”的白纸黑字。真不知所谓以汪直为首的西厂残害忠良之说，从何而来。
接着，宪宗四月免去汪直御马监太监之职，由跟随自己多年的太监张敏继任。再于五月免除汪直京都禁军十二团营提督、神机营提督职务。至此，汪直在京要职全部被免。远在大同的汪直、王越得悉之后，王越心生焦急，汪直却若无其事，他天性漠视功名，只求活得精彩，再者他同皇上与万贵妃情同亲人，从未担心过皇上有意疏远。
成化十八年六月初五，鞑靼人自延绥、河西、清水河等处入侵，汪直、王越调兵分御之，分别在塔儿山、天窊梁中觜、木瓜园、三里塔、黑山崖等处获胜，此后鞑靼不敢轻易进犯延绥，当地军民得以休养生息。
六月之役使得汪直、王越联手共掌朝廷边疆重兵之势更为明显。万安等唯恐长此以往，汪直为王越所利用，再次夺回御马监太监、京营禁军提督等职务、甚至再复西厂，遂向皇上进言，劝皇上引天顺年间，大同镇守石彪拥兵自重为鉴。宪宗视汪直为亲人，从未加以怀疑，但身为皇帝，他对王越这种军功卓著，才干超群而又恣意妄为的朝臣心存戒心，亦不出奇。宪宗仔细思量之后，虽然未贬谪王越，但却采用了历代统治者常用之策，于成化十八年闰八月二十六，下旨命王越与延绥都督同知许宁换防，王越前往镇守延绥，许宁则与汪直一同镇守大同。
王越接到圣旨，心知又是内阁万安、刘吉主意，无奈之下动身前往延绥。王越、汪直多年忘年之交，惺惺相惜，沙场之上，生死与共，大同一别，不知何时再见。汪直不忍亲身道别，由御史郭镗代为相送，王越临行对郭镗说：“许宁虽勇，但非帅才，用其镇守大同军事要地，必坏大事。”并自怀中取出书信一封，请郭镗转交汪直，之后拱手上马而去。汪直接到郭镗转来书信，打开一看，内中是王越写给汪直诗一首，内中道尽那份感慨万端心迹：
月落胡天雁叫霜，马蹄香里路茫茫。
东坡自惜遭诗谤，老杜于今戒酒狂。
造化不容闲处乐，人生最苦老来忙。
等闲识破真堪笑，傀儡棚中又一场。
许宁抵达大同，同汪直水火不容。成化十九年六月初，宪宗接到巡抚大同都御史郭镗奏章，报称新任总兵许宁与汪直相互倾轧，嫌隙不合，难以共事。
又是汪直有事，宪宗自然又要同万贵妃商议，他说：“既然不断有人掣肘，朕有心索性借势将他调回北京，他在京已无任何职务，就好好待在宫中陪你，从此不再出头露面，你看如何？”
宪宗原以为万贵妃会欣然接受，但她却摇了摇头：“汪直在身边固然是好，或许是妾年纪大了，有时想起孙太后当年在世时对我讲的许多前朝旧事，不由得将事情想得更加久远。妾总觉外朝朝臣对汪直积怨甚深，即使将他藏在宫中，只要陛下仍然宠爱他，终有一日，时机到时，他们也将同他清算。”
“贞儿不必担心，有朕在，谁也不能将他怎样。”
宪宗说完此话，只见万贵妃站起来走到他身边，拉住他的手，宪宗不由得也站起来，万贵妃将头枕在他的肩上，宪宗听见她轻声说道：“有皇上护佑，谁也不能将汪直怎样，更不能将妾怎样，妾等安全稳若泰山。不过汪直毕竟年少过陛下许多，陛下千秋万代之后，谁来护佑汪直？”
“是，朕懂了。”
宪宗终于明白了万贵妃真正担心之所在，当晚和她商议良久，怎样才能保护汪直。二人商定，先将汪直调往异地，做出贬谪姿态，以测朝臣如何反应，若无请求清算汪直举动发生，再将其宣召回京，从此令他脱离朝政；若仍有追究不放之事发生，再看他们究竟想治汪直何罪，到时再做决策。宪宗又担心汪直误会，万贵妃说她将亲笔修书一封给他。
六月十四，宪宗借汪直、许宁之争，下诏免除汪直大同镇守太监职位，直接自大同前往南京就任御马监太监，由司礼监太监李荣前往传旨。内阁最先知晓皇上将汪直调往南京消息，当日下朝，万安忙不迭地将消息传播，闻者皆喜形于色。但同时他们也颇感奇怪，传达官员调动，又何须司礼监太监亲自前往。
当朝中群臣弹冠相庆时，李荣快马数日之内抵达大同，他避见大同其他官员，径直前往汪直府上。当初是汪直向皇上举荐李荣任司礼监太监，李荣如今也算深受皇上信任。二人见面后闭门密谈良久，当晚李荣便启程返京。李荣走后，汪直于灯下将密封的万贵妃亲笔书小心翼翼地展开，那一笔一画甚为工整的字体出现：“汪直，你幼失怙恃，六岁不幸再遭战乱，被送入宫。而于我，你之到来，又仿如我早薨皇子再生……”读到这里，汪直已是泪眼蒙眬。
六月末，汪直独自启程前往南京。他穿过太行山，这日进入曲阳县。过往汪直路过此处，当地官员无不曲意奉承，殷勤款待。此次听说汪直可能失势，皆回避不出。汪直入住官驿，孤灯之下深感寂寞。他信步走出庭院，见隔壁亮有灯火，便敲门进去，竟是定州知州裴泰。汪直同他并不生疏，当年四处巡查路过定州，裴泰每次皆为汪直一行预先备好筵席，陪他们吃酒说话，以至于汪直视其为友。裴泰是前往迎接上司，恰好也住于此。汪直说腹中饥饿，问他有无食物，裴泰便将随身所带酒饭赠予汪直吃，汪直很是高兴，请裴泰为他安排车马，明日启程向南，裴泰应承照办。次日汪直起身，发觉裴泰已夜遁而去。单纯的汪直望着四下无人的驿站，真正感到何为世态炎凉，以为是友人辈，原来皆是些势利小人。世上还是皇上、贵妃最好，思念之情骤然而起。
成化十九年七月十七，宪宗皇十子诞生，母亲妃子王氏。未及取名，刚满两个月便薨逝。
汪直往南京御马监就职未及一个月，宪宗、贵妃担心之事便已发生。七月，宪宗收到都察院、六科给事中、十三道监察御史的联名奏章，弹劾汪直。宪宗将奏章留滞，到晚上同万贵妃一起时才打开来看，宪宗读毕大怒。