当时，左丞相别儿怯不花与贺太平、韩嘉讷、秃满贴儿等秘密结为十兄弟，他们觊觎脱脱的权势，嫉妒他受到的宠信，开始合力排挤脱脱。难除心理阴影的皇帝也担心脱脱为相太久，权势太重，以致尾大不掉，重演伯颜的故事，于是持续给脱脱施压，弄得他烦扰不堪。
这天，心力交瘁的脱脱又召来了吴直方，在密室中向他询问：“上位如今命学生主管宣政院a之事，深见信用，但是近来学生所奏事，上位多不准，岂非咄咄怪事？”
吴直方早已对此有所洞明，道：“说怪也怪，说不怪也不怪，上位是病在这里啊！”说着，他按住了自己的胸口。
a元朝掌管全国佛教事宜和藏族地区军政事务的中央机关。
“哦？上位有何心病？”脱脱还带些蒙古汉子的憨直，“今百废正举，朝廷正是用人之际，奈何上位如此刁难于学生？”
吴直方静默了片刻，不由得长叹一声，道：“上位自幼多坎坷磨难，即位之后又时时活在权臣的虎视之中，怕是留下了病根。”
“什么病根？”脱脱有些急了，“权臣都已除去，难不成上位不信我脱脱乃是一介忠臣？”
吴直方沉默了半晌，方道：“古往今来，为了这个君位，闹到父子相残、手足相逼、夫妻反目的还少吗？莫说上位不轻信于人，换作你我坐在那个位置上，环顾普天之下，能拿谁作心腹呢？主社稷者须猜忌多疑，这本就是宋朝赵氏家法啊！看来上位是要学唐玄宗了。”
“学唐玄宗，要三年一换宰相吗？”脱脱终于开悟，明白今上与唐玄宗李隆基的经历实在太像了，自然想法、做法也会近似。
吴直方点了点头，并做了一个肯定的表示。脱脱急忙求计：“那当如何是好？先生务必教我。”
吴直方沉默了好一会儿，方道：“常言道‘伴君如伴虎’，如今我等自保是无虑的，苦在朝廷施政，善始而不能善终，为天下生民一大悲啊！”说着，他竟流下了浑浊的泪水。
脱脱有些疑惑，只得近前来安慰道：“先生怎么好端端就哭了？”说着，他便从怀中取出一块方巾要给先生拭泪。
吴直方止住了哭泣，分析道：“我国朝起于大漠，制度多与中原不合，首在君权不重，而怯薛之制与忽里台b之制更是削弱君权的两柄。如今你既掌中书之重权，那上位可能睡得安稳？他自非一代雄主，不能更改祖制，为稳固权柄，只有在加快人事代谢、制衡权柄上想办法……我等无奈，上位亦多无奈！”
吴直方讲到这里，脱脱有些明白了。作为《宋史》总裁官的他忽然想起一个前朝典故：北宋之时，太宗赵光义把自己的弟弟廷美软禁起来，令其丧失行动自由。一天，廷美拉着夫人张氏的手，悲哀地说道：“倘或是不生在帝王家，而是生在平民百姓之家，你我夫妻，或耕田，或纺织，或捕鱼，或打柴，生儿育女，到了如今这般年纪，岂不过着快乐美满的日子吗？”张夫人听了这话，心里也很悲伤，但她没有直接埋怨忌刻薄情的太宗，只是安慰丈夫道：“夫君说的是，千岁您有何罪？您所以落到今天这般田地，就是因为您有继承大位的资格啊a！然而千岁也不必自怨自艾，自从有君王以来，与千岁有共同境遇的人，难道还是少数吗？总而言之，世上一天有君位，也就存在如您这般遭际的人。正本清源，总要废掉这君位，才能免除如您这般的厄运……”
b指大蒙古国和元朝的诸王大会、大朝会。
如今事异势同，揆诸史册，这一介女流的张夫人也算慧眼如炬了。面对死局，脱脱不禁长叹道：“我乃一赤诚为国之士，尚难得长久报效，他日若小人在位，这刚起色的朝局，岂不又要断送？我等之辛苦努力，岂不又要付之东流？看来这中兴之局，果是无望了！唉……”
“恕老夫直言，我国朝本就恩德浅薄，若昏悖在上，民困于下，日久必生大变！”吴直方仰天长叹道。
脱脱没有任何挽回之计，要想长久在位，只能做个凌压君王的权相，而这正是他当初最不希望看到的局面，他自然也没有这样的考虑，至少暂时不会有。最后，他只得按照吴先生要其深自谦抑的教导，主动上表请辞丞相一职。皇帝要做出开明和念旧的姿态，自然不准。于是脱脱不断装病，直至第十七次上表才被批准——这是不想让皇帝背上一个忘恩负义之名，而主动成全了皇帝的盘算！
为了酬答脱脱的辅翊之功，皇帝决定敕封其为郑王（脱脱之父马札儿台进封忠王），赐河南安丰县为其私属领地，并赏银万两。为示淡薄荣利，脱脱均辞而不受。但皇帝对脱脱家族还是不太放心，毕竟其树大根深，因此决心修剪一下。
至正七年（1347）六月，时为太师的脱脱之父马札儿台因被右丞相别儿怯不花诬告而遭到弹劾，皇帝下令将其流放到大西北的甘州（今甘肃张掖），脱脱力请同行以照料老病缠身的父亲，遂居甘州就养。同年十一月，饱受劳碌之苦的马札儿台病死，脱脱于不久后回到京师，此时年逾七旬的吴直方已经致仕回浙江老家，脱脱痛失一有力的辅弼。
a因为宋太祖赵匡胤死后是“兄终弟及”的，所以按照这一承续大统的惯例，赵廷美无疑是最合乎赵氏家法的皇位继承者。
至正八年（1348），脱脱被任命为太傅，负责东宫事务。第二年，脱脱才借着御史大夫太平的奥援，得以恢复右丞相之位。又过了三年，因须借重脱脱平乱，皇帝为马札儿台平反，特诏命改封马札儿台为德王，并令翰林儒臣制相立碑，赐“旌忠照德”之额，以示纪念。
脱脱去相后，仅五年多时间，阿鲁图、别儿怯不花、朵儿只先后出任右丞相，主掌朝廷内外大政。其间，皇帝虽仍有励精图治之志，也曾推出一些新政，但元朝政治的腐败糜烂之势已是不可挽救！
加之天灾频仍，底层民众、边民起事的烽烟此起彼伏，社会各种矛盾被进一步激化，大元江山已在风雨飘摇之中。而脱脱所能做的，也只有头痛医头、脚痛医脚了。