1927年，蒋介石在下野前，为安置失业黄埔生和扩充实力，先后成立了十二个补充团。但因缺乏武器，所以绝大部分都是徒手。蒋介石下野后，李宗仁、白崇禧极力主张撤销补充团，何应钦并未坚持，很快同意将这十二个补充团撤销，导致大批黄埔生失业。

1928年春，蒋介石复职，很多被撤失业的黄埔生，乘机向蒋痛诉，加重了蒋对何的猜疑，认为何是别有用心的。

蒋复职后，策划二次北伐，第一目标是向山东的张宗昌用兵，他自兼北伐军总指挥，调何应钦为总参谋长，削去其兵权。何应钦当即滞留上海，表示消极抵抗，蒋介石恐被旁人非议，也恐何应钦从此脱离自己的掌握，于是又亲自到上海，向何当面解释，叫何到南京，并发表何兼任中央军官学校教育长。两人表面和好，但之间的隔膜并未消除。

蒋介石认为何应钦资历很深，但却非自己浙江同乡，如一旦任其大权在握，决难驾驭。蒋尤其顾虑西南人士权势过重，因为他的劲敌李济深、陈铭枢、李宗仁、白崇禧等人都是两广人；如果背叛何应钦而与李、白结合，这对他将是一个致命的打击。

所以蒋对何应钦，特别有戒心。陈诚是浙江人，对蒋处处表示恭顺。蒋介石公开宣布宁汉分裂时，严重任二十一师师长，陈诚任副师长。蒋征询严重对汉口汪精卫如何处理，严回答：“遵照总司令的命令办理。”

蒋随后又问陈诚，陈诚坚决回答说：“这种背叛行动，应即明令讨伐。”汪、蒋当时同是国民党中的主要人物，当此重要关头，陈诚在蒋的面前敢于说出这种话，当然深得蒋的欢心。二十一师又是蒋的老本，蒋在当时的发问，自然不是偶然的。陈诚从此就为蒋的心腹。而对何应钦却越发冷淡。陈诚原是何应钦任教导第一团团长的炮兵连长，一旦受到蒋的殊遇，不唯何应钦很感不安，旁人也为何应钦不平。

西安事变发生时，何应钦主张先用飞机轰炸，以武力解决为主。林蔚（陈诚的心腹，与何应钦成见很深）将何的这一主张，密告宋美龄，并说何应钦想趁机炸死蒋介石，篡夺蒋的地位。

当时军官学校教导总队队长桂永清，竟迫不及待地不等候何应钦的命令，擅自率领其全部德式装备的教导总队数千人，向潼关进攻，弄得何应钦很是难堪。所以蒋回南京后，对何更为疏远。

抗战胜利后，蒋介石改组军事机构，成立国防部，以资历而论，参谋总长或国防部长部长人选，本非何应钦莫属，但参谋总长却是陈诚，国防部长是白崇禧。白崇禧和蒋介石明争暗斗多年，但蒋宁可让白崇禧当国防部长，也不愿意给老搭档何应钦，可见内心的成见之深。不久后，蒋竟派何应钦为驻美参谋团团长，直隶于国防部之下，使何应钦在蒋系的地位一落千丈。从此，不但蒋、何之间的矛盾扩大化，而且何、陈之间也更势如水火，互不相容。凡是与何应钦有关系的人，只要陈诚的势力所及，都要被陈诚撤换。

1946年秋，在何应钦出国前夕，正值他的生日，他谢绝馈贺，同白崇禧到马群郊外打猎。可是惯会逢迎的南京警察厅厅长韩文焕，率先取得何妻王文湘的同意，准备了四桌所谓的贵州家乡口味的酒席在西流湾八号祝寿，除顾祝同、桂永清、萧毅肃、刘廉一等几人外，其余则为谷正伦、谷正纲、谷正鼎、刘健群、张道藩、韩文焕、龚愚等贵州同乡。

席间萧毅肃打抱不平地说：“原订计划以拟三十人组成军事考察团到美国去参观访问，学习美国的新军编制、综合补给，为期一年，每月以美金一万元为开支。殊知蒋先生只许带参谋秘书各一人，费用包干一万元。后经陈布雷、张群相继进言于蒋先生，始允去美期间共给三万美金。现在除王文湘夫人、何南珠小姐而外，只能带参谋刘廉一、陈静华和秘书曾隽昌等三人同行，蒋先生未免太老火了一点。”

萧毅肃言罢，大家相视默然，何应钦感慨地说：“铺好了床，让人家来睡，到而今只落得光杆出国。”

何应钦临行的前两天，在宪兵警察戒备森严的何公馆大门口，突然发现了白纸红字的大标语，上写道：“打倒囊括民脂民膏的大军阀何应钦。”

此事，何应钦第一反应，就是老对头陈诚派人搞的。当何应钦在南京和平门车站乘专车去上海时，军警林立，戒备特别森严。在何应钦临行前后的送行函电不下三百件，都是各地文官厅长以上、武官师长以上来的。其大意都是钧座远行，未克恭送，如有所命，愿听驱策等语。

何应钦表面上固然不像陈诚那样有什么干城社那类的组织，实质上那些当时拍电报送行表态的人应该说那就是何派。蒋介石当时只派俞济时代表送行，并未安排其他人，但是在何应钦出发时，却是文武官云集恭送，可见何应钦的潜在势力还是极大的。

1948年，何应钦回国，当时正值“国大”开会，屡战屡败的陈诚成为众矢之的，不得不辞去主要职务。蒋介石为暂时应付各方面的反对，只好以顾祝同接任参谋总长，蒋还假意表示任何应钦为行政院院长，当何应钦正准备接事时，蒋又打了翻盘，授意林蔚对何应钦说：“本来蒋先生已决定你掌行政院，但一部分人还提出了些意见，尤其是财政方面……”暗示何应钦主动推辞为妙。蒋介石出尔反尔，玩弄何应钦于股掌之上。