与第一次伦敦会议不同，这时的日木政府自认为羽毛已丰，公开提出了不能再屈从海军比例制的要求。会议一开始，山本五十六就提出要修改主力舰比例关系，立即遭到了英美代表的激烈反对，双方展开了一场唇枪舌战。山本五十六慷慨激昂，口若悬河，出言雄辩，使得许多代表不得不由衷地叹服。然而，不管山本五十六如何狡辩，其侵略扩张的本质是无法掩盖的。机敏的英美代表就山本提出的“取消航空母舰”的阴谋将计就计，终于暴露了其企图称霸世界的野心。1934年12月29日，日本宣布废除海军限额条约，伦敦裁军预备会议不欢而散。然而，山本五十六的外交才华却得到一片赞誉。英国首相看到关于“钢铁微笑”的山本的报道后，在私邸会见山本，称之为“一只鹫，伦敦之鹫”。后来成为德国外交部长的里宾特洛夫热烈邀请他访问柏林。1935年2月12日，山本五十六一行回国，受到了隆重的欢迎。山本五十六，这位刚在伦敦裁军会议预备会议上提升的海军中将，已经成为世界法西斯主义分子瞩目、日本国内家喻户晓的人物了。
海军航空本部部长
从伦敦回国后，1935年12月，山本五十六被任命为海军航空本部部长。他对这一职位很满意，原因之一就是他对航空很感兴趣。一到任，就按照自己多年来的想法加强，航空母舰部队和陆基航空兵在他任航空本部技术处长时，他就开始对飞机进行技术改造，生产全金属高性能飞机，并提出“国产化”的口号。1933年，他主持设计成功远程陆基机“八试特种侦察机”，1934年成功地改造为“九试中型陆基轰炸机”，1936年投入大批量生产，被称为“九六式陆基轰炸机”。这种飞机在当时世界各国中，技术和攻击力堪称一流。山本五十六在任航空本部部长期间，每月至少要到三菱重工业公司和名古屋的飞机制造工厂去访问一到两次，并且想方设法争取三井、住友和日立三大公司参与航空工业的发展。此外，他还经常到曾经工作过的霞浦海军航空队探视，给予海军航空事业高度关注。其间曾经发生许多有趣的事情。当时，由于技术和人员素质方面的原因，航空队事故发生率很高，航空队副队长桑原雄虎对此一筹莫展。这时，有人向他推掉了一名看相先生，说是能够分辨哪些人适合驾驶飞机，桑原向有关方面提出建议，结果引起一片嗤笑。只有山本表示大力支持。事实证明，这种看相的方法实际上是一种经过长期观察积累的经验方法，在当时科技尚未发达的情况下，不失为一种办法。结果，这位看相先生被正式任命为海军航空本部顾问。这件事既表明了山本对部属的关心，也说明了山本在某些方面与常人想法不同，几乎完全凭直观的判断。这或许也是他袭击珍珠港的原因吧！