为了说服皇帝，岳飞还作了三年恢复中原的保证，都“拍胸脯”了，皇帝还是不同意。李若虚在庐山上，曾严厉地对岳飞说：这样坚决地不听从朝廷的旨意，决非好事;难道您以为可以和朝廷相抗吗?岳飞下山后，估计也是后怕了，曾三次向皇帝谢罪。赵构的回复很淡定：我没有生气。要不然，就处罚你了。

怎么处罚呢?就像太祖说过的那样，犯了我的法令的人，只有用剑来教训他(“犯吾法者，唯有剑耳”)。看到皇帝的回复，岳飞会是怎样的表情，没有人知道。但他很快再次领教了皇帝的威严，这一次，有人记录了下来：他当着赵构的面紧张得语不成句，退下来之后面若死灰。“卿言虽忠，然握重兵于外，此事非卿所当预也。”——赵构的这句话，把岳飞吓得“面如死灰”。

岳飞一起觐见皇帝的，还有他的随军转运(相当于后勤部长)薛弼。接到圣旨后，岳飞就乘船沿江而下，到了九江，薛弼也从另一地方赶了上来，在船上和岳飞相遇。在船上，岳飞很严肃地告诉薛弼，这次见了皇帝，他要办一件大事——请求立皇子建国公赵昚为皇太子。县丞可以建议收养皇子，太尉不得干预立皇太子。为什么?薛弼当时就和岳飞说了：身为大将，似不应干预此事。

岳飞的回答是：臣子一体，也不当顾虑形迹。皇帝见到宰相赵鼎，又提起岳飞昨天的事。同样主张立赵昚当太子的赵鼎毫不客气地痛批岳飞：没想到他竟这样不守本分。退朝后，赵鼎又把薛弼找了来，又把岳飞批了一通后，明确表示：这决不是保全功名、善始善终的做法。皇帝会因为这个就猜忌岳飞吗?不好说。

至少当时有人是这么看的。还是那个薛弼，在很多年以后，和别人说起这事时，发了一通感慨：岳飞作为大将，却越职到了这个地步，找死啊!岳飞死了20年后，赵昚刚当上皇帝，就“按太上皇(赵构)的意思”，给岳飞平反了。