高宗待岳飛不薄，屬於破格提拔，否則他這樣的雜牌小將，根本不可能跟他參軍時已經為將的韓世忠平起平坐的，必然以為岳飛會知恩圖報的。結果岳飛多次跋扈欽差，干涉繼承人問題，辦小金庫囤積茶酒，搞房地產和賭場生意發財，用軍艦販賣商品，抵制朝廷統一財政的政策，都一再優容，跟韓世忠一樣，給了黃金降落傘，以副總理級別文官待遇離休。
皇帝與士大夫共治天下，杯酒釋兵權，嚴防殘唐五代軍閥跋扈的局面重演，是趙宋祖制，也是朝野文臣的共識。岳飛之所以在當時無人同情，就是因為冒犯了這個共識。韓世忠是體制內出身，比他更懂政治，就懂得分寸，撈錢第一，兵權就算了。
這時，國防部收到岳家軍老將王俊的告密信。內容是岳飛離休後接管武昌襄陽兵權的張憲按照安祿山以後軍閥鬧事的慣例，準備軍事請願要求岳飛復職。這樣一來，朝廷杯酒釋兵權的政策就完蛋了。諸將紛紛效法，陳橋兵變就算白費了。岳飛擁兵上游，行蕭衍桓玄故事易如反掌。告密信得到岳飛親信姚政等人的證詞支持，又符合岳飛本人恃寵而驕的一貫公共形象，因此顯得非常可信。國防部嚇壞了，不敢做主。皮球踢到大理寺，大理寺更不敢做主。結果只能由皇帝獨斷，按照國安緊急狀態，越過司法程序，秘密處決岳飛張憲岳雲。岳雲的罪名是替岳飛傳達命令給張憲，但沒有任何實物證據，照大理寺的意見，走司法程序只能判三年徒刑，所以最好不走程序，由皇帝行使緊急狀態權力。
所謂司法官員接受秦相夫婦指示，構陷岳飛，完全屬於子虛烏有。何鑄和秦相父子關係密切，他的態度是軍事案件，大理寺最好別管，其他法官沒有一個認為岳飛無罪，只有罪輕罪重的分歧。如果秦相陷害岳飛，情況絕不會如此。
王俊屬於范瓊禁衛軍系統，因為苗劉政變站隊錯誤失去靠山，被岳家軍收編，可能對岳飛有嫉妒誣告動機，但姚政等人是岳飛的死黨，姚可能是岳母姚氏的親族，沒有任何誣陷動機，而且從岳家軍保護小金庫的動作看，他們根本不怕秦相，怎麼可能突然接受秦相指使，而告密的內容又會損害他們力圖維護的軍隊經商利益？
高宗經過苗劉政變，對兵變極為敏感，知道夜長夢多，必須斷然處置，不能等到宰相府、大理寺和樞密院（國防部）的文官議論到猴年馬月，就斷然行使相州時代的總司令（天下兵馬大元帥）權力，以軍令而非司法判決秘密處決岳飛三人。
岳飛堅持自己沒有謀反，但其實沒有人指控他謀反。如果控方說法完全屬實，他也只是戀權跋扈而已，但涉及敏感問題，只能非常處置。岳飛不懂政治，以為皇帝跟他有特殊關係，事情會跟以前的跋扈一樣，結果玩過了火。
此時前後，秦相的主要工作是跟李光等有資格拜相的大臣死磕。岳飛並不是他的對手，而是四大將之一的張俊的對手。極力主張嚴辦岳飛的，也是張俊而非秦相。秦黨主要是御史和財政官，對案情說不出所以然，而且沒有表現出一致立場，顯然並未得到秦相父子的指示。秦黨在攻擊對手時，是按照文臣黨爭的習慣，從定國是開始，強調敵人的結黨營私性質，展開集團性彈劾。這一次的表現，跟大多數文官差不多。
岳飛的家屬按照蘇東坡之類黨爭失敗者的習慣，貶官到嶺南，但還是國家幹部，官府供應糧米。紹興三十一年，也就是說還沒有等到易君，朝廷就把他們的連坐處分取消了，但並未取消岳飛的罪名。岳飛的孫子發揮岳家軍的特長，為朝廷搞鹽茶專賣，因殘暴貪婪聲名狼籍。他編寫的岳飛故事毫無可信度，但被元朝的宋史編輯採納後，變成了岳飛傳說的主要來源，例如朱仙鎮戰役和朝廷強迫撤退以致北伐功敗垂成，在歷史上並不存在，當時的紀錄顯示，岳飛自郾城撤退，諸軍皆潰。
理宗以後，國事日非。朝廷為了鼓勵軍功，才取消了岳飛本人的判決。理學興盛以後，以朱熹開頭，輿論製造者認為，問題不在於軍事司法外交，而在於從意識形態上講，言和就是損害唯一靠得住的認知戰，所以一切為認知戰服務，本來號稱郭子儀和蘇武合體（頭號主戰派李綱都是這個意見）的秦相必須發明為主和派和奸臣（歷史上他是戰和並用派，而且推薦過很多著名主戰派），然後民間故事又莫名其妙地用他頂替張俊張浚和趙鼎，扮演岳飛的敵人。
岳飛家族受迫害的故事，當然也是民間傳說。他們一直是官，幹部待遇不變。