陈渊没有辜负高宗对他的期望。“凡涉及国家乱治之本源，学术的邪正，君子小人朋党之分，中国和外国的逆顺之理”等等，他都积极奏言。此时，秦桧已独专宰相，正准备接受金国条件议和。陈渊为此连奏5章，坚决反对投降议和，明确指出秦桧的议和条件是误国乱政，丧失民心。秦桧对陈渊的多次上奏大为恼火，就对他亲信说：“陈右正言如能少发议论而缄默，他的地位就可以改变。”并叫监察御史陈楠去向陈渊传达秦桧的意图。陈楠说：“陈右正言是天下最正派之臣，怎能为利害祸福而动心。”

金人在北方曾扶植一个“大齐”伪政权。绍兴七年，金人又把“大齐”废除。在“大齐”任“工部侍郎”的郑亿年，到南宋投靠秦桧，成了秦桧的亲信。绍兴九年，秦桧恢复郑亿年降金前的资政殿大学士的官位。陈渊闻讯立即上奏，指出郑亿年有“从贼之丑”，不可复官。这就更触怒了秦桧，即有秦桧的亲信告发陈渊曾讲过汉武帝尊重敢于直谏的大臣汲黯和北宋苏轼抨击奸臣的故事。秦桧即以“说古讽今”的罪名，罢了陈渊的官。

绍兴十三年(1143年)，在南宋京都临安修建国子监、太学，宋高宗又任命陈渊为秘书少监兼崇政殿说书，要他讲解《左传》。这时陈渊已被罢官回归故里4年之久。他接到御书后，即上表婉言辞谢，并以“曾祖父陈世卿也任过秘书少监之职，自己应当回避”为托辞。

宋高宗又改任他为“宗正少卿兼崇政殿说书”，陈渊再上辞表，高宗不准，陈渊只好上朝赴任。陈渊回朝后，常和几个知己好友私下议论朝政。绍兴十五年(1145年)，秦桧的党羽弹劾陈渊有“朋附非毁”罪，又被罢官。陈渊由于年事已高，加上受到无端攻击的精神刺激，即于当年逝世，享年79岁　著作有《默堂先生文集》22卷。