1180年，41岁的辛弃疾再次任隆兴(南昌)知府兼江西安抚使时，拟在上饶建园林式的庄园，安置家人定居。1181年春，开工兴建带湖新居和庄园。他根据带湖四周的地形地势，亲自设计了“高处建舍，低处辟田”的庄园格局，并对家人说：“人生在勤，当以力田为先。”

因此，他把带湖庄园取名为“稼轩”，并以此自号“稼轩居士”。并且他也意识到自己“刚拙自信，年来不为众人所容”(《论盗贼札子》)，所以早已做好了归隐的准备。

果然，淳熙八年(1181)冬，农历十一月，由于受弹劾，官职被罢，带湖新居正好落成，辛弃疾回到上饶，开始了他中年以后的闲居生活。此后二十年间，他除了有两年一度出任福建提点刑狱和福建安抚使外，大部分时间都在乡闲居。

人生起落

绍熙五年(1194年)夏，辛弃疾又被罢官回上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意“便此地、结吾庐，待学渊明，更手种、门前五柳”。庆元二年(1195年)春，瓢泉园林式庄园建成。

庆元二年(1196年)夏，带湖庄园失火，辛弃疾举家移居瓢泉。

1196年秋，辛弃疾生平所有的各种名衔全部被朝廷削夺得干干净净，在瓢泉过着游山逛水、饮酒赋诗、闲云野鹤的村居生活。瓢泉田园的恬静和期思村民的质朴使辛弃疾深为所动，灵感翻飞而歌之，写下了大量描写瓢泉四时风光、世情民俗和园林风物、遣兴抒怀的诗词。

《临江仙·戏为期思詹老寿》、《浣溪沙·父老争言雨水匀》、《玉楼春戏赋云山》等等，都是辛词中描写瓢泉村居生活的代表作。“青山意气峥嵘，似为我归来妩媚生”(《沁园春·再到期思卜筑》)：“我见青山多妩媚，料青山、见我应如是。情与貌，略相似”(《贺新郎·邑中园亭》)。这些词句表现了辛弃疾对瓢泉山水风物一往情深。

隐居生活

1178年决定在信州(今江西上饶)定居。1181年冬，41岁的辛弃疾因受弹劾被免职，归隐上饶。淳熙十五年(1188)冬，其友陈亮从故乡浙江永康专程拜访辛弃疾，两人于铅山(yán shān)长歌互答，称第二次鹅湖之会——辛陈之晤(见后文“名士相会”);鹅湖之会后又陆续出山两次做官。

1203年，主张北伐的韩侂胄起用主战派人士，已六十四岁的辛弃疾被任为绍兴知府兼浙东安抚使，年迈的词人精神为之一振。辛弃疾先后被起用为绍兴知府、镇江知府等职。第二年，他晋见宋宁宗，慷慨激昂地说了一番金国“必乱必亡”(《建炎以来朝野杂记》乙集)，并亲自到前线镇江任职。

宋宁宗开禧元年(公元1205年)，辛弃疾任镇江知府，时年六十五岁，登临北固亭，感叹对自己报国无门的失望，凭高望远，抚今追昔，于是写下了《永遇乐·京口北固亭怀古》这篇传唱千古之作。但他又一次受到了沉重打击，在一些谏官的攻击下被迫离职，辛弃疾怀着满腔忧愤回瓢泉。

1207年秋，68岁的辛弃疾，身染重病，朝廷再次起用他，任他为枢密都承旨，令他速到临安(杭州)赴任。诏令到铅山，辛弃疾已病重卧床不起，只得上奏请辞。开禧三年秋天，农历九月初十，爱国词人辛弃疾带着忧愤的心情和爱国之心离开人世，享年68岁。据说他临终时还大呼“杀贼!杀贼!”(《康熙济南府志·人物志》)。后赠少师，谥号忠敏。