他很看重房彦谦的为人，并且对他很友好且怀敬意。炀帝继位，薛道衡改任番州刺史，赴任途中经过房彦谦的官署所在地，逗留了几天后，挥泪作别。黄门侍郎张衡，也与房彦谦很友好。当时皇帝营建东都，极尽奢侈华丽，天下百姓感到非常失望。又加上汉王叛乱，遭遇不幸的人很多，房彦谦看到张衡当权却不能匡正挽救，就写了一封信劝告他。张衡收到信后感慨叹息，但是不敢上奏让皇上知道。

房彦谦知道朝廷法纪不能整治，于是辞官隐居，准备在蒙山下建房居住，来求得自己的心愿。司隶别驾刘灹，欺上压下，把揭发别人的隐私作为正当的做法，刺史畏惧他，都对他下拜。只有房彦谦坚守志向不屈服，用平等礼节作长揖，有识之士称赞他(的做法)。

刘灹也不敢对他怀恨。后来隋朝政事渐渐混乱，朝纲败坏，官员没有不改变节操的。房彦谦坚持正道，遵守常法，坚定不移，洁身自立，深被当权的人所忌恨。外放为泾阳县令。不久，死于任上，当时年龄六十九岁。

房彦谦家中留有祖传产业，资产向来殷富，再加上前前后后担任官职，所得俸禄，都用来周济亲朋好友，家里没有多余的钱财，日常开销，务必保持朴素勤俭作风。房彦谦自小到大，一言一行，从没有涉及到私利，虽然常常招致贫乏，但也怡然自得。

曾经在悠闲当中独自微笑，回头对他的儿子房玄龄说：“人家都因官俸而富，只有我因做官而贫穷。留给子孙后代的财产，就只有‘清白’二字了。”他所写的文章，气度博大，闲静文雅，很有古人的情致。还擅长草书隶书，有得到他书信的人，都像对待宝贝一样地玩赏。