桓温进入关中时，正值麦收时节，他就打算就地收麦，以解决军粮问题，于是屯兵不前。苻健闻听晋军收粮，猜到恒温军中粮草不足，遂采取坚壁清野的方式，使得晋军粮秣不继。六月，桓温被迫撤返江陵，并将关中三千多户百姓一同迁走。秦军随后趁势追击，晋军大败，伤亡甚众。

桓温北伐期间，隐居关中的王猛曾前来拜见，并大谈当世之事，旁若无人，深得桓温的赏识。桓温撤退时邀请王猛一同南下，并任命他为高官督护。但王猛却不肯跟随，留在了北方。

永和十二年(356年)二月，桓温数次上表，请求朝廷移都洛阳，修复园陵，但都没有得到朝廷同意。不久，朝廷拜桓温为征讨大都督，都督司、冀二州诸军事，负责征讨事宜。七月，桓温自江陵出兵再次北伐，并命督护高武据守鲁阳(今河南鲁山)，辅国将军戴施屯驻河上，进逼许昌、洛阳。同时，他上疏朝廷，请求徐、豫二州出兵淮、泗，进入黄河，以配合作战。

同年八月，桓温兵至伊水(在今洛阳城南)。羌族首领姚襄正围困洛，闻桓温来攻，撤军而回，在伊水之北拒水而战。桓温亲自披甲督战，命晋军结阵而进，终于大破姚襄，收复洛阳。他进入金墉城，拜谒先帝皇陵，并设置陵使修复皇陵。不久，桓温班师南回，并将三千多家归降百姓南迁至长江、汉水一带。

桓温返回荆州后，先后命部将剿平蛮贼文卢、妖贼李弘，将首级传送建康(今江苏南京)。但与此同时，收复的司隶、豫州、青州、兖州等地再次失陷。升平四年(360年)，朝廷封桓温为南郡公，并将其原有爵位临贺郡公降为县公，封授给其次子桓济。