消灭薛氏

武德元年(618年)五月，李渊称帝，建立唐朝，是为唐高祖。六月，殷开山担任元帅府司马，随李世民征讨薛举。双方对峙于高墌(今陕西长武北)城时，李世民患病，将指挥作战的事宜委托于刘文静，并告诫说：“薛举远道而来，利在急战，士气高涨，我们不容易打赢，应该打持久战，等他们粮食吃得差不多了，士兵不耐烦地时候，我们可一举破敌，现在应该坚守不出。”

但是刘文静与殷开山认为唐军人多势众，殷开山于是对刘文静说：“秦王担心你没有胜算的把握，才这样交代。但薛举如果知道秦王有疾，必然轻视我等，所以宜炫耀武力以威镇之。”于是将兵营陈于高墌城西南，列阵示威，甚至未加防御。

薛举发现后暗中调集军队，以精锐铁骑背后抄袭唐军，浅水原战斗打响，唐军八总管皆败，唐军士卒死者过半，李世民慌忙引兵退还长安。薛举遂占领高墌城。仗打输了总要追究责任，于是刘文静和殷开山都被免职，除名为民。

武德元年(618年)八月，薛举病死，其子薛仁杲忙于治丧，李世民亲任元帅，再率大军征讨，迫使薛仁杲率众投降。这次大战为唐王朝立足关陇清除了外患，殷开山因战功官复原职。

病逝军中

武德二年(619年)，殷开山兼任陕东道(治所在今河南陕县东)大行台兵部尚书，又升任吏部尚书。跟从李世民讨平王世充，以战功进封爵位为郧国公。

武德五年(622年)，殷开山随军征讨刘黑闼，途中因病去世。李世民临丧痛哭，追赠殷开山为陕东道大行台右仆射，谥号节。

贞观十四年(640年)，殷开山以佐命之功与赠司空、淮安王李神通，赠司空，河间王李孝恭，赠民部尚书刘政会配飨唐高祖庙庭。

永徽五年(654年)，唐高宗李治加赠殷开山为司空。