当房遗爱心中知道自己的不忠，他并没有采取任何措施，是假装不知道，还帮高阳公主做掩护。不然高阳公主怎么能一次次得逞，正是房遗爱的纵容，后来这出出轨案被揭破，知情人都被屠杀了，唐太宗驾崩后，高阳公主先后与不同的人有过不雅事件，出轨事件越来越大，越来越猖狂。

经过上述分析，可以看出高阳公主出轨的最大因素是房遗爱，房遗爱的不懂爱和纵容将这段婚外情有了一个合理的说法。