吕端仪表俊秀，处事宽厚忠恕，善交朋友，讲义气，轻钱财，好布施。 处事理政才华出众，逐渐为宋太宗所喜爱和重用。早在吕蒙正为相之时，太宗就有重用吕端的想法。在太宗与别人商量，打算任用吕端为相对，有人反对重用吕端，其理由是吕端这个人“糊涂”。

太宗根据自己多年体察，立即说：“端小事糊涂，大事不糊涂。”其实这个时候已坚定了任用吕端为相的决心。当心，太宗还作过一首钓鱼诗，其中有两句是这样写的：“欲铒金钩深未达，磻溪须部钓鱼人。”

这诗中的意思是说，对于任用吕端当宰相的事，已无可争议，宰相这个职位非吕端莫属。过后数日，太宗就让吕蒙正改任参知政事(副相)。吕端拜相时，已年届六十，太宗曾后悔自己对吕端重用太晚。

吕端任宰相后，办事持重稳当，公道而廉洁，深得朝中朝外各方面的好评。使太宗听到的奏章多是褒奖之辞，对吕端的印象当然就更好了。

太宗为了平衡各方面的关系，特别是对寇准的使用，恐有吕端官居相位以后在寇准之上，使寇准心中不平，就采取了一个临时过渡的办法，作为权宜之计。太宗让时任参知政事的寇准与宰相吕端“分日押班知印，同升政事堂”。也就是说，让吕端和寇准隔日轮流执掌相府大计，他俩平起平坐，太宗则从旁加以观察。

当时送到朝中的奏折很多，而朝中也有各种各样的意见，但是众说纷纭，没有个统一的决断性的意见，“惟端罕所建明。”经过一段观察之后，宫内付出太宗的亲手戒谕：“自今中公事必经吕端详的，乃得闻奏。”这一道谕旨，无疑是太宗对吕端的更大信任和重用。

吕端感到事已至此，再谦让也就不妥当了，于是他未加推辞欣然从命，履行公事。实际上这时吕端才真正成了名副其实的、有职有权的当朝宰相。以致数年后吕端的名声远扬，而且传至后代，被称为一代名相。

在真宗为帝之时，吕端久病不僡。真宗为了解除吕端的劳累，下了一道诏书，免去了吕端每日朝拜的礼仪。有事靠书信沟通视事。并授以太子太保。

咸平三年(1000年)四月初三(5月9日[1] )，吕端逝世，享年六十六岁。朝廷追赠司空，谥号“正惠”，并追封其妻李氏为泾国夫人，任命其子吕藩为太子中舍人、吕荀为大理评事、吕蔚为千牛备身、吕蔼为殿中省进马。