狄人杰是个很负责任的人，对百姓如此，对皇帝也是如此。看到武则天沉溺在温柔乡里，他自然有话说。不过他的话也太硬了，直接要求武则天关闭控鹤府。他说：“臣过去请撤‘控鹤监’，不在虚名而在实际，今天‘控鹤监’的名虽已除去，但二张仍在陛下左右……”

对狄仁杰的指责，武则天没有大怒，反而拐弯抹角地加以解释：“我早已知道你是忠正老臣，所以把国家的重任委托给你。但这件事情你不宜过问，因为我宠幸二张，实际是为了保养身体。我过去躬奉先帝，生育过繁，血气已竭，因而病魔时相缠绕，虽然经常服食参茸之类的补剂，但效果不大。

沈南璆(御医)说：‘血气之衰，非药石所能为力，只有采取元阳，以培根本，才能阴阳合而血气充足!’我原也以为这话虚妄，试行了一下，不久血气渐旺，精神渐充，这决不是骗你的，我有两个牙齿重新长出来就是证明。”

武则天说完，还张大了嘴巴让狄仁杰看。其实张易之确实是个难得的制药师，他不光帮武则天长出了智牙，还想办法让她脱落的眉毛重新生了出来。但狄仁杰就是不依不饶，坚持说：“游养圣躬，也宜调节适度，恣情纵欲，适足贻害，希望陛下到此为止，以后不要再加添男宠了。”

武则天只得服输地说：“你讲的是金玉良言，今后我一定会有所收敛的!”想想从前连自己皇帝老公都不怕的武则天，竟然在狄人杰面前没了霸气，足见女皇对他的敬重。不过，食色性也，武则天完全戒色是不可能的，当狄人杰去世后，年逾八旬的她生活更加堕落了，这使她丧失了对时局的敏锐，导致自己在兵变中被迫退位，结束了大周王朝。