武則天以為張氏兄弟是公卿之后、世家子弟，大臣們該沒人說閑話了，但忠心耿耿的內史狄仁杰偏偏不買賬。狄仁杰先前就曾力諫武則天撤除穢亂深宮的“控鶴監”，現在又梗著脖子對武則天說：“昔臣請撤‘控鶴監’，不在虛名而在實際，今‘控鶴監’之名雖已除去，但二張仍在陛下左右，實在有累皇上的盛名。皇上志在千秋，留此污點，殊為可惜，愿罷去二張，離他們越遠越好。”右補闕朱敬也勸諫武則天：“志不可滿，樂不可極。嗜欲之情，愚智皆同，賢者能節之，不使過度，則前賢格言也……”

武則天煞有介事地解釋道：“我嬖幸二張，實乃為了修養身體。我過去躬奉先帝，生育過繁，血氣衰耗已竭，因而病魔時相纏繞，雖然經常服食參茸之類的補劑，但效果不大。沈南璆告訴我：‘血氣之衰，非藥石所能為力，只有采取元陽，以培根本，才能陰陽合而血氣充足。’我原也以為這話虛妄，試行了一下，不久血氣漸旺，精神漸充，這絕不是騙你的，我有兩個牙齒重新長出來就是證明。”狄仁杰一時無話可說，只得順著臺階就勢而下：“游養圣躬，也宜調節適度，恣情縱欲，適足貽害，希望陛下到此為止，以后不能再加添男侍了。”朝堂之上，君臣之間竟討論起男侍的事情，真是千古少見。不過，武則天晚年因保養得法，年高而不衰，卻也是事實，她還為此專門下詔改元為“長壽”呢。

神龍元年(705)，宰相張柬之等五位大臣趁武則天病重，在玄武門發難，迎太子李哲斬關而入，斬殺張易之、張昌宗兄弟，逼令武則天退位，把皇位傳給李哲，即唐中宗。這年冬天，武則天病死。她以皇后身份預政24年，以太后身份臨朝稱制7年，稱帝15年，前后共掌政46年。她死后謚號“大圣則天皇后”，以高宗皇后的名義和高宗埋在一起，故后人稱她為武則天。

清朝著名史學家趙翼在《廿二史札記》中說：“人主富有四海，妃嬪動千百，后既為女王，而所寵幸不過數人，固亦未足深怪，故后初不以為諱，而且不必諱也。”意即歷代皇帝都可以嬪妃成群，而武則天身為女皇，寵幸的男侍前后不過數人，即使與歷史上不荒淫的皇帝相比，也是少之又少，沒什么好指責的。應該說，這算是比較公正的評論。

武則天具有治國才能，統治了數千萬臣民，成為中國歷史上空前絕后的女皇帝，當然便有足夠的理由去追求奢華生活，她要的是和男性皇帝平等的情愛。另一方面，這也和當時的社會風氣開放有很大關系。唐代時理學尚未盛行，封建禮教還沒有完全建立，兩性關系并不像后世那么禁錮與封閉，有些后人認為荒淫無恥的事情，當時人可能并不以為恥。

例如，當時像韋后和太平、高陽、襄陽、安樂、郜國、永嘉等公主以及上官婉兒等人，在私生活方面都非常放縱，畜養著一群男寵。因此，我們在談論武則天寵幸男侍時，應該更加客觀地將她放在當時的環境中來評判。