韋嗣本是大唐玄宗朝兵部尚書，在京城那也是一戶響當當的人家。可是，沒想到有一天，閉門家中坐，禍從天上來。韋嗣和家人正在家里睡午覺呢，忽然外面“乒乓”作響，大門都仿佛被人踢壞。大家都從夢中嚇醒。韋嗣讓家人趕緊去看看，哪個不要命的竟然如此大膽。家人到前面一看，一位年近三十的貴婦人，帶著四五十個侍女丫環，個個張牙舞爪的，沖了進來。家人急忙攔住，問到底是要干什么呢？沒想到人家根本不搭理自己。那許多丫環，在院子里動手動腳，把許多東西都扔到房子外面，然后從外面搬進來許多新家具。

韋嗣急忙出來，口中大喝：“本官乃是當朝兵部尚書，何人如此大膽，竟然擅闖本府？”一些丫環想停手，那個貴婦人說：“別停，繼續搬。”然后笑語盈盈走到韋嗣面前，說：“聽說，你家的房子要買？要多少錢啊？”韋嗣也不知道這女人什么來頭，竟然這么牛氣。反正房子是自己的，賣不賣隨自己啊。于是韋嗣就說：“房子是祖上傳下來的，現在不賣！”

貴婦人微微一笑，也不說話。一招手，從院子外面涌進來一百多個工匠，就上上下下忙碌起來。貴婦人不再搭理韋嗣，命令工匠拆掉這面墻，打通那個房間，然后又有許多人把一些泥土瓦片全部運走，然后又是鋪上地磚，來來往往也不知道多少人。一眨眼的功夫，韋嗣的家竟然已經拆的不成樣子了。

韋嗣實在氣惱，大聲呼賀，讓家人去早京兆尹報案，看看何人敢如此膽大。貴婦人說：“你去啊，看看那個人敢受理？”韋嗣呆了。悄悄問貴婦人帶來的那些工匠，到底這個女人是什么來頭。終于有人告訴他，這位貴婦人是虢國夫人。韋嗣大汗淋漓，急忙跑到貴婦人面前，打躬作揖，多番道歉。韋嗣表示，價錢請看著給，只要是留給我們一點點的地方居住就好了。

虢國夫人斜著眼睛看著韋嗣，笑了，說：“看你還比較懂事?？礃幼樱氵@樣子應該值那么二百來萬錢吧。我多給你三斗綠寶石如何？”韋嗣大喜過望，急忙下跪磕頭。原來，這位虢國夫人就是楊貴妃的姐姐。楊貴妃入宮之后，已經得到唐玄宗的寵愛。而楊貴妃更把自己的姐姐虢國夫人也介紹給唐玄宗。兩個人也如膠似漆。朝中大臣一方面對虢國夫人嘲諷笑罵，說其紅杏出墻，與君有染。可另一方面卻又對虢國夫人前后逢迎，不敢得罪。于是，韋嗣住了許多年的老宅子，就被虢國夫人夷為平地。夫人的府邸，在長安豪華高大，堪比王宮。

后來，有一次刮暴風將一株大樹連根拔起來，落在虢國夫人新宅的堂屋房上。風住后上到堂房頂上看看，基本上沒有什么損壞。原來，房上覆蓋的是精制的木瓦。整座宅院處處修造的精致程度，都跟這差不多。虢國夫人每次進入皇宮，經常騎著一匹紫驄寶馬，旁邊有一個小太監為她牽馬。紫驄寶馬的高大健美，小太監的端莊俊秀，都為當時首屈一指的。