当时,宰相裴炎受遗诏辅政,但是,政事皆取决于武则天。唐中宗不甘为武则天所左右,就打算建立一支自己的力量与武则天抗衡。他打算将岳父韦玄贞提拔为宰相,裴炎便加以劝阻。李显不禁大怒:我以天下给韦元贞,也无不可,难道还吝惜一宰相之位吗?武则天得知此事后,一怒之下,便下了一道圣旨,让才当了两个月皇帝的李显被武则天废为庐陵王,贬出长安。韦香儿也从皇后变成了妃子,陪着李显走上了流放之路。
李显先后被软禁于均州、房州14年,只有韦香儿陪伴身边,两人相依为命,尝尽了世间的艰难困苦。每当听说武则天派使臣前来,李显就吓得想自杀。韦香儿总是在身边又是安慰,又是鼓励,才使他在逆境中坚持着活了下来。因此,李显和韦香儿作为患难夫妻,感情十分深厚。他曾对韦香儿发誓说:有朝一日我能重登皇位,一定满足你的任何愿望。后来,李显果然复位,韦香儿又成为了大唐的皇后。
韦香儿返京后,不仅野心膨胀,而且情欲倍增。而李显更是又不顾朝中大臣们的反对,破格的将韦香儿的父亲韦玄贞封为上洛王,让韦香儿参预朝政。于是,韦香儿也想像自己的婆婆武则天一样,成为一代女皇。李显每次上朝听政,韦香儿都要坐在李显身后的垂帘听政,就像当年高宗李治和武则天一样。
为了当上女皇帝,韦香儿便在悄悄的发展着自己的势力,不久便发展成为了一个以韦香儿、及其女儿安乐公主和武三思、上官婉儿为核心的权力集团,整个军国大权也就几乎落到了她们手中。韦香儿不仅擅权乱政,而且风流成性,放荡不羁。而李显为了兑现自己的诺言,就千方百计满足韦香儿的婚外情欲。
韦香儿与武三思经常私通,李显竟然亲自安排韦香儿和武三思幽会,自己反而在一旁侍候。有一天,午后无事,韦香儿心中思念武三思,便恹恹地打不起精神。李显十分了解她的心思,便命太监去宣召武三思进宫。韦香儿见到了武三思,立马笑逐颜开,精神大振,就与武三思玩起赌双陆的游戏来。而李显则在一边手握筹码,替他们俩计算输赢。韦香儿撒娇弄痴,与武三思眉目传情,最后李显实在看不下去了,才借故离开。