离别后，杨广知道了母后的废立之意，遂加快了取代太子杨勇的步伐。当时，越国公杨素深得隋文帝宠信，而杨素又极信任其弟杨约。杨广于是先派心腹宇文述携金银珠宝结交杨约，再由杨约将皇后有废立太子之意转告杨素，并让杨素帮助晋王杨广谋夺太子之位。杨素本来贪位嗜权，闻言霍然道：“果如宇文述所言，我何乐而不为？”数日后，杨素入内宫侍宴，在皇后面前试探性地称赞杨广，孝悌恭俭性格为人很像皇帝，以此揣摩皇后之意。独孤皇后流着泪，把曾经对杨广说的话又说了一遍。杨素知道皇后的心思后，当场说了不少太子杨勇的坏话。独孤皇后随后赐予杨素大量金银，让他在皇帝面前说赞成废立太子的话。
太子杨勇知道了晋王杨广的阴谋后，既忧又惧，无计可施。便使人作巫蛊，在后院造室屋卑陋的庶人村，自己时常布衣草褥寝息其中，以求自保。但皇后已经下定了改换太子的决心，经常派人到东宫刺探情况，凡纤介小事，都被夸大其词，捏成罪状，向皇帝报告，使皇帝疏远太子。因此，杨勇的行为不但不能自保，反而给独孤皇后和杨素提供了更多被诋毁的口实。
杨广又令亲信私下贿赂东宫幸臣，将太子动静密告杨素。杨素更是配合皇后和杨广，到处收集太子的材料，对太子肆意诋毁。于是太子杨勇被内外渲谤，过失日闻。开皇二十年（公元600年）十月，隋文帝惑于邪议，在独孤皇后的主张下，以太子“情溺宠爱，失于至理，仁素无闻，昵近小人。”的罪名，废其为庶人。一个月后，还是在独孤皇后的极力支持下，晋王杨广被立为太子。巧饰为“孝悌恭俭”，实则为“心狠手辣”的“两面三刀”阴谋家杨广虽然成功了。但，随后给大隋王朝带来的却是一场万劫不复的灾难。
