杨坚当然非常高兴：“你是不愿意说破啊！”背后的意思是，我知道你是知道我的用意的。
既然已经有大臣支持自己的意见，他决定试探一下两位宰相的意见。一天他召见了高颎和杨素。高颎和杨素都是隋朝非常重要的名臣，可虽然都是名臣，从人品来看，高颎显然要比杨素正直的多。
杨坚说：“我已经找人相面了，晋王是天命所归，应该取代太子。”
对于隋帝杨坚的提问，杨素一贯是奉承皇帝的意思，何况自己还是杨广集团的地下工作者。只要顺着皇帝的意思就能达到自己的目的，何乐而不为呢？他马上表示赞同。
可是高颎表现出了他耿直的硬汉本质，表示坚决反对，他说：“长幼有序，太子没有大过错，不可废！”
看到高颎态度非常强硬，如此坚决，杨坚知道多说无益，于是“默然而止”。
忧郁的杨坚回到自己的寝宫，闷闷不乐。
独孤皇后一看就知道自己的目的没有达成。她问杨坚：“是不是那个高颎反对？”
杨坚回答说是。毕竟他是宰相，如果此事得不到宰相的认可，还是暂时放一放吧！
独孤皇后愤怒了，她责问皇帝：“高颎反对他是有意图的。他这不是在坚持原则，只是在维护他自己的利益。高颎的儿子表仁娶了太子杨勇的女儿做老婆，他和太子杨勇是亲家，所以他才这样坚决反对废立太子。再说，你忘了他前些日子骗你的那件事情了吗？你怎么还能相信这个老狐狸？”
杨坚的思绪一下子又回到了以前：那时高颎的妻子去世了，杨坚要给他再娶一位夫人，可是高颎满面泪水地说：“我老了，以后我下朝以后也就念念佛经了，至于纳妾，我不敢再想了。”既然高颎这样说，杨坚也没有强迫他。可是没有多久，高颎忽然高兴地告诉隋帝自己的爱妾为自己生了一个男孩。杨坚听了非常替他高兴，可是独孤皇后又犯病了，她嫉妒地说：“陛下为他纳妾他不愿，原来他自己早已经有了意中人，他这样奸诈，陛下还能信他吗？”
杨坚想起了这件往事，怒火冲上了他的胸膛，接着他想起高颎组织自己远征辽东等等许多和自己对着干的事情，一桩桩，一件件，都是这个高颎，都是这个高颎！高颎，我怎么能再相信你？一个声音在他的脑海中大喊：不要相信这个高颎了，废掉太子，废掉太子……
高颎被疏远了，接着又因为被怀疑谋反而被罢免了官职。太子最后的保护伞也没有了。
就在杨坚已经坚决了要废立太子之时，他所派出的线人已经源源不断地把他们所掌握的关于太子不法的行为报告了上来，上到衣冠不正了，说话不文明；下到随地吐痰，乱扔垃圾。反正报上来的都是不好的。
然而杨坚不知道的是：在他得到的这许多情报中，还有许多是杨广派出去的卧底得来的。杨广离开京城的时候，他已经收买了许多太子东宫里的人员，让他们把太子的一举一动都随时报告给某人，然后再传到杨素那里。于是诸如什么太子在东宫里养了很多马匹，有谋反企图：太子砍了宫里的一颗老槐树送给东宫卫士做取火用具、动机不单纯等等事情都被当作大事情报给了皇帝。
杨坚决定对太子和晋王再做一次审核和考验，他派出了两位使者分别前往东宫和江都去看望两个人。不久他得到了回报，是两种截然不同的回报。
从东宫回来的使者说：“太子对使者表现得非常的不耐烦，发了许多牢骚。”
而从江都回来的使者说：“晋王一听说皇上派使者前去，他和王妃萧氏就早早地亲自到境上迎接。晋王非常思念皇上和皇后，说见到使者就好像见到父皇母后一样，总是泪流满面。而且晋王除了努力工作，也没有什么业余爱好，他们家里的侍女都是又老又丑，连家里的琴都是布满了灰尘，连琴弦都是断了的。”
杨坚感动得老泪纵横，看来还是二儿子好啊！