谢讽闻言一怔，不知杨素选择在此时告诉他这一当年的真相究竟心怀何意，随即再次躬身答道：“即便如此，也是清河公仗义相救，才使谢讽得脱牢狱之困，且这两年来，清河公待我有天高地厚之恩，在谢讽心目中，仍将清河公视做再生父母一般，决不敢相负。”
“哎呀，你若执意如此，今日之事倒有些难办了。”杨素觑着谢讽的脸色，故作为难的样子，搓着手说道，“老夫目下乃赋闲之人，自感留你这般大才在身边做一掌案，已有诸种不妥，尔今又逢晋王殿下差专人来请你北上高就，我若不放你去，岂不要遭人唾骂？”
经过近两年多的紧密接触，谢讽对杨素的为人、秉性多多少少也了解一二，以今日之事论之，若杨素有心放自己随萧萧北上并州，是决计不会赶在萧萧到来前再三探问自己心意的，而他越是在自己面前表现出左右为难的模样，实则无异于向自己表明了，他并不愿放自己北上并州的态度。
“无须清河公做难，呆会儿见了晋王所差之人，谢讽自会当面谢绝晋王好意，留在清河公身边的。”谢讽心中主意已定，无论从哪个方面来说，自己都不宜在此时舍下杨素而另赴高就，故而语气十分坚定地答复杨素道。
正是有了杨素和谢讽二人之间的事先互示心意，才使得安若溪和萧萧二人一见到杨素和谢讽，待萧萧向杨素说明杨广欲请谢讽北上的来意，谢讽就率先给了萧萧一记闭门羹：“谢讽当年为奸人威逼，犯下大错，自愧无颜重返王爷身边当差，烦请姑娘代为向晋王殿下致歉，宽恕谢讽无法遵命北上吧。”
杨素趁机也说道：“不瞒姑娘，姑娘来前，老夫也劝了他多时，无奈谢讽始终觉得当年有负王爷恩情，担心自己若回到王爷身边当差，一旦被皇上、娘娘得知了此事，会给王爷引来不必要的麻烦，所以才直言相拒的。还望姑娘回到并州后，多替谢讽在王爷面前担待些，莫要王爷因此记恨了谢讽才是。”
萧萧满怀期望而来，不料才和谢讽见了面儿，话没说上两句，就被兜头泼了盆凉水下来：谢讽自已所说愧对杨广的那些话也还罢了，偏偏杨素提到的谢讽返回杨广身边当差，这件事若被皇帝、皇后知道了，说不准会旧事重提，给谢讽带来牢狱之灾，倒不能不使她有所顾忌，难以对答。