經在楊堅心目中，自是曾經身為三路伐陳大軍元帥的晉王楊廣是撫綏江南的最佳人選。
然而，即連進獻剿撫並用之策的首輔高穎也不主張由楊廣領銜，撫綏江南。
雖然高穎口中聲稱的不贊成楊廣出鎮廣陵、撫綏江南的理由是突厥大有重新崛起之勢，在此當口，不宜徵調在應對突厥方面最有經驗的楊廣南下，改鎮江南，楊堅憑着他多年以來對高穎的了解，仍能領會出他之所以率先反對楊廣改鎮江南，其實還出於對朝中才因楊廣出鎮并州平息不久的易儲風波的深切憂慮。
要知道，江南不同於北境的突厥。突厥無論是向朝廷稱臣，還是重新稱霸於漠北草原，都屬於外政，而自南陳被伐滅後，江南就劃入了隋朝的疆域，楊廣手握天下兵權，且又是統軍伐陳的三軍統帥，倘若命他撫綏江南，日後一旦其有與太子楊勇爭位之心，且事竟不成的話，那麼他佔據江南、割據一方，就是可以想見得到的事了。
指派楊廣既有可能帶來後患，接下來浮現於楊堅腦海中的幾個皇子：楊俊、楊秀、楊諒，也隨即被他自己給否掉了。
秦王楊俊不宜撫綏江南的理由和楊廣多多少少有些類似，且他尚受到家事困擾，難以專心撫綏江南，為朝廷效命。
蜀王楊秀在數年前激起西南羌人叛亂過程中暴露出的殘暴本性，使得楊堅至今仍記憶猶新。如派他去江南，不用說撫綏江南，收攏人心了，他不激起江南新的叛亂就算不錯了。
漢王楊諒年歲雖小，卻天資聰慧，不在楊廣之下，且才從并州卸任回到長安，指派他改鎮江南是最合適不過的了。可是，楊諒最令人放心不下的就是他的年歲和經驗不足，如若派他去撫綏江南，須得替他再派去一位朝中重臣充當顧問，這又是一件令人撓頭的事。
楊堅思來想去，下意識地將目光轉移到了太子楊勇身上，心中暗想：倘若見地伐不曾擅自擴充東宮六率，以他一向保守、持重的性格，派他撫綏江南，倒是再合適不過的人選了。可是，他已然犯下過一次大錯，如派他去撫綏江南，一旦再犯下過錯，只怕是自己不想易儲都難了。
“聖上，臣以為當今朝中，唯有晉王能擔當撫綏江南之重任，即請聖上下詔召回晉王，命他再鎮江南。”楊堅的思緒被陡然響起的一個聲音打斷了，他循聲望去，見說話的是尚書右僕射蘇威。
楊堅知道，同自己在伐陳前夕頒下一道聯姻詔書，將當朝首輔高穎強行和太子楊勇捆到了一起相比，在朝中目前的幾位宰相之中，蘇威恐怕是最希望看到楊廣取代楊勇，成為新太子的人了，眼下兩位尚書僕射各執一辭，互不相讓，在指派楊廣前往撫綏江南這一問題上產生了分歧，使得楊堅心中猶豫不決之際，轉而徵求起已擇定為清剿江南叛亂的門下納言楊素的意見來了。
楊素對近來朝中產生的易儲之爭心知肚明，本不欲當著高穎、蘇威的面兒向皇帝進言，發表帶有傾向性的意見，但由於之前他曾辦砸了向皇帝進獻美女，私辟外室這件事，自認為得罪了皇后獨孤伽羅，連帶着對受獨孤伽羅委派前去購下明澤坊那所宅院的楊廣也心存畏懼，生怕獨孤伽羅、楊廣，以及自己的夫人鄭祁耶幾個人會聯起手來對付自己，所以當他瞧出皇帝心意未決，將目光定格在自己身上時，基於討好楊廣的考慮，抱拳向楊堅建言道：“臣以為，突厥實為癬疥之疾，而江南才是心腹大患。臣知陛下素有四分天下歸一統的宏願大志，欲使四分天下真正歸為一統，撫綏江南尤其重要，且相較臣統軍清剿江南叛亂要難上許多，唯有選派最為適宜之人選擔此重任，方可收天下歸為一統之功效。伏惟陛下聖躬獨斷。”
楊堅見楊素雖未明說，言語中已透露出贊同由楊廣撫綏江南的意思來，遂呵呵笑道：“處道的意思朕已聽懂了。如朕採納爾等建言，從并州徵調阿縱南下，你須知此番你不再受他節制，你主剿，他主撫，彼此互不統屬，你可知道了？”
“臣定不負陛下所託，早日平定江南叛亂，為陛下歸化江南、實現天下一統效命。”楊素凜然答道。
就這樣，楊廣在離京再次出鎮并州僅有短短半年之後，被當作“救火隊長”再次派往了廣陵，改任揚州總管，撫綏江南。
為有助於楊素統軍從速平定江南叛亂，為楊廣撫綏江南創造有利條件，楊堅特命，將史萬歲、李徹兩員大將調至楊素麾下就任行軍總管，隨楊素一道前往江南平叛。
同時，由於江南平叛的需要，楊堅在楊廣奉調南下後，改派侄兒廣平王楊雄出鎮并州，由長孫晟輔佐，對突厥暫行安撫之策，以俟江南平定後再集中精力防止突厥勢力的重新坐大。
楊廣因考慮到此次南下與前次統領大軍伐滅南陳不同，重在收攏人心，於是便在從并州奉調南下廣陵赴任之際，特地上書楊堅，請求攜王妃蕭厄一同前往撫綏江南，以求利用蕭氏在江南的影響力，相助自己收攏江南人心。同時，派人帶信回長安，傳命自己幕府中的兩位智囊——張衡和裴蘊護送蕭厄至廣陵與自己相會。
裴蘊得信後，未經楊廣允准，也不同張衡商量，便擅自做主，連逼帶勸地強拉着心意師太、司馬珞、連同居於明澤坊宅院中的紅拂女馮小惜一道，隨自己和蕭厄一行離開長安，趕赴了廣陵。
待到對馮小惜懷有一片痴心，朝思暮想着要娶她為妻的劉居士發現一夜之間，馮小惜連同居住於同一所宅院中的心意和司馬珞兩人都不見了，向明澤坊的里正和街坊打聽馮小惜的去處時，有好事人遂對他詐稱馮小惜是返回故鄉投親去了。劉居士信以為真，回家稟告了父母，帶上些金銀珠寶，離開長安，一路北上追尋起馮小惜的下落來了。