這下李淵沒話說了。他費盡苦心的隔絕太原與樓煩的聯繫，就是為了給楊霖那小子創造時機，使其一舉拿下晉陽。到那時候他就主動了，怎麼處理晉陽、怎麼收拾王威，甚至怎麼糊弄皇帝還不是他跟楊霖商量着辦，演場大戲的事？至於突厥犯境、王仁恭被圍關他李淵什麼事？這天下是姓楊的又不是姓李的，李淵早就過了當憤青的年紀，凡事沒有好處他才懶得理會，所謂北上抗突不過是拖住王威的一個說辭罷了。
可惜千里之堤毀於蟻穴，一條漏網的臭魚腥了李淵的一鍋湯。王威得知了楊霖造反的消息哪裡還坐得住？當場強硬的要求李淵立即與他一起回軍平叛，可是李淵堅決不肯答應，堅稱所謂叛軍不過蟊賊流寇借楊逆之名生事，還是突厥犯邊更重要，必須北上援助馬邑。兩人爭執不下，又不約而同的不願分道揚鑣、堅決要把對方拉入己方陣營。這一吵就吵了好幾天，不但李淵和王威吵，河東軍和右侯衛也在吵，而且差點動了手，直到晉陽那邊有更多的消息傳來，這才吵不下去了。
自從得知太原出了事，王威二話不說派出騎兵打通驛道，李淵手下的那幫假土匪只好退避三舍，於是很快就有最新的消息傳來：高君雅輕軍冒進中了埋伏，萬餘府兵全軍覆沒，高君雅這個蠢貨也兵敗被俘，晉陽成了空城一座，危在旦夕。
這回李淵沒話說了。他畢竟是太原留守，要是連晉陽老窩要丟了都無動於衷，還梗着脖子非得去跟突厥人較勁，這場戲就演不下去了，王威不跟他拚命才怪。於是大業九年十一月初七，太原正副留守李淵和王威統率四萬大軍回援晉陽，當全軍急行兩晝夜終於趕到晉陽城下，累得跟灰孫子似的趴在地上喘得有上氣沒下氣的時候，眼前的景象讓所有的人都面面相覷，全都傻了眼。
只見晉陽城頭仍然高掛着隋字大旗，零零散散的幾個慵懶的守兵也都穿着隋軍的土huáng色衣甲，城門也一如從前那般大敞四開，進出的百姓來來往往，一個個用奇怪的眼神瞅着這幫閑着沒事把自己跑成死狗的傻大兵，臉上沒有半點害怕和恐懼的神色。而在官道旁的一座草棚之下，一小隊人馬立在那裡恭敬的迎候着這支軍隊的主將到來，為首一人不管是李淵還是王威都很熟悉，也都很奇怪：這不是竇琮嗎？他怎麼跑到晉陽來了？
……
話說楊霖自從坑了高君雅、攆跑了竇琮之後，就再沒幹過正經事。本來他的兵就不多，戰兵只有一萬五千人，兩仗打下來戰損了千餘，竇琮帶走了三千人，盛彥師帶着一千多人在榆次改造俘虜，他就帶着剩下的不到一萬人滿太原郡的瞎溜達。
楊霖先是跑到了平城。平城在大業八年曾被河東巨匪甄翟兒攻破過，城牆到現在還到處都是窟窿，根本無法防守。當地的兩千多駐軍幾乎是抱着與城偕亡的決心背城結陣，準備跟來勢洶洶的叛軍拼個你死我活。誰想到或許是平城將士悲壯的氣勢震撼到了楊霖，他對着平城城下那個小小的步兵方陣發了一陣子呆，嘟囔了一句“都是一群死腦筋”，然後就領着目瞪口呆的部下退走了。
然後他又溜達到太谷。太谷本來駐有千把人的郡兵，不過高君雅傾巢而出救援榆次的時候，就近把太谷守軍都調到晉陽看老窩去了。太谷縣令實在沒辦法，破罐子破摔的把全城的男女老少都趕上了城頭，愛守成啥樣就守成啥樣他也不管了，一根繩子把自己吊在了縣衙大堂的樑柱上。結果楊霖帶人剛來到太谷城下就被嚇了一跳，城頭上邊密密匝匝的擠滿了老百姓，青壯男子們手裡拿着菜刀糞叉什麼的勉強還有個守城的樣子，那些婦孺們一手抱着孩子一手舉着磚頭瓦塊算個什麼意思？那些老漢老婆婆們顫顫巍巍的站都站不穩了，還把拐棍舉到腦袋上又是怎麼個情況？楊霖他們離着城牆還有百步之遙，那些戰戰兢兢的“守軍”們就把僅有的那點滾木礌石和灰瓶什麼的幾乎扔了精光，幾個年紀大的、曾遭過土匪禍禍的老人家，一看到這些漫山遍野、凶神惡煞的土匪蜂擁而來，情知守城無望，心灰意懶之下縱身跳了城，一時間竟然追隨者眾，太谷城下儘是人的**撞擊大地發出的恐怖悶響。
楊霖又是心酸又是懊惱，再一次的帶頭逃走。他的心情很是複雜，一方面為大隋子民尚未泯滅的武勇和血性而感慨萬分，另一方面也為自己這個反賊的身份和倒霉的運氣鬧心不已。這年頭反賊是一個很有前途的職業，在民間的名聲並不太壞，他親爹楊玄感就不用說了，就連張金稱、盧明月、格謙之類的泥腿子登高一呼，都能四面景從、八方來投，占塊地盤、招幾萬人給自己打工簡單得跟玩似的。可是輪到他倒好，老百姓寧可自殺，官兵寧可決死一戰也不投降，甚至連說句話的機會都不給他，搞得他除了榆次連塊根據地都找不到，都快沒有隔夜糧了。
這回他學精了，偃旗息鼓一晝夜奔襲七十餘里，連夜拿下了全無防備的清源縣城，然後派侯君集帶一千人化裝成隋軍模樣駐紮在城北二十里的龍山。龍山山口扼守着通往晉陽的官道，一側是絕壁難攀，一側是滔滔汾水，乃是兵家必爭之地。戰時只要少量兵力即可封鎖山口，隔絕晉陽以南的交通，堪稱一夫當關萬夫莫開。
楊霖也沒閑着，乾的全是跟突厥人一樣缺德的事：搶糧搶人。他一進城就去官倉轉了一圈，轉出來之後就下令他手下的那幫前土匪們重操舊業，去城裡城外所有的財主、富商家裡打劫！不是楊霖想劫富濟貧，更不是想鬧革命，而是全軍都快斷糧了，偏偏清源縣官倉乾淨得能餓死老鼠。要知道清源距離晉陽不足百里，向來都是晉陽的糧倉，晉陽裡邊有些身家的官紳幾乎都把自家的田莊放在了清源，怎麼可能沒有糧食？果不其然，李仲文和邱師利這幫前土匪輕車熟路的抄了一圈家下來，光金珠財寶就拉了十大車，銅錢更是堆了一百多車，不過這些東西楊霖可不稀罕。讓他高興的是，搜剿到的糧食足有七萬石，足夠他的兵吃一年了。
除了搶糧他還搶人，不過他可不是什麼人都搶的，只搶工匠和老農。只要是這兩樣人，統統蠻不講理的抓走送往磨坪山，唯一人道一點的地方就是可以帶走家屬親眷。房玄齡等人對楊霖的做法並不反對，但是認為光有工匠和農夫是不夠的，還應該多抓些讀書人。不過楊霖對這一建議嗤之以鼻，還特意囑咐李仲文，凡是說話帶“之乎者也”四個字的統統都攆走，絕不能讓這些敗類混入我們純潔的磨坪山，帶壞了山上的風氣。李仲文等武將聞言深有同感的連連點頭，倒把房玄齡氣了個半死……
兩天之後，李君羨帶着輔兵們趕着大車，押着搶來的千餘人口去往榆次，然後轉道回磨坪山。楊霖閑得無聊，不顧房杜等人的阻攔，帶着五千兵準備去蒿澤釣魚。
這一路走，房杜還不停的在他耳邊嘮叨，認為他就算不想趁虛佔領晉陽，也應該積極備戰。不管是北邊的王威還是南邊的宋老生早晚都是要打過來的，如果楊霖想打，最好的選擇就是強勢佔領晉陽，再與唐公裡應外合、見機行事。如果楊霖不想打，趁着磨坪山還沒暴露趕緊撒丫子往回跑也來得及，這滿太原的閑溜達算是怎麼回事？還釣魚，這大冬天的釣個屁的魚？過幾天不被人家弔旗杆子上都算他命大！
楊霖被他倆吵得頭大，乾脆向他倆交代了實情：他確實是不想打了，也不想回山，你們說該怎麼辦？
杜如晦脾氣比較暴躁，一聽這話立刻火往上撞：你想找死自己去，別帶着這幾萬人陪你一起去死！
“克明兄啊，這回是小弟第一回正兒八經的打仗，二位兄長呢？”
“我等年紀雖長，卻也是第一次親臨戰陣，不知統領為何有此一問？”
“沒啥。可能是因為小弟年少無知，以前一直覺得打仗就是那麼回事，無非是掄着刀子kǎnrén唄？這回親身走了這麼一遭，感覺很不好。都是一樣的漢人，長着一樣的面貌，說著一樣的話，都是娘生爹養好不容易活到這麼大，就因為身上穿着不一樣的衣服，就非得殺個你死我活，為啥呀？憑啥呀？我想不通，而且突然之間對打仗這件事非常的厭惡，一聞到戰場的味兒我就想吐。可是包括皇帝、唐公、王威、宋老生，甚至還包括你們又都逼着我不打不行，你說我該怎麼辦？我聽說有些人一鬧心了逛逛街買買東西心情就能好，我很窮，窮得連你們都快養不起了，只能窮逛。等哪天心情好了，再捏着鼻子給你們打仗去。”
“可是現在咱們的形勢很不利啊，哪有時間給統領消散心情？一旦南北合圍過來，咱們可怎麼辦啊？”
“怎麼辦？涼拌！老房老杜啊，你們想佔領晉陽、據城死守就是個餿主意。咱們的兵現在就是個樣子貨，打順風仗、佔便宜仗還湊合，一旦跟人家硬拼就得露餡。你們信不信，咱們只要被圍在晉陽城裡頭，用不了一個月這幫玩意就得潰散？所以我把大傢伙東一坨、西一堆的弄得到處都是，就是怕被人家逮着，而且人少了跑起路來也比較方便嘛。”
“說來說去你還是沒說怎麼辦啊？”
“因為我還沒想到辦法啊！所以我要去釣魚，說不定釣着釣着就有主意了。”
“……”
楊霖還在跟房杜胡謅八扯，有親兵來報，前邊有個車隊攔住去路。
“什麼情況？”
“啟稟統領，有一個當官的說他是祁縣縣令，特來……特來慰勞我軍！”