开春以来，太原一直干旱少雨，到五月初仍然滴雨未下。李渊应城中百姓之请，沐浴斋戒后，打算于五月十五日在晋祠祈雨。
王威和高君雅觉得这是天赐良机：可借李渊在晋祠祈雨时，人群杂乱之际，伏兵杀掉他。但苦于无人可使，便召来晋阳乡长刘世龙，威胁利诱，命他在祈雨日，率乡兵埋伏祠中，趁机除掉李渊。
这刘世龙虽经常与王威、高君雅来往，但早在李渊初任留守时，就被裴寂举荐给李渊，成为心腹。刘世龙表面上应允，暗中将这一消息密告李渊。
李世民愤愤说道：“此二人名为副留守，实际上是皇上派来的耳目。欲举义旗，本应早早除掉这两个绊脚石，苦于时机不成熟。想不到他二人却自投罗网。父亲大人不必忧虑，孩儿自有妙策！只需晋阳府司马刘政会安排一番，便可成功。”
五月十四日夜，李世民率精锐之兵，埋伏于晋阳宫城之外。十五日早晨，李渊照常一并邀请王威、高君雅同坐议事。
正议论间，忽见刘文静引着刘政会立于厅堂之中，称有密状供留守阅看。李渊请王威接过密状察看，刘政会却不给王威，并且说：“密状中所告之事，与副留守大有干系。惟有留守大人才能察看。”
李渊假装惊诧道：“哪有这样的事情？”便接过供状察看，并读道：“王威、高君雅暗中勾结突厥人，图谋攻打太原。”看完便递给王、高。高君雅不等看完，便拂袖而起，高声骂道：“这只是造反的想趁机杀掉我而找的借口！”边说边拉着王威往外走，厅中卫兵便挡住二人去路。此时，李世民也已令伏兵将议事堂周围街区戒严。李渊命刘文静、刘弘基、长孙顺德将王威、高君雅拘禁起来，囚在狱中，在举兵时再杀之祭旗。
五月十七日，数万突厥骑兵突然入侵太原，先头部队从太原外郭北门袭入，一番扰掠，又从东门退出。李渊命裴寂等人部署兵马，严加防守；又命士兵，将城中各门大开。突厥骑兵掠至城门下，见各城门大开，城中悄无声息。不知城中到底有多少伏兵，便不敢贸然轻进，慌忙撤退。
城中军民见突厥骑兵果然入侵，又悄然撤退到城外，都以为确实是王威、高君雅暗中勾结来的，只因内应被抓才又退兵，于是都大骂王、高罪该万死，不杀不足以平民愤。
李渊便借机将王、高二人斩首示众，以安抚民众情绪，同时命部将王康达率千人出城交战。结果寡不敌众，全军覆没，王康达战死。消息传入城中，百姓惊恐不安，李渊忙叫世民商议退敌之策。
李世民用疑兵之计，令军士夜间潜出城外，白天大张旗帜，鼓声不绝，扮作援军，从远处向城池方向进军。突厥以为援兵到来，始终不敢轻举妄动，在城外逗留了两天，然后大掠一番撤兵。
此时，河东的李建成、李元吉接到父亲密令后，便赶紧收拾行装，护送家眷，准备向太原进发。不料当地守官已知李渊反情，四处搜捕李渊家属。情急之下，建成、元吉独撇下五弟智云，逃离河东。半路上，建成、元吉又遇到从关中抄小路赶来的妹夫柴绍，便一同赶往太原。几经风险，终于于五月三十日赶到太原。
李渊听说家眷已至，欣喜不已，忙召李建成详细询问。得知除夫人窦氏先已亡故，妾万氏以下均安全抵达太原，惟独不见万氏所生的五子智云，生死未卜，心又转忧。
众人都以“吉人自有天相”相安慰，李渊这才稍稍放心。又见女婿柴绍也一同前来，却不见女儿在内，便问柴绍原因。
柴绍答道：“我本寄寓京师，以观时变。后接世民兄密信，遂与令爱商议，一同赶赴太原。怎奈令爱称她要回户县，尚有重要安排，让我先行报信。我这才星夜兼程，赶到河东。路遇建成、元吉兄，故而偕行。令爱虽未明言，但定有脱身之计，岳父大人尽管放心！”
李渊素知女儿谋事谨密，胆略过人，便不再挂怀。惟独于智云放心不下，遂一面派人密赴河东，打探消息，一面安顿家眷休息。
李世民又进言道：“如今家眷已到，王威之徒已除，举兵之事不可再拖。迟则生变，请父亲大人决断！”李渊乃令三子及裴寂、文静等入堂，共商起兵事宜。
刘文静首先说道：“目前，我太原形势不容乐观。南部各州郡，虽奉皇上诏命而相抗，但各怀异心，不足为虑。所虑者，北方的刘武周和突厥，剽悍骁勇，出没无常，实为我南下逐鹿、号令天下的心腹之患。若与其兵戎相接，我进彼退，旷日持久，而先机尽失；若任由其扰掠，则我后方不稳，进退失据。为今之计，两害相权取其轻，莫若与突厥结盟，借他兵势，然后举兵南下。”
李渊沉吟道：“突厥乃是异族，我若与之结盟，岂非失民心、辱国体？”
世民接口道：“大丈夫能伸能屈，昔日汉高祖亦有和亲故事。况且这只是权宜之计。”
李渊这才放心，提笔给突厥始毕可汗草就一封亲笔信，言辞极为谦卑，并诱以厚利。信中写道：
突厥与我汉人，实为兄弟。如今我欲大举义兵，扫除逆贼，远迎皇上，欲再次与突厥和亲，如敝国开皇年间惯例。可汗若肯发兵，助我南下，希望善待我百姓；若只和亲，坐受金帛，亦听凭可汗抉择。
写完，即遣密使，火速送往突厥。
正要议论他事，忽见派往河东的使者入室禀报，称智云被河东守官捕获后，送往京城长安，被留守阴世师所杀。
李渊大哭道：“三子元霸不幸早夭，年仅十六岁，权且罢了。我五儿智云尚在少年，不足十四，有何罪过，却遭此奸贼毒手！如今尚未出师，即丧亲人，实在是我害了我儿性命啊！”说完，大哭不已。
世民等劝道：“父亲且须节哀，人死不能复生！我等须立即起兵，擒此奸贼，为五弟报仇才是。李渊这才稍稍宽怀。
却说始毕可汗接到李渊亲笔信后，对众大臣说道：“隋朝皇上的为人，我是早就领教过的。如果我发兵助唐公李渊，把隋主迎到长安，他肯定会杀掉唐公，然后再出兵攻打我。这种蚀本的事，万万做不得。但假如唐公自己做天子，我一定不避盛暑，发兵相助南下。”说完，就让大臣按照此意回信。
李渊使者往返只用了七天，便带回了始毕可汗的信函。
文武将领得知突厥的意向后，纷纷高兴相贺，请求李渊依从始毕可汗的话，自立为天子。
李渊坚辞道：“扫除逆贼而兴举义兵，我依从大家的意见。但要我自立为天子，此等悖逆之事，我断难从命！”
裴寂、刘文静一齐劝道：“眼前的形势，如弦上之箭，开弓即无退路。然而，虽然义兵已经募齐，但战马实在匮乏，兵马相差，悬殊太大。突厥兵虽然不是我们所必需，但突厥的战马却正是我们最不能缺少的。如果按唐公您的意思回绝，恐怕将先机失尽，后悔无穷。”
李渊稍稍让步道：“诸位从长计议，可退而求其次。”
裴寂见一时难以说动李渊马上称帝，便退一步说道：“既如此，可一方面暂且尊当今皇上为太上皇，拥立代王侑为帝，以稳定隋朝宗室；另一方面，传檄天下郡县，改易旗帜，变隋红色为绛白色相杂，向突厥明白表示革新之意，不是为了隋朝，免得再生反复。”
李渊半推半就地说道：“这可真叫‘掩耳盗铃’！然而事态已经发展到这个地步，也不得不如此了。就请诸位按此议行事，并火速回复始毕可汗。”
李渊传檄郡县的符令发出后，太原以南的西河郡不听檄命，以兵相抗。
六月五日，李渊令建成、世民率兵攻打西河，命太原令温大有与之同行，参谋军事。并嘱咐温大有说：“我儿年少，阅历战阵不多，所以请你参谋军事。兴兵举义，大业成败与否，就靠此次出征来决定。望足下用心辅佐！”
当时，士兵刚刚募集，未经训练，建成、世民一边行军，一边训练，和士兵同甘共苦，遇敌临战，身先士卒；严明军纪，行军途中，遇到瓜果蔬菜，一律出资购买，禁止士兵擅自摘取。士兵如果偷窃了瓜果，便令找到其主人按价赔偿，完了后也不追究行窃士兵的责任。因此，士兵和百姓都非常感激。
义军所到之处，将士英勇赴死，百姓夹道欢迎，所向披靡。很快就攻到西河城下，将孤城团团包围起来。城外百姓有想进城的，世民等不加禁止，任其进入。
西河郡丞高德儒闭城固守，拒不投降。李建成率部围城，李世民带兵从正门强攻。守城军士和百姓风闻义军的德行，便无心抵抗。
六月十日，世民令敢死队冒险登城，很快就拿下城门。世民率先驰入城中，抓住高德儒，斥责道：“你身为父母官，为邀功请赏，假造祥瑞，指野鸟为凤凰，劳民伤财，欺上罔下，捞取高官厚禄。我如今大兴义兵，就是为了诛灭你这等奸佞之徒！”遂即斩首示众。除此之外，再未滥杀一人，秋毫无犯。
接着，建成、世民发布号令，命军士回营驻扎，扰民者立斩。投诚官员，继续留任，百姓各复旧业。远近城池，听到义军的善举，无不欢欣鼓舞。
六月十四日，建成、世民安排好西河的防务后，率部返回太原，往返只用了九天。
李渊得到捷报后，拍案大喜道：“像这样行军打仗，定能横行天下，扫清六合。”最终下了西入关中、夺取天下的决心。
西河大捷后，义军声势益盛，前来投军者不断。李渊决定开仓赈济贫民，同时又招募一批壮丁入伍。李渊命将新兵分为左、右各三军，统称为义士。
裴寂等上表尊奉李渊，号为大将军。李渊设大将军府，开府置官：任命裴寂为大将军长史，刘文静为大将军府司马，唐俭和温大雅为记室，大雅之弟大有掌机密，武士彟为铠曹，刘政会、崔善为、张道源为户曹，姜蹇为司功参军，殷开山为府掾，长孙顺德、刘弘基、窦琮及王长谐、姜宝谊、阳屯为左右统军。其余文武各属，量才任用。
立长子建成为世子，封建成为陇西公，兼左领军大都督，左三军受其节制；封次子李世民为敦煌公，兼右领军大都督，右三军受其节制，均可辟制官属。柴绍为右领军府长史，刘瞻领西河郡守。
长史裴寂封存晋阳宫府库，将宫内积粟九百万斛、杂彩布帛五万匹、铠甲头盔四十万副，一齐移送大将军府；宫内张、尹二妃入侍将军，其余宫女五百余名，尽遣至军府内服役。所有将佐僚属，各司其职，只待突厥援兵到来，即可择日誓师，举兵南下。
始毕可汗接到李渊的回书后，派其柱国康鞘利等护送良马千匹，南下谒见李渊，请求设互市，进行交易，并答应发兵护送李渊西入关中，需要多少兵马，由李渊决定。
六月二十日，李渊召见康鞘利等突厥使者，接受了始毕的信函，礼节极其恭敬，设盛宴款待康鞘利，向他馈赠了非常贵重和丰厚的礼物，以结其心。在千匹马中，选择一半买下。其余请康鞘利带回。
军中义士不解，以为李渊缺钱，便向李渊请求，让他们用自己的钱买下剩余的一半，送到军中。
李渊解释道：“感谢众义士的好意。突厥盛产良马，而贪财好利。他们如果将马来卖，就会源源不断，恐怕那时咱们想买多少都买不完。我之所以只买一半，就是为了向他们表明我很穷，并且也不急需战马。众义士的战马，就算我先赊欠着。诸位不必破费自己的积蓄！”
六月二十六日，康鞘利要回国复命，李渊命刘文静出使突厥，请求援兵。
临行前，李渊私下嘱咐刘文静说：“突厥骑兵进入中原地区，历来都是国家和百姓的大患。我之所以想请他们南下相助，主要是担心刘武周和他们勾结起来，扰乱北部边境，使我后方不稳。另外，突厥战马边行边牧，不需专门准备粮草，比较省事。我佯借他们兵马，以壮声势，这也是不得已的办法。所以，马匹可以多些，突厥兵几百人就足够了。希望司马此行马到成功。”
刘文静告辞后，便和康鞘利同行北上。
就在突厥使者刚刚离开时，又有好消息传到大将军府。灵寿贼首郗士陵，率部下数千人前来投靠。李渊大喜，拜郗士陵为镇东将军，封燕郡公，置镇东府，允许郗士陵补充僚属，并招抚太行山东各郡县。
时值初秋，金风送爽。
七月四日，李渊任命元吉为太原太守，留守晋阳宫，全权处理太原军政事务。
七月五日，李渊率精兵三万在辕门誓师，正式宣布兴起义兵，拥立代王侑为皇上，传檄郡县。大军从太原浩浩荡荡出发，终于正式踏上举兵反隋、逐鹿天下之路。
同日，突厥人阿史那大奈，率众投奔李渊。
七月六日，李渊派通议大夫张伦，率兵攻取散居在汾水、离石一带的稽胡部落。
七月八日，李渊率军至河西郡，慰劳军吏百姓，赈济穷困孤寡之人。下令：百姓凡年满七十以上，都任命为无职事的散官，可享俸禄；其余堪用俊杰之士，一律量才授任。
这一天，李渊亲自接见才智之士，一面口里询问才干，一面手中授任官职，一日即授任一千余人。被授官者，无需委任状，各持李渊所写的官职名称而去。
大军离开西河后，艰难跋涉在险要之地雀鼠谷。
七月十四日，大军行至雀鼠谷南部的贾胡堡，离霍邑县城五十余里。前锋哨探前来禀报，代王侑派虎牙郎将宋老生，率精兵二万拒守霍邑；派左武侯、大将军屈突通驻守河东，作为阻挡李渊的第二道防线。恰逢第一场秋雨降临，李渊命大军屯驻贾胡堡，做好攻取霍邑的准备。前方哨马再探宋老生军情，随时禀报。
七月十七日，突厥使者又至，带来刘文静的消息。原来，刘文静见了始毕可汗后，好言利诱，说动始毕出兵，并且订下条约：“义军攻入长安后，民众土地归唐公李渊，金玉绢帛归始毕可汗。”始毕可汗非常高兴，派其大臣级失特勒，于十七日先到李渊中军帐，告知定约喜讯，并申明援军及刘文静已在南下的路上。李渊得知这一喜讯后，情绪更加高涨，犒赏三军，约定天晴后合力攻下霍邑。
至此，从李渊心怀异端到正式举兵反隋，碰到隋朝的第一支生力军为止，中间经过了多次反复。
从三月到七月，一方面是李渊宽仁、沉厚的性格因素，另一方面也说明李渊的沉稳、持重和老谋深算。只有到了天下皆反的大势明朗化，人心归唐，同盟结成，内部不稳定因素消除等天时、地利、人和的胜算在握时，才下了最后的决心。
这期间，李渊是由儿子和部下推着走上反隋之路的。而二公子李世民，在首倡义举的决策中，具有决定性的影响。他是李渊起兵时智囊团中关键的一员。因为此时长子建成、三子元吉并不在李渊身边，这也就自然决定了他在未来军事决策和战术运用中的地位，实际上就成了李渊军事决策的参与者和主要执行者。
李建成赴太原后，长子的天然优势抵消了一部分李世民的影响力。但同时，兄弟二人的矛盾从起兵之日起，已经潜藏，它将随着每一次胜利的获得而逐渐明朗化。
初秋的这场雨，没想到竟转成连绵的阴雨。贾胡堡一带，地势险峻，沟壑不断，随时都有可能爆发山洪。这使得义军进退不得，临时驻扎竟变成了短期驻防。
大军随行所备粮草并不能足月，原本打算攻下霍邑，就地补给粮草。但贾胡堡地险人稀，无从筹措；道路泥泞，从别处运输又十分艰难。李渊只好派府佐沈叔安率领老弱兵卒，回太原去押运一个月的粮草，大军则原地休整。
七月十七日，张纶攻克离石，杀掉太守杨子崇，解除了来自离石的对大军侧翼的威胁。捷报传入大将军府，李渊那因天气而久蹙的眉头多少有些舒展。
这一日，传令官禀报，使者带回李密信函。原来，早在三五月份定议举兵时，世民等建议李渊修书李密与之结盟，共图反隋大业。未料李密自恃兵多粮足，想做盟主，让幕僚、记室祖君彦给李渊回信说：
与兄派流虽异，根系本国，自惟虚薄，为四海英雄共推盟主。所想左担右挈，戮力同心，执子婴于咸阳，殪商辛于牧野，岂不盛哉！
并且想让李渊率精兵数千，亲自到瓦岗，与其面结盟约。
李渊看过信，鄙夷地笑道：“李密狂妄自大，不是一两封书信，就能令他动心的。然而，我军正打算西取关中，如果马上回绝他，又是平白间增添一个劲敌。不如顺水推舟，以谦卑的言辞和态度推奖拥戴他，使其志满意骄，忘乎所以，好好给我们据守在成皋这一战略要地上，牵制隋军主力。我军才可专心西征，夺取京城。等关中平定，再依险养兵，看他与隋朝鹬蚌相争，我好坐收渔人之利。”
李世民等都以为有理，便让温大雅代为回信道：
吾虽庸劣，幸承余绪。出为八使，入典门屯。颠而不扶，通贤所责。所以大会义兵，和亲北狄。共匡天下，志在尊隋。天生烝民，必有司牧。当今为牧，非子而谁！老夫年逾知命，愿不及此。欣戴大弟，攀鳞附冀。惟弟早膺图谶，以宁兆民！宗盟之长，属籍见容。复封于唐，斯荣足矣。殪商辛于牧野，所不忍言；执子婴于咸阳，未也闻命。汾晋左右，尚须安辑；盟津之会，未暇卜期。
并派专使，亲送李密军营。
李密看过李渊的回信，非常高兴，遍示将佐说：“连德高望重的唐公都推奖我，天下大定，为期不远。”自此，便专心攻取东都洛阳，无暇西顾；和李渊书信往来也很频繁，随时通报军事形势。
使者向李渊详细禀报了李密的心思和动向，一切不出所料，裴寂、世民等都一齐道喜，李渊的情绪也日益好转。
然而，秋雨连下十多日，仍然不止。军中粮食日见匮乏，兵士人心不稳，回太原运粮的部队还未到来。刘文静未返回，突厥援兵不见踪影。从后方传来谣言，称突厥与刘武周勾结起来，准备乘虚袭取太原。情急之下，李渊召集众幕僚和将领商量北返太原。
长史裴寂进言道：“西南方的劲敌宋老生、屈突通连兵拒险，首尾呼应，仓促之间，难以攻下；东南方瓦岗寨口称结盟，而居心叵测；北方的突厥，贪得无厌，言而无信，惟利是图；刘武周就是突厥的走狗。太原作为一方的大都会，又是我军的根据地，而且义军家属全在那里。如今义军三面受险，不如返回太原，先守护根本，再图进举。”
李世民逐条反驳道：“如今正值秋熟，禾稼遍野，还用担心缺乏粮草？宋老生其人为将，轻躁少谋，只须一战，便可生擒。李密只知攻取粮仓，鼠目寸光，哪有长远计划！刘武周表面依附突厥，而实质互相猜忌，并无信任。刘武周就算想从南边的太原谋到好处，岂能忘记自己一旦离开老巢马邑，马邑就会落入突厥之口。我等兴举义兵的本意，为的就是奋不顾身，以救苍生，解民倒悬。当务之急，是首先攻取长安，拔了隋的旗帜，以号令天下！
“眼下刚碰到一点气候带来的困难，还未和宋老生那股小敌遭遇上，便突然间北撤，我担心赴义的将士们，会在顷刻之间解体。回守太原一城之地，只能是为贼人守城，何能自全？”
李建成也认为世民说得有理，力劝李渊且勿北返。然而，裴寂所称义军家属尽在太原的话，打动了李渊。李渊最关心的，就是家眷安危，因而坚持不从世民之论，下令大军即日出发北返。
李世民听到大军已经北返的消息，再次入大将军府劝谏李渊。
正赶上傍晚时分，李渊已经就寝，不见任何人。世民眼看着难以见到父亲，便在府门外放声大哭。哭声传入李渊寝帐中，将其惊醒。李渊连忙召李世民进帐，询问因何号哭。
世民沉痛地说：“如今大军以起义的名义而发，前进攻战，就能克敌；退回拒守，则会星散。将士散逃于前，敌兵乘势追击于后，我等死亡之日，就在眼前。为儿怎能不悲！”
李渊一听军心将散，敌兵必追，顿时大悟，焦急地对世民说道：“可是如今大军已经朝北返回，这如何是好？”
世民胸有成竹地说：“为儿所掌的右军，依然严阵以待，未有一兵一卒北返。兄长所辖左军虽已上路，但我估计向北走不了多远，请让为儿亲自去追回。”
李渊这才展开笑颜道：“我们李家的成败，都系在你身上。那就由你去追吧！”
李世民这才连夜与李建成分道追上左路军，令他们返回原地。
七月二十八日，沈叔安也从太原押运粮草赶到，解了大军之急。
天公有意作美，淅淅沥沥的阴雨终于停止了。八月一日，晴空万里，又是艳阳高照。次日，李渊命大军曝晒铠甲器械及行装。
八月三日清晨，李渊令全军饱餐一顿后，从贾胡堡东南方向，沿山脚小路，插向霍邑城。不到一个时辰，已于霍邑城下约十里处扎营。李渊担心宋老生高挂免战牌坚守不出。李世民说：“宋老生有勇无谋，我们如以轻骑引诱，他没有不出战的道理。如果他坚守不出，我令军士混入城中，散布谣言，说他坚守城池为的是与我里应外合，献出城池。他担心监军向长安上奏，又怎敢不出战！”
李渊说：“你判断很有道理，宋老生没有在我军困在贾胡堡时北上攻击我们，我就知道他没有大的作为。”说完，便与世民等率数百骑兵，先到霍邑城东门数里外等待步兵。
李世民、李建成各率十几名随从骑兵，来到东城门外，见城上守军高挂吊桥，张弓搭箭，严守城门。
李世民举鞭指着城上守军，说道：“义军在此，已将这座孤城团团包围。尔等若开城受降，可免一死。如若不然，待我攻破城池，活捉宋老生，将其剖腹取心，为我健儿作佐酒料。”同时，又令随行骑兵，肆意谩骂宋老生。
守军将佐连忙禀告宋老生。不一会儿，只见吊桥慢慢放下，须臾间，从城中冲出一员大将，提刀飞马，追赶李世民等。身后旗号上，写着“宋”字。两万步骑兵，络绎相随。同时，从南门杀出一万余人马，与东门老生主力遥相呼应，向李渊大军合围，包抄过去。
李渊见宋老生兵分两路出城，命殷开山速去召来后军。后军很快到来，李渊令大军饱餐后，迎战隋军。
李世民说：“敌军匆匆出战，还未立住阵脚。我军正可一鼓作气，攻其不备。大好战机，不可丧失。”
李渊觉得有理，李世民便向全军将士朗声说道：“老生鼠辈，终于出城了！健儿们，立功的时机到了！生擒宋老生，灭此朝食！”
攻击令一发，李渊、李建成率左军列阵于城东门外，李世民、柴绍率右军列阵于城南。宋老生纵马直冲李渊阵脚。李渊猝不及防，阵脚大乱。李建成惊慌之际，跌下马来。宋老生乘势掩杀，李渊、李建成左军兵败退却，眼看战局对义军不利。
正在此危急关头，李世民派柴绍从斜刺里杀向宋老生军阵腰部，隋军攻击李渊的势力才稍减，但很快又将柴绍包围了起来。李世民看城东乱做一团，“柴”字旗号被围在垓心，便与军头段志玄从南原率兵驰下，从后背攻击宋老生的战阵。李世民手挥双刀，一马当先，连杀数十名隋军骑兵小校。双刀杀得刀刃全缺，敌兵的鲜血浸湿了双袖。李世民甩掉袖上鲜血，换刀再战。
宋老生见后军乱作一团，连忙撇下李渊和柴绍，回救后军。正在此时，李世民大呼一声：“隋军将士，宋老生已被生擒，尔等还不赶快投降！”李渊左军一听此言，兵势大振。隋兵一听主将被擒，一时没了主张，纷纷曳枪倒戈，逃向城中。
李世民挥军，截住宋老生厮杀。
宋老生无心恋战，急忙向城中退却。不料李渊率兵已先杀到城门口，城中守军连忙拉起吊桥。苦了宋老生这一支孤军，被李世民和李渊堵在中间，进退无路。宋老生慌忙之间，溜下马来，跳下护城河，被刘弘基逮个正着，挥刀将其砍为两段。没来得及逃入城中的隋军，不降即死，死尸绵延数里。李渊命大军打扫完战场后，吃饭休整，一面准备攻城。
黄昏时分，李渊命大军强行攻城。当时没有攻城的矢石，便令敢死队登上城楼，与敌兵展开肉搏战。经过一番殊死争夺，义军终于打开城门。大军一拥而入，城内军民稍事抵抗后，举城而降。
八月四日，李渊大宴攻下霍邑的将士，论功行赏。
军吏们认为奴仆出身而立有战功者，所获奖赏，不该与良家子弟同列，并请示李渊。
李渊说：“战场杀敌，不分贵贱。论功之际，不能因此而有所差别，应该一律按照战功的大小，作为授勋的标准。”
奖赏完毕，李渊又接见霍邑城中有名望的长者和归顺义军的官吏，慰劳、赏赐的办法一如攻下西河郡的先例；选择霍邑子弟中勇健者从军；家在关中的归降军士，如愿归乡者，授予五品散官，发放路费，准其归乡。
有谋士向李渊进谏说，如此授官，太多太滥。
李渊说道：“隋朝皇上吝惜赏赐，有功不赏，这就是其失掉人心的缘故。我岂能再效法它！况且收降这么多人马，封他们以散官，不是更胜于用兵攻城掠地么？”
霍邑军民，闻此消息，皆大欢喜，无不踊跃投军。义军因此声势更壮。
霍邑之战，是李渊起兵以来，真正意义上第一次与隋军主力交锋。此役的胜利，对义军决策层意图的实施、义军士气的树立、战斗力的培育，都是一次严峻的考验。在这场具有决定意义的战斗中，李世民身先士卒，转败为胜，是决定战役的关键人物。
这一战役，也强化着李世民在李渊义军中军事战略决策人的地位。
点击收藏 小提示：按键盘CTRL+D也能收藏哦！