隋朝末年義兵蜂起，公元617年隋軍中最強大的將軍之一唐公也起兵響應。唐公的軍隊進逼隋都，摧毀了它的防御，并奪取了京城。六個月以后，他在那里建立了后來幾乎延續三個世紀的新王朝，它與漢代并稱為中華帝國的兩個黃金時代。由于隋代在差不多30年前已經結束了中國分裂割據的局面，所以當李淵接著在全國建立穩固的中央政權的時候，他幸運地繼承了隋王朝這一份大家業。李淵新王朝的制度便是在前朝遺留下來的堅實基礎之上建立起來的。
和中國歷史上成功地建立了自己王朝的大多數叛亂領袖一樣，李淵也不是一個平民，而是一個出身顯赫世家的貴族。他的先世可以確切無疑地上溯到他的祖父，即作為八柱國之一的李虎：八柱國是曾在6世紀50年代襄贊宇文泰建立北周國家時的主要將領。李氏家族在那個時候聚居在武川鎮，它是北魏的拓跋國家在長城塞內（今大同附近）的一個防戍據點，也是宇文泰的老家。李虎的祖先目前史學界尚未完全弄清。唐皇室自稱，李虎祖父是李熙，他的父親是李天賜，這兩個人都是北魏（386—585年）的著名軍事將領，因此李虎的家是出自西北著名的隴西李氏，即出自在5世紀初年統治過甘肅西部的西涼小王國的王族（西涼在420年被匈奴消滅）。西涼的創建者李昞原是漢代抗拒匈奴的名將李廣的后裔，也是當地著名的氏族之長，李廣的子孫在敦煌郡世代為郡守。西涼覆滅以后，它的末代國王之子李重耳逃往南部中國，后來就在拓跋氏北魏供職，當了刺史。李熙據說就是李重耳之子。
唐皇室自訂的家譜意在表明他們是出自漢代的名門，同時還是西北的望族。可是我們在某種程度上可以說，唐代史書作為確切事實所提供的這個世系，其實只是一個精心的編造。據認為，李氏家族同西涼王室毫無關系，也同隴西望族李氏毫無關系，它不過是中國東部家族的一個小支派，即河北趙郡李氏：這個支派定居在拓跋氏北魏治下的西北，與非漢族的部落貴族實行廣泛的聯姻。據認為，從李虎先祖中的兩個人——李初古拔和李買得——的名字可以看出，這兩個人要不就是襲用了漢族的李氏姓，要不就是被賜姓李，而他們的名則依然故我，也許是鮮卑族的。可是不管它的最初淵源何在，李氏家族在6世紀下半葉卻是極重要的一個貴族。在宇文泰創建北周的其他贊助者中，還有突厥望族成員獨孤信和隋文帝的父親楊忠：他們的家族間有著聯姻的關系。獨孤信有幾個女兒。大女兒嫁給了宇文泰之子，即北周的第一個皇帝明帝（557—561年在位）。他的七女兒嫁給了楊忠的兒子楊堅，即后來的隋文帝（581—604年在位）。他的四女兒嫁給了李虎的兒子李昞，這對夫妻在566年生下了李淵。
李氏家族還是最高品級的世襲貴族。李虎在北周之初的558年被封為唐公。他的兒子李昞承襲了爵位，后者在572年死后這爵位又傳給了六歲童子李淵。
隋王朝執掌政柄以后，李淵備受隋文帝的恩寵，而他與文獻皇后的近親關系又使他能官居高位。李淵于581年開始作文帝的侍衛——千牛備身，后來陸續做過畿輔地區或中國西北戰略要地的刺史或郡守。在煬帝時期，他仍然做著許多重要的郡的郡守。后來被召還京師，委以殿內少監和其他朝廷要職。
613年，李淵43歲的時候任衛尉少卿，負責京師的兵器和兵器庫，并且在煬帝的第二次遠征高麗時承擔監管向東北前線（今遼寧省）運送軍需之責。
也就在那一年稍晚些時候，即在三年零星不斷的騷亂和劫掠之后，不滿于政府的楊玄感（文帝的主要顧問楊素之子）起兵于河南北部之黎陽，從而爆發了反隋的第一次大叛亂。楊玄感本人好文，喜歡結納文學賓客之士。他也和李淵一樣，是隋帝國的社會精英人物，并且與皇室是遠親。他官至禮部尚書，而且在遠征高麗之初就受命在隋軍的主要供應基地黎陽督運軍需。楊玄感盡管出身于有特權的貴族門第，卻也沿襲了他父親同文帝及煬帝之間的猜忌和惡感，而且他也像當時和后世的人那樣深信，楊素是煬帝在606年授意毒死的。在討伐吐谷渾的那一次失敗的戰役中，他就曾被人勸阻不要參加609年的叛亂。這時他認為他身處群情鼎沸之地，而這種不滿情緒是611年黃河大水災的后果，也是609年征發民工修筑北段運河（永濟渠）引起的百姓的痛苦和煬帝遠征高麗之役從災區征調了大量農民的行動造成的。早在613年初期，今山東省黎陽之東就已連續爆發了農民暴動。楊玄感利用了人民對高麗之役的普遍反對和對煬帝本人的廣泛不滿，糾集叛軍向東都洛陽進發，并將它圍困起來。
隋煬帝被迫放棄對高麗的征討而集中兵力平叛，叛軍被優勢官軍迅速平服。楊玄感被俘虜并被殺害，他的家屬和隨從也無情地被殺戮殆盡。這次叛亂只延續了不足兩個月。
可是就在那一年，叛亂仍是此伏彼起，頻頻發生。不少于8起武裝起義的消息從各個不同地區傳來。李淵從東北被調往陜西治軍，以保衛通往京師的要道。在西北，一個名叫白榆妄的叛亂者引起了甘肅的騷亂，從而破壞了隋朝騎兵所仰賴的國家的馬匹放牧場地；另外，在613年和614年叛亂也在鄰近京師西面的扶風郡發生。這些小叛亂都很快被撲滅，但它們的殘余分子仍逍遙法外，而且隨著政權和秩序的進一步瓦解又爆發了許許多多或小或大的紛亂和叛亂（見地圖3）。
615年和616年李淵又接受了另一軍事要職，這一次是在河東（今山西省北部），他平定了當地許多股匪，而且勝利地抗拒了突厥人對邊境的侵犯。為了酬賞勛勞，煬帝于617年初提升李淵為太原留守（李淵自615年以來一直屯駐太原）。他的指揮部即設在晉陽。
這時，煬帝自己南下去他的行都——江都，他對北方大部分地區已失去有效的軍政控制。李淵的新任命不過是在事實上確認他在今天的山西省境內已經行使的軍事權力罷了。奪取政權的經過
在李淵接受新任命于晉陽的時候，由于隋煬帝的靡費無度，濫征徭役，以及屢興討伐高麗之師和防御突厥人卷土重來所造成的大量傷亡，天災人禍交困，引起了廣大人民和許多隋朝官吏的強烈不滿。群盜蜂起，叛亂很快遍及全國（見地圖4）。當不斷加劇的叛亂警報頻頻傳到太原府的時候，李淵的朋友和軍事顧問們紛紛認為隋朝統治已危如累卵，都勸他趁機起事，創建新王朝。
李淵幾乎處于一次領導有成功把握的叛亂的理想地位。他的家世和人望都無可挑剔：他是一個與皇室攀親的貴族，而且在他51歲之年已侍奉過隋朝兩代皇帝而達到他漫長而順心的宦途的頂峰。他是中國北部產生一個個王朝統治者的那個社會精英集團中的一個成員。作為太原留守，他有強大的軍事和戰術上的優勢地位，因為他所控制的這個地區在中國歷史上被認為實際上是堅不可摧的，可以很方便地從這里對長安（隋大興城）和洛陽這些傳統的政治中心發動進攻。
李淵還能夠贏得廣大民眾的歡心，這是因為約在614年有圖讖預言李氏當興，繼起為王，而且這說法在民間已家喻戶曉。至少李密所領導的另一支反隋叛亂便是受了這一預言的影響。李淵也知道有此民謠，因為它已在晉陽人民中間傳開。由于姓李，李淵自然也受到隋帝的猜疑。615年一位術士警告皇帝說，有一李姓者不久當為天子，因此隋煬帝在全國大殺姓李的人；這樣的清洗包括他的最高級將領在內，例如有權勢而門族強盛的李渾及其一族的32人便都被清洗；其他遠親被放到邊地。李淵也一定知道他在隋朝的位勢已岌岌可危，也知道隋王朝既然明顯地處于日薄西山的境地，他很有可能自建王朝，代之而興。
李淵那一代人對儒家的忠君思想中毒不深，儒家是禁止人們背叛前朝而改事新朝的。李淵和李淵的同時代人在思想上忠于社會秩序遠甚于忠于一家一姓的某一王朝。因此，在617年陰歷五月他動員了他太原府的軍隊，并開始向京師進發。
令人有點感到驚異的是，李淵在太原起事中的作用的程度和性質，只是到最近時期才有新發現。按照新、舊《唐書》和司馬光《資治通鑒》的傳統說法，李淵是一個碌碌無能之輩，而且暮氣沉沉，胸無大志。相反的，他的次子李世民（617年時年17歲）倒被說成一位高超的軍事領袖：有魄力，有進取心，英明天縱。因此，后來成為唐代第二位皇帝（唐太宗）的李世民在這些記載中就成了創建唐王朝的大功臣。
按照正史的傳統說法，617年李淵被任命為太原府留守時，李世民就已開始與劉文靜共謀反叛大計（劉文靜時為晉陽令，但因涉及與反叛者李密聯姻而被隋煬帝下令囚系獄中）。李世民會劉文靜于獄中，想發起一個運動以統一有不滿情緒的人民，進而一舉掃蕩已處于垂死狀態的隋王朝。當李淵第一次聽到這種想法時未十分在意；他畢竟與隋的帝室有姻親關系，何況又是王朝的主要捍衛者。但是，李世民賂囑晉陽宮監裴寂把煬帝的晉陽宮女弄來陪侍李淵，而沒有告知她們的身份，以此迫使他父親表態。當李淵得知他卷入了這一罪當處死的行為時不得不同意了他兒子的計劃，勉強地起兵發動叛亂。傳統的敘述還強調指出，在后來奪取隋朝都城的戰斗中，李世民在導致唐朝勝利的軍事戰略和領導才能方面，功勞都高人一等。
歷史學家近年經過對正史中所記關于此事的材料重新加以研究后，得出了新的結論：有些重要情況可能是在唐太宗統治時期因太宗本人的堅持而編造出來的。根據其他材料，特別是根據從前被忽視的唐代初年的史料《大唐創業起居注》，歷史學家已經能夠對唐朝創立史的傳統說法中的某些偏見和歪曲之處做出訂正。《大唐創業起居注》的作者溫大雅是太原府人，是唐王朝建立的目擊者。他的翔實記述著重指出，正是李淵本人策劃了太原叛亂，也正是他的英明統率使唐軍在奪取隋都的戰斗中取得了勝利。溫大雅筆下的李淵不同于傳統史書上的李淵；溫大雅的李淵是一位勇敢的領袖、剛烈的對手和足智多謀的戰略家。根據《起居注》的說法，十幾歲的李世民不僅在叛亂事件中只起到次要作用，甚至他在王朝建立中的貢獻也并不多于他的長兄，即后來成為太子的李建成。溫大雅的《起居注》告訴我們，甚至在617年年中太原起事之前，李淵已開始圖謀不軌。另外，激起李淵雄心的事件也是一清二楚的。最早發生在616年的一件事是當時李淵受命剿捕太原地區的盜匪。太原這個地方在傳統上又與傳說中的圣君唐堯聯系在一起，因為傳說堯曾在一個名之為唐的地方住過。唐還是李淵作為國公的封地，雖然像諸如此類的爵位那樣，國公的爵位也無統治領土的實權。當唐公李淵接受新任命時，他認為他的爵銜與職務的巧合簡直是天降吉祥。
617年陰歷五月初，李淵傳諭給在山西南部供職的長子李建成和四子李元吉，叫他們就地再招募軍隊，同時命令次子李世民和劉文靜等人也在太原招兵買馬。他們在十天之內招募了幾乎一萬人，屯駐在晉陽的興國寺。
李淵一不做二不休，決定清洗他班子中的不穩定分子。當李淵被任命為太原府留守時，隋煬帝給他指派了兩個副手——王威和高君雅——來協助他，這無疑是為了監視他。李淵曾經利用他們暫時離開太原的時機而為自己征募了兵馬，但他認為他們會馬上對他的招兵買馬起疑而向隋帝報告。因此，他把建成和元吉召到太原來以后，在5月15日借口兩個副手潛引突厥人入寇太原地區而逮捕和殺害了他們。可是，在李淵能夠放心地發動戰斗以前，他必須對付東突厥人——這是在戈壁南北居住的一個極為強大的部落聯盟，此時橫行于中亞并控制著從遼寧到蒙古的長城以北的地區。在隋朝末年，東突厥是亞洲北部睥睨一切的勢力，自從613年以來，中國西北部出現的許多叛亂者都向突厥稱臣，以取得突厥人的支持。東突厥的始畢可汗則分別給這些叛亂者封以皇帝或可汗的稱號。他也給叛亂者供應士卒、武器和馬匹，希望從隋朝的覆亡中謀取利益。
很明顯，李淵在能率領叛軍前進以前，他必須先解除東突厥人及其盟友進攻他的后顧之憂。他因此寫信給始畢可汗，偽稱他之起兵意在恢復帝國的秩序，使能重建中國人和突厥人之間的友好關系。他說，這樣做會對各方面都有利。他與可汗達成了協議，即如果他贊助唐兵義舉，始畢可汗可取得全部為唐戰斗的戰利品。這個協定是由劉文靜出面談判的。
李淵力排眾顧問的意見，用了下對上行文的“啟”字，辭氣甚恭；這表示，他和其余某些叛亂一樣，可能已決定在名義上成為突厥人的藩屬。但是，當始畢可汗要求李淵拒絕效忠煬帝而應自己稱帝時，李淵卻予以謝絕。相反的，他告知可汗，他準備擁立煬帝之孫代王楊侑為帝（楊侑當時已在隋都）。不管李淵之向東突厥人稱臣是真是假，雙方確是建立了某種友好關系，因為在他離開太原的前夕，始畢可汗贈送了1000匹馬，后來又給了他幾百名士卒和另外數千匹馬。
一處理完東突厥人的問題，李淵就建立了他的軍事戰斗組織——大將軍府。他的成員絕大多數是太原附近隋朝的文武官員。李淵的大部分軍將在開始時都是因為這些官員的支持才得以征集并得到供應，因為他們原來都是隋朝鷹揚府的軍官，現在只不過把他們的士卒轉手交給李淵指揮。617年陰歷七月初，李淵和他的兩子世民與建成率軍3萬從太原出發，而命另一子元吉留守太原。他們的目標是隋大興城；此地是一個古都，并且是陜西南部關中地區的戰略要地。
唐兵遇到隋軍的強烈抵抗，并且在通向潼關要塞的汾河流域途中被夏季的大雨所阻，李淵下令他的軍隊暫停前進。李淵擔心的是，如果李密知道了他的計劃，他會阻止他向大興城進軍。他因此寫了一封卑辭和違心騙人的書信，說他是隋朝的忠義臣民，他之所以起兵只是為了重新建立秩序，并矢口否認他有比做唐國公更大的野心。與此同時，他還假勸李密自己努力取天下，他說：“天生蒸民，必有司牧；當今司牧，非子而誰！”李密被這封信吹捧得昏昏然，因此應允李淵向隋都進發而不加阻攔，但這個決定使李密后來為之追悔莫及。
617年約陰歷八月中旬大雨已停，唐兵在突厥可汗送來的2000馬匹和500軍士的援助下，迅速打破了隋軍在霍邑的抵抗，并繼續向南推進。
當李淵進入京畿地區的時候，又有由李淵之女李氏（柴紹之妻，后為平陽公主）和他從父弟李神通在京師周圍招募幾千名士兵前來投靠。他的女兒已經糾集了一支大軍，她用的辦法是在大興城附近散財，以收買從其他更加動亂的地區逃來的民眾的心，另一辦法是與京畿地區的群盜和叛亂者結盟。陰歷十月，聯合起來的唐軍號稱擁眾20余萬，在大興城外扎下了營寨。
圍困了首都以后，李淵精心部署了最后的攻擊。當最后攻擊約于五個星期以后發動之時，居民開始有挨餓之虞。617年陰歷十一月初九，李建成的部下雷永吉的部隊攻破城墻，奪取了城市。
次年初，李淵又對東都洛陽大舉進攻。