李克用原姓朱邪，少陀族人，其祖先是陇右金城（今甘肃兰州市西北）人。他的始祖是朱邪拔野，唐朝永徽（公元６５０——６５５年）年间担任过沙陀都督府都督。当时，沙陀族遭到吐蕃族侵袭。他的曾祖朱邪尽忠被打败后，带领本族人马迁居到甘州（今甘肃高台以东，弱水上游）一带。后来，朱邪尽忠与吐蕃族作战而死，李克用的祖父朱邪执宜招收本族余众，又东迁到灵州（今宁夏灵武西南）。唐德宗时，朱邪执宜担任过阴山府都督。后来又被提升为蔚州刺史、代州行营招抚使，定居在今雁北一带。其部落有一万多骑，骁勇善战，人们称为沙陀军。李克用的父亲朱邪赤心，担任过朔州刺史，唐朝咸通（公元８６０——８７４年）年间，因镇压庞勋有功，被唐朝提升为金吾上将军，赐姓李，改名国昌。后来，由于吐谷浑族的侵扰，李国昌率领沙陀族退守于神武川一带。

李克用是李国昌的第三个儿子，唐宣宗大中十年（公元８５６年）农历九月二十二日，他出生在神武川的新城（今应县西北黄花梁一带）。李克用从小习惯于戎马生活，“尤善骑射，能仰中双凫”（《新五代史》）。因为他瞎了一只眼，所以，人们给他起了个外号叫“独眼龙”。后来，唐朝任命他为云中防边督将，驻兵蔚州。

唐僖宗乾符五年（公元８７８年），由于朝政腐败，经济剥削加重，人民无法生活，各地农民纷纷起义，声势大，影响深，直接威胁到唐王朝的统治。当时，代北发生饥荒，云州（今大同）防御使段文楚乘机削减军粮、军衣，引起了军队的不满。段文楚的部下军校康君立、薛铁山、程怀信、王行审、李存璋等人在一起秘密计谋说：段文楚是个懦弱昏庸的人，难于共事。现今四方混乱，军队士气不振，正是我们出人头地的好时候。李国昌父子勇冠诸军，名声很大，如果我们合伙推举他当首领一起暴动。就眼前来讲，代北之地用不了十几天就可以占领，功名富贵指日可待。计议之后，康君立等几十人连夜从云州出发，去蔚州会见李克用，对李克用说：“方今天下大乱，天子付将臣以边事，岁偶饥荒，便削储给，我等边人，焉能守死！公家父子，素以威惠及五部，当共除虐帅，以谢边人，孰敢异者”（《旧五代史·康君立传》）。李克用早有野心，故意以试探的口气说：天子在，办事应当依据国家的典章律令，你们可不要轻举妄动。再说，我父亲远在振武（唐方镇名，治所在今内蒙古和林格尔西南土城子），即使起事，也得禀告父亲。康君立等人以为李克用不想起兵，着急地说：“现在事情已经泄露，迟了就会生变”。李克用见时机成熟，事情紧迫，于是，从蔚州起兵，哗变的军队有一万多人，赶到云州城外后，驻兵斗鸡台（在大同奚望山上）。云州城中听说李克用的军队哗变，并且来到城外时，城内军民立即杀死段文楚，迎接李克用入城。之后，众人罗列了段文楚的许多罪状，上报皇帝，要求让李克用担任大同军防御使留后。唐朝那能容忍这种叛逆行径，于是征集各路兵马讨伐李克用。

当时，黄巢领导的农民军进一步发展，震撼了唐朝的统治。为了集中力量对付起义军，唐朝迫于形势，改变了对李克用的态度，采取封官许愿的拉拢办法，任命李克用为大同军节度使。李克用父子抓紧时间，利用唐朝忙于镇压农民起义的时机，不断扩充势力，巩固自己的地盘。这一年冬季，李国昌出兵进攻党项族。这时，吐谷浑族赫连铎也想争夺地盘，乘李国昌出兵的机会，攻占了李国昌的老营振武，沙陀族全被吐谷浑族俘虏。李克用见事态突然发生变化，急忙到定边军（今陕西省西北部）迎接李国昌回云州。云州守将见李克用父子势孤力单，也关闭城门，不让进城。在这危急关头，李克用带领少数人马转战蔚州、朔州等地，得到三千多人马，屯兵新城，李国昌退保蔚州。赫连铎为了吞并沙陀族，又带兵把新城围住，并且指挥军队昼夜攻打，情况相当危急。