李牧出生在邯郸北部的柏仁，三岁时与父母跟随从内地迁徙守边的民众到了白马山村，整个村子的成年男丁组成的徭役队伍服从代郡太守的调遣，春季进入白马山砍伐粗大的树制作滚木；夏秋两季开采山石，规则的用于修葺城墙，带有很多尖角的不规则形状的经过加工制成礌石；成年女人则负责舂米磨面，制作干饼酱肉和马**，供应边军的军需；临近的村庄还有专门负责放牧、耕种、运输的等等。
年幼的李牧沉默寡言，从不调皮捣蛋，只是跟在父母亲后面帮着做事，因此很讨人喜欢。当有参军壮丁回家省亲时，他便缠着人家不放，非要人家教他功夫，讲军旅轶闻。邻居主人孟广与李牧一家同批迁徙到这里，孟广跟随赵国马商做贩马生意，常年奔波于匈奴、林胡、楼烦等胡人部族与赵国之间，只有他的妻子领着一个两岁的小姑娘孟灵在家，孟灵的妈妈既要服徭役，还要抚养幼小的孟灵，家里的很多重活都无能为力，李牧一家便经常帮她，时间久了，两家的感情非常好。李牧与孟灵很是合得来，相处时间久了便干脆叫她灵儿，他经常把学来的本事和见闻讲给灵儿听，灵儿也总是双手托腮扑闪着一双水汪汪的大眼睛盯着他，听得十分认真。灵儿的爸爸孟广不分寒暑地在外闯荡，视野十分开阔，性格非常爽朗，对李牧一家的帮助打心眼里感激，因此每次回来都会给李牧一家带很多外面的稀罕物品，也给两个娃娃带来很多古怪玩意，并拉着李牧的父亲喝得胡天黑地，给他讲胡人的风土民情，物产资源，军力装备。每当这时，李牧便坐在一旁痴迷的听着，孟广便打趣他：
“跟我出去做生意怎么样？你一定会成为一个出色的小商人！”
“我才不做商人！”李牧嗲声嗲气的很郑重的样子。
“为什么？”孟广饶有兴致的继续问。
“我要做将军，我要把胡人打跑！”李牧陡然站得笔直，小拳头在头上晃了晃。
“奥！为啥要打跑胡人？”孟广放下酒杯，接着问道。
“他们经常欺负我们，抢我们的东西，还杀人！我要把他们打得远远的，不敢再来这里。”李牧昂昂地说道。
“好！有大志向！”孟广陡然一拍桌子，兴奋地说道。
“少年当有鲲鹏之志！老哥啊，你的儿子将来一定会有出息！”孟广十分肯定地对李牧的爸爸言道。
然而，还没有等李牧长大，灾难便降临在这个平静的小家庭。李牧七岁那年秋季，父亲在修葺代郡至雁门关段的城墙时，恰逢匈奴大队骑兵秋掠边关，在边关守军仓促应战的混乱局面中，父亲不幸中箭身亡。在边地生活了近两年的李牧第一次亲身体会了丧亲之痛与对匈奴的切齿之恨，他发誓一定要让匈奴人血债血偿。从此以后李牧更加寡言少语，除了帮妈妈干活和偶尔与灵儿玩耍，闲暇时间便舞刀射箭。村里的年轻后生们被里长召集到一起练习马上步下功夫，以备迎战匈奴和参加边军，李牧也不顾娘的担心，跟着大伙一起练。
三四年过去，年少的李牧骑射本领和刀马功夫已经与村里的优秀成年后生不相上下，村里人都赞叹不已，称李牧为少年英杰。期间灵儿的妈妈也由于操劳过度，染病而逝，留下灵儿无人照顾，李牧便和娘说让灵儿到咱们家来吧，我们来照顾她，娘在征得孟广的同意后，便把灵儿接到自己家，当做闺女一般看待。由于灵儿的妈妈出生于小吏人家，在闺阁时家庭也还算得上书香门第，因此在妈妈的教育下，灵儿也特别知书达理，除了帮着李牧娘做活，与李牧在一起时还经常讨论一些大人们都听不懂的人文地理知识，而且灵儿还吹得一手好骨笛，低声宛转悠扬，也只有在这时，李牧才安安静静地坐在旁边，听得十分入神。
这一天傍晚，李牧像往常一样练习完骑射，回到家进屋一看，狭窄的厅堂里坐着一位陌生人。仔细打量，此人面色棱角分明，花白短髯修剪得整整齐齐，眉宇间沟壑纵横，虽然上了年纪，但是双目仍炯炯有神，坐姿挺拔，器宇轩昂。
此时，陌生老者也在打量李牧，就在李牧一进屋的一刹那，老者的眼睛抖得一亮，旋即消逝，转而细细观察起来。李牧的母亲一看儿子回来，赶忙向李牧介绍，说这是从燕国游历到此的士人，李牧也便不太在意，春秋战国时期士子游历并借宿打尖实属司空见惯，然而这位确实与众不同，李牧也便恭敬的拱手敬礼道：
“先生光临寒舍，蓬荜生辉！晚辈李牧有礼了！如有照顾不周，请您见谅！”语气甚是恭敬，一番说辞无懈可击，不卑不亢，透露着与年龄极不相符的成熟稳重。
老者面色微微一笑，竟然也站起身拱手还礼。灵儿也帮着忙里忙外地安排酒食，片刻宾主落座，老者话匣子便打开了：
“听闻令慈介绍，说你志在驱逐胡虏，不知你对赵胡之间这场旷日持久的战争有何看法？”
一顿寻常招待士子的酒饭，引出了一位惊世隐士，也开启了一代名将的未来命运之门。
