就在太平军撤出象州县境，往东南折向紫荆山的第二天，当朝首辅赛尚阿率一班大员，到达省城桂林。这个皇室显赫人物，地位虽高，却是个中看不中用的绣花马桶。他受命之后，日夜忧惧，离京时竟当着同僚的面大哭了一场。离京后又故意在路上磨磨蹭蹭，希望周天爵能代他剿灭发匪。可是，发匪越剿越多，周天爵因此革职，赛尚阿在严诏下，不得已进驻桂林。
朝廷第二号人物亲临广西，带来大量人力物力，凡朝内出名优秀人才，尽由他挑选。除了都统巴清德，副都统达洪阿，总兵长瑞。长寿等满族大员外，并随带火器营营总乌兰都及京兵两百，亲随四十，一路浩浩荡荡，招摇过市，好不热闹。
途中又请调四川川北镇总兵刘长清率部入桂助剿，再请调年轻新秀湖南新宁县举人江忠源，随往军营听候调遣。咸丰帝有求必应，一概旨准。
两广总督徐广缙为表示对当朝宰相的敬重，特意从广东海关税款中支出白银一百万两，献给赛尚阿以作备用。真是要人有人，要物有物。
朝廷方面以绝对优势紧太平军。赛尚阿一面命令向荣紧随其后；一面让乌兰泰疾走近路，赶到桂平县境，堵住太平军东南道路，来一个迎面拦截。
此时，在广西南部，广东拜上帝会首领凌十八率众几千人，试图与洪秀全会合，受到清总兵李能臣。王锦绣的阻拦，围玉林县城数月而不克。凌十八弹尽粮绝，遂撤围玉林，退回广东。会合计划彻底失败。
清总兵李能臣。王锦绣率几千人尾追凌十八部至粤桂交界处，看看凌十八已退回广东，前面已属广东巡抚叶名琛管辖地带。他俩遂回头西去，配合向荣围攻太平军于紫荆山一带。
太平军按原定计划控制了整个紫荆山区。洪秀全。杨秀清遂设首脑机关于山区中心点茶地。冯云山率后军且战且退，阻挡追兵。石达开率左军笔直南下，抢占了西面高地双髻山。这两支部队在紫荆山西北面与向荣楚军作战。而前军主将萧朝贵。右军主将韦昌辉则利用地利人和，迅速挥师东下，很快收复金田。新圩。
太平军先锋部队，呈一字形向东南推进。萧朝贵率部驻金田。上古林。王谟一线；韦昌辉所部则占领新圩。界岭。蔡村一带。
韦昌辉此次身为先锋，一路势如破竹，几天时间便杀回老家，他似乎发觉了自己的军事才能，欣喜地单独接见两个弟弟道：“两位老弟，放开胆量干吧！这世道能耍刀枪，才可走南闯北。想几年前，阿爸被那些狗官敲诈勒索，押到这新圩团局，我家被不过，硬是交了几百两银子。他，现在谁敢碰咱们一根毫毛。在新圩，咱们曾白白送了几百两银子，现在要加倍追回来。志先，昨天你率先头部队打进新圩团局，缴获了多少财物？”
韦志先道：“金条六根，白银一千七百两，铜钱无数。这些，弟弟可以作证。”
韦志俊笑笑道：“二哥说得对，搜东西时我在场。”
韦昌辉道：“好！一半上交圣库，一半自己留下。他，咱们提着脑袋玩命，不就是为了这些吗？志俊，分出一半金银交阿爸保管。”
韦志俊欢欢喜喜分金银去了。
韦昌辉对韦志先道：“怎么样？这买卖行么？”
韦志先似乎懂得了其中利弊：“哥，这买卖做得。提着脑袋做生意，本大利大。”
韦昌辉说得更深一层：“老弟，好好干，练出真本事，往后时来运转，岂止是金钱而已？朱洪武倒霉时，讨米要饭当和尚，可投奔郭子兴红巾军后，不出十年便得了天下。你我几兄弟年纪尚轻，好好干吧！前途无量。”
韦志先已横下一条心：“为韦家天下，兄弟我豁出去了。”
兄弟俩正谈得火热，突然有快马来报，言乌兰泰仍在行军途中，东南面无清军主力，桂平县城兵力空虚。
韦昌辉不禁大喜，好不得意道：“上帝天父保佑，赐给我如此良机。我韦家建奇功就在今日也！想那桂平县城乃区区几个兵丁，何能阻我大军。机不可失，志先，你速率先头部队立即夺取桂平县城。要让后人记住，太平军所取第一座县城，是由我韦家所得。”
韦志先也兴奋不已，即刻点起人马，向桂平县城出兵。
韦家兄弟未免高兴过早。桂平县新任知县李****，年富力强，精明强干，远远胜过前任知县王烈。他得知太平军从象州突围，折回紫荆山，以迅猛之势向南而来。李****不敢怠慢，为保住桂平县城昼夜不眠。他组织了所有地方武装，把团练乡勇集结到县城以北，黔江以南，凭借天然屏障，死守桂平县城。
在布防阵地上，李****指着滔滔黔江，对乡勇头目韦有声道：“韦勇士请看，这滔滔江水足可以抵千军万马。发匪远道爬山而来，必定不习水战。我们只要在几个渡口设下埋伏，巧妙作战，我兵虽少也能以一当十。只要坚守几日，乌都统与按察使将会派来救兵也！”
李****说一口河南话，韦有声这个土生土长的广西人也还是听得懂。他憋着生硬的平语道：“李知县智勇双全，大敌当前，镇定自若。今日想出如此妙计，桂平县城必定能守。”
李****向韦有声拱手施一礼，道：“此次保卫桂平县城，还需依仗您的大智大勇。在这方圆百里，谁不知你武艺高强，打擂比赛你从未输过，更兼带兵有方，对付乱民也每战必胜。人家都叫你韦铁牛呢！”
牛本倔强好斗，又加了个铁字，更显示出他壮实勇猛的形象。韦有声对这个绰号是有些喜爱的。每当人们叫他韦铁牛，他就引以为豪。现在由知县大人说出，他觉得有种知遇之感，心里欢喜，嘴上却谦虚道：“铁牛世代受朝廷恩惠，常以国家安危视为己任。铁牛者，是说我是朝廷一条牛也，驯驯服服效忠主人。今发匪到来，我就是要拿出牛脾气和他们打到底。”
一八五一年七月九日，韦志先率天兵先锋部队到达黔江北岸，对面桂平县城静悄悄。寂无声，仿佛是一座空城。
烈日当头，天兵们晒得浑身汗流，一个个唇干舌焦。口渴难忍，到了江边便争先恐后地跑上去饮水。
韦昌辉有一个族兄名叫韦志宗，也在前锋部队里，他走近韦志先道：“志先，对面桂平县城，好像是一座空城。”
韦志先道：“真是这样夺城便容易了。老兄，你平日水性很好，能否带两个会水的，游过江去，先侦探一下？”
韦志宗正要到水中凉快凉快，说一声：“遵命！”便带了两个战士向南岸游去。游了一袋烟功夫，三个人登上了对岸。咦！水中多凉快，一上岸那石块被太阳烤得发烫，脚踏上去疼痛难忍。三个人急急忙忙跑向一排树荫去。突然，韦志宗的嘴被一只大手捂住，另两个同伴即刻被斩。
韦铁牛紧紧捂住韦志宗的嘴，将他拖到堤后，那里埋伏了许多团练乡勇。
李****走过来面露笑颜，对韦铁牛道：“韦勇士请松手。要待之以礼嘛！他对我们有很大用处。”
韦志宗被眼前的情景吓呆了：伙伴陡然人头落地，堤后面埋伏着这么多敌人，简直太出人意料之外了。
李****皮笑肉不笑地对韦志宗道：“算你命大，三人还剩你一个。不过，看你想死还是想活。如若反抗，也叫你身首异处，死在刀下。若想活嘛！我们就交个朋友吧。”
韦志宗害怕死去，连声道：“想活。想活。”
李****很干脆：“作为朋友，我想请你帮个忙。别害怕，我只是让你走到江边，向北岸喊话，说桂平是一座空城，要他们放心过来。”
韦志宗吞吞吐吐：“这。这……”
李****突然变脸道：“你这就不够朋友了，看来只得让你去死。来人啊！把他杀了，抛尸江中，浪打沙埋。”
一个团丁手握大刀走过来，故意把刀架在韦志宗脖子上，慢慢拖动刀把。锋利的刀口在韦志宗的脖子上划开一道血印。
韦志宗实在受不了这心理上的压力和皮肉上的痛苦。他满怀求生欲望，道：“我喊。我喊！你们别杀了我。”
李****脸色又和蔼起来：“这就对了，够朋友。只要你照我的话去喊，我保证你的生命安全。只等你的弟兄们游到江心，我就放你回去。绝对放心，我李****还要在桂平县做父母官，说话不算话，怎么能取信于民呢？不过，你要是耍花招，将会被剁成肉泥。”
李****接着选出两个团丁，道：“你二位装扮成他的同伴，随他到江边喊话。如有不测，你二位立即拧下他脑袋。”
“是！”两个团丁答应了一声。
韦志宗的汗水大把大把地滴下，他昏头昏脑什么花招也耍不好了。两个团丁装扮成他伙伴的赤膊模样，一左一右地将韦志宗送到江边。
“弟兄们，桂平是一座空城，你们放心过来吧！”韦志宗口不由心地向北岸喊道。
