在群雄并立的大地上，赤眉军也是一支强大的农民武装力量，严重威胁着刘秀新建的东汉王朝。
赤眉军是一支朴实的农民武装，在推翻更始皇帝的斗争中做出了巨大的贡献。但由于缺乏领导，纪律性差，攻入长安后，又烧又抢，令老百姓纷纷逃散。
号称百万之众的赤眉大军，在长安城中得不到军饷，开始向秦岭终南山一带转移。
赤眉军在行军途中遇到大雪，冻死、饿死了许多士兵，因此，只好又退回长安。
汉光武帝派大将邓禹乘机攻击赤眉，结果遭到赤眉军的伏击。邓军大败，死伤3000多人，邓禹只带了20多名骑兵逃了回来。
汉光武帝分析了一下赤眉军的情况，了解到赤眉军打仗个个英勇，但由于兵马太多，粮食缺乏，他们不会久居长安，因此，只有采取以逸待劳、以饱待饥，步步围堵、不断分化的方法。于是他派冯异率兵前去执行这一任务。临行前，汉光武帝送给冯异一辆马车，一口宝剑，嘱咐他说：“长安一带遭兵灾，老百姓穷困到了极点。此次出征，如长安敌军肯降，你只要把他们的头子送到京城来就行了，士兵可以让他们回家种地、养蚕，绝不要杀害。再多带些粮食，到时一定能用得上。”
果然不出汉光武帝所料，长安城已到了饿死人的地步，一斤黄金只能换五升豆子。赤眉军只好东撤，到了渑池，同冯异军队相遇。冯异用计，把自己的一部分军队也伪装成赤眉军，扰乱赤眉军阵营，结果赤眉军大败，有8万多人因饥饿投降了汉军，还有十几万冲出了重围。逃出来的赤眉军怀着悲怆的心情，扶老携幼，继续向东行进。光武帝刘秀这次亲自带兵堵截，在宜阳与赤眉军相遇。赤眉军见汉军壁垒森严，军威雄壮，他们又饥又饿，无心作战，只好派刘氏宗室刘恭代表赤眉军，向刘秀乞降。刘秀接受赤眉军投降后，立即命令宜阳的县令，把全县的厨师集中起来，给十几万赤眉军做菜、做饭，让他们饱餐一顿。饥饿疲乏到 极点的赤眉军，受到这样的待遇，对光武帝感激不尽。第二天，刘秀在汉水边布阵，让赤眉军将领观看，并对赤眉军降将樊崇等人说：“你们投降了，后悔不后悔？如果后悔，朕可以让你们回营，重新集合军队，再行决战，朕绝不强求你们投降。”樊崇吓得头也不敢抬，徐宣则连连叩头，说：“归顺皇上，早有此心，今日如愿，如同婴儿见了慈母一样，只有喜欢，没有后悔的。”光武帝听后哈哈大笑。
刘秀击败主要对手之后，目标又开始转向东边的刘永。刘永原来被更始皇帝刘玄立为梁王，后来自称皇帝，以睢阳作为京城，占据着青州、徐州一带28个城，封山东的张步、苏北的董宪、庐江的李宪等人为大将军。
刘秀于公元26年夏，命盖延率军征讨。经过整整一年的残酷战争，刘永大败，后被手下将领所杀。
北方的渔阳太守彭宠，原系刘秀部下，后反叛，自立为燕王。占据着蓟城、右北平的上谷等县，北边联络匈奴，南边联络张步，势力范围不断扩大。汉光武帝决定亲自征讨，后经劝说，方派朱祜、耿龛等率兵北进，于公元29年平息了彭宠的叛乱，北方局势安定下来。
接着，张步、董宪、李宪、匈奴立的皇帝卢芳等大大小小的“土皇帝”们也相继被灭，国内大部分地区开始稳定。
但是，还有三大势力，这就是蜀中皇帝公孙述、五郡大将军窦融、西州大将军隗嚣。他们势力强大，有同光武帝平分天下之势。光武帝决定采取逐个击破，分而治之的策略，铲除这三大势力。
公孙述占据着益州（今四川、贵州、云南等），资源丰富，地势险恶；加上公孙述经营多年，势力比其他两个都大；而且，公孙述在蜀中已自称皇帝。为了孤立公孙述，光武帝决定拉拢窦融、隗嚣。他先派人去联络隗嚣，可隗嚣打算自己做皇帝，隗嚣不仅没有听从刘秀的劝说，而且还派人去联络窦融，劝窦融自立为王，他们同公孙述联合起来，建成三个国家，共同对付洛阳的皇帝刘秀。刘秀得知后，立即派人给窦融送了一封信，信中说：“将军日前的地位举足轻重，有人主张分割天下，像战国时期那样，各自为王，要知道，中国的土地即使可以分的话，中国的老百姓也是不能分的。将军如果能从大局出发，上为国家出力，下为百姓着想，我将非常感激！”刘秀的语言情真意切，使窦融和他手下的将士都认为光武帝英明。不久，窦融率部投降，刘秀随即派兵征伐隗嚣。隗嚣大败，于 公元31年春病饿而死。汉军乘机收复了陇右（今甘肃六盘山以西）地区。刘秀收复陇右地区以后，集中优势兵力，全力以赴进攻蜀中皇帝公孙述。刘秀亲自带兵征讨，大将军岑彭指挥军队，连连击败公孙述的军队，夺下不少城池，公孙述很快处于孤立无援的境地。刘秀又命广平侯吴汉进攻成都，结果公孙述惨败，受重伤而死。其手下将领见汉军来势凶猛，便纷纷投降。这样，蜀中皇帝的全部势力被扫除干净。
刘秀从28岁起兵，到灭掉蜀中皇帝那一年，已经43岁了。15年极为艰苦又残酷的戎马征战，芟夷群雄，扫平大大小小的“土皇帝”，终于结束了豪强割据的局面，使中国又一次走向了统一。
柔术治国中兴汉朝
刘秀虽然出身于皇族，但由于他长期生活在平民中间，使他深深体会到人民的疾苦。他分析从秦始皇以来中国的****原因，懂得要想把国家治理好，要用柔顺、缓静的统治手段，以便稳定社会秩序，巩固汉室统治。他说：“吾理天下，亦欲以柔道行之。”后又说：“柔能制刚，弱能制强，柔者德也，刚者贼也，弱者仁之助也，强者怨之归也。……苟非其时，不如息人。”在“柔弱胜刚强”的思想指导下，他废掉王莽时代的苛而繁的律令，学习刘邦的做法，宽简天下，即所谓“解王莽之繁密，还汉世之轻法”，并由此制定出一系列的政策和措施，为东汉的繁荣奠定了基础。
东汉初年，在大规模的战争结束之后，刘秀开始建立一套能加强中央集权的领导班子，“退功臣而进文吏”就是其中一条重要手段。
刘秀通过多年浴血奋战才取得政权，在他的手下，有一大批立过不少战功的将领。这些人擅长打仗，但并不懂得如何治理国家，不少人还往往自恃功高，不听命令，不遵法纪，为所欲为，如果继续受到重用，他们身居高位，对东汉政权是一大威胁。因此，刘秀决定采取稳妥方式，一方面给他们加官晋爵，另一方面剥夺他们的实际权力。为了达到目的，刘秀开始大封功臣，他让郎中冯勤专管此事。冯勤精明能干，他规定按照功臣功劳的大小，决定其封地大小、远近和土质肥瘠，并且制定了一个周密的方案。刘秀根据这个方案，一次就封了360多人为列侯，给予他们崇高的地位。这些列侯的食封数量，最大的有四个县，小的只有数百户，比西汉时少得多。除了大将李通、邓禹、贾复三人参与议论军国大事之外，其他大多数列侯成为闲员。经过削权封侯，汉光武帝有效地控制了这些将领的军事力量。
封完功臣之后，刘秀又特地下了一道诏书说：希望大家“在上不骄，高而不危；制节谨度，满而不溢。敬之戒之！传尔子孙，长为汉藩”。就是说，希望大家不要恃宠而骄，对自己要求要严谨，节制自己的行为，这样就不会有什么危险，并能把爵位传给子孙。光武帝就这样连哄带吓地威慑众臣。
退功臣的同时重用大批文吏。光武帝认为文吏们熟悉封建典章制度，懂得治理国家且情操高尚。建武六年、七年，刘秀连续两次下诏，命令各地官吏推举贤良，到京城参加选官考试。实行“征辟”制度，即下诏特“征”用某人为官，公卿和各地郡守也可自行“辟”用他人做幕僚。在诏书中，刘秀严格规定了选官的条件：第一，品德高尚，身世清白；第二，要有知识，是通经的博士；第三，熟悉各种法令，能熟练地依法办事；第四，具有魄力才干，遇事不惑，能独当一面。
各地官吏在选择人才时，必须严格按照这四条标准，如有违者，必将依法治罪。
光武帝为了得到一批有高度文化修养的文吏，多次亲自访求名贤。在刘秀的同学中，有一位叫严光的人，此人很有才学。刘秀做皇帝后，他隐姓埋名，隐居山林。光武帝非常希望能和这位才德高尚的同学共谋国事，于是他叫人画了严光的画像，到严光的家乡去寻找，找到之后，刘秀立即将他接到京城。不料严光不愿做官，刘秀几次光顾他的住所，有时谈得晚了，俩人就睡在一张床上。据说，严光睡觉不老实，还曾把两只脚放在刘秀的肚子上，刘秀也任他如此，并不挪开。
还有一个南阳宛城人卓茂，是当时着名的儒生，精通《诗》、《书》、《历法》等，待人宽厚，深受众人敬仰。刘秀即帝位不久，就派人访求这位大名鼎鼎的名士，并且任命七十多岁的卓茂作为太傅，封褒德侯。几年之后，卓茂老死，光武帝驾车素服，亲自送葬。光武帝礼贤下士，求贤若渴，确实网罗了一大批品行端正、廉洁奉公的有用人才。如陈留人董宣，为官清正，执法严明，不畏权贵。有一次，刘秀的姐姐湖阳公主刘黄的家奴仗势杀人，董宣带领士兵，当着湖阳公主的面将这个家奴打死。湖阳公主气得浑身发抖，向刘秀哭诉。刘秀要杀董宣，董宣说：
“陛下圣德，中兴汉朝，而现在竟纵容亲属家奴杀害平民百姓，如此何以治天下？
臣不需鞭杀，请让我自杀！”说着把头向柱子撞去。光武帝被刚正不阿的董宣感动，于是不再治其罪。但为了给姐姐一个下台的面子，刘秀让人扶董宣给湖阳公主叩头谢罪。董宣硬是不从，刘秀命人按董宣的头，董宣两手按地，就是不肯俯首。刘秀非常感动，任命他为“强项令”，赐钱30万。
为了加强中央集权，光武帝在政治制度上采取了“虽置三公，事归台阁”的统治措施。
光武帝采取了西汉时加强尚书台权力的措施。东汉初年，中央的最高官职是三公，即司徒、司空和太尉。司徒是由丞相改称的，管民政，权力比丞相小得多；司空是由御史大夫改称的，不再管监察，而是管重大水土工程；太尉管军事。三公职位虽高，却徒有虚名，并无实权。刘秀为了把权力集中到自己手中，设置了尚书台机构，并加强尚书的职权，扩大机构，增设官吏。尚书台设尚书令一人，尚书仆射一人，尚书六人，合称“八座”。他们直接听命于皇帝，分掌全国政事。
尚书的官位不高，尚书令每年的俸禄只有一千石，副职尚书仆射和六名尚书，每年的俸禄也只有六百石，他们的地位和待遇远不能同每年俸禄为万石的三公相比，但实际权力远在三公之上。尚书台是最重要的行政决策机构。
光武帝除了通过尚书台独揽大权外，还在宫廷内设置中常侍、黄门侍郎、小黄门、中黄门等宦官职务，由他们负责传达皇帝的旨令和诏书，阅览尚书进呈的文书。光武帝认为这些宦官们地位更低，他们不可能取得倾国大权，就更保证了他的集权统治。
