1934年10月，中央红军由于在“左”倾机会主义干扰下，未能取得第五次反“围剿”的胜利，红军完全陷于被动，革命根据地日益缩小，不得不退出江西中央苏区，进行二万五千里长征。
出发前，中央革命军事委员会决定组织一个直属军委的干部团随军行动。
干部团由红军大学、彭杨步兵学校、公略步兵学校和特科学校合并组成。由陈赓任团长，宋任穷任政治委员。下设4个营和1个上级干部队。第一、二营为步兵营，第三营为政治营，第四营为特科营，上级干部队队长为萧劲光，下设指挥科、政治科和地方工作科。
这个干部团是储存干部的队伍，绝大多数是富有战斗经验的年轻的连排干部，上干队还有一些久经沙场的高级干部。团里的武器装备也比较好，仅特科营就配有6门迫击炮、6挺重机枪及相当数量的轻机枪和步枪，在当时是很不同凡响的。
自然，它也是一支特殊的部队。在“左”倾机会主义统治下，陈赓本人还在受着审查；那些遭受“残酷斗争、无情打击”而受处分的干部，也都被当成包袱甩在了这里。在蒋介石发动第五次“围剿”时，首先进攻黎川地区，“左”倾机会主义领导人命令时任闽赣军区司令员的萧劲光死守黎川县城，“御敌于国门之外”。当时只拥有一个70多人的教导队和少数游击队的萧劲光，在众寡悬殊的情况下与敌周旋，直至后路几乎被敌人完全切断时，撤出城外，避免了无谓的牺牲。因此，却以“不战而弃黎川”等罪名，被公审、判刑，来到了上级干部队。
据宋时轮将军回忆，自己曾讲了一句玩笑话，即被捕、开除党籍，送到干部团。
郭化若因说了“托洛斯基原是苏联红军的总司令”这句话，怀疑他是“托派”，被开除了党籍，来到干部团。
此外，中共中央还把一些年老的人送到干部团，进行照顾和保护。董必武、徐特立二人到了干部团，毛泽东对陈赓、宋任穷说：“你们一定要保护好，出了问题，唯你们是问。”[宋任穷：《忆红军长征中的干部团》，摘自《红军长征·回忆史料》，解放军出版社1990年版。]此外，还送来了一批文化人成仿吾、冯雪峰等。
按照军委命令，干部团被编为由总司令部及其直属队组成的第一野战纵队之第四梯队，在纵队司令员叶剑英的统一指挥下，从九堡镇出发，参加长征。
在长征的日日夜夜里，干部团的主要任务是做警卫工作，保证中共中央的安全，必要时也配合主力部队作战。尽管当时环境异常艰苦，战斗任务重，学习条件很差，但陈赓的干部团始终保持了学校的性质，结合作战、行军、宿营、警戒、侦察等实际情况，坚持抓紧间隙时间，进行教育、训练。可以说，干部团既是一支战斗队，又是一所真正的培训红军干部的学校。
长征开始时，中共中央后勤部队非常庞大，携带了大批行李、辎重，包括修械所、印刷厂、医疗设备与器械和不能用的大炮等，“坛坛罐罐”很多，活像大搬家。这些都是由干部团等部队负责警卫、掩护。在数十万敌人围追堵截下，这种大搬家式的行军，不仅使干部团，而且几乎使所有战斗部队都成了掩护队，处处被动挨打，疲惫、饥饿的部队要不间断地与敌人战斗周旋。从福建、江西出发，经广东、湖南，突破了敌人四道封锁线，于1934年冬渡过湘江。短短几个月，红军就折损过半。湘江没有桥，是陈赓带领韦国清的特科营去架的，为此，他在湘江边上忙了三天三夜，直到架好桥，过完了红军，才松了口气睡着了。这时谁都叫不醒他。
进军落到如此惨状，“左”倾机会主义者一筹莫展，把希望寄托在到湘鄂西与贺龙、任弼时的第二、六军团会合上。这个意图又为蒋介石所察觉，调集了十几万大军在湘西布防，红军如果仍然不改初衷，坚持去湘西，无异自投罗网。在此危急关头，毛泽东力主放弃与二、六军团会合的意图，改向敌人力量薄弱的贵州省前进，争取主动，打几个胜仗，使部队取得休整的机会。他的主张得到大多数人赞同，部队才有了转机，把十几万敌人甩在了湘西，顺利地攻占了贵州省东部的许多县城，于1934年底到达乌江南岸。
乌江是贵州省第一大江。两岸悬崖峭壁，高山望不见顶；水深流急，宛如一条咆哮的巨龙，确实是个名不虚传的天险。渡口上只有两条小木船，无法渡过红军的几万人马。当时敌情又特别紧急，军委除派红一军团的两个团实施抢渡、偷渡外，决定由干部团架设浮桥。
1935年元旦这天，陈赓带着干部团特科营的工兵连来到江边。发现比湘江的情况还严重。虽然当时是枯水季节，经测量，江宽仍有200米，水深为15米，流速为每秒2米，当时在外国军队架桥史上也还没有在这样流速的水上架桥的先例。在这种情况下，红军应该怎么架桥呢？
在对岸敌人的射击下，陈赓站在江边和工兵连的干部研究架桥办法，同时把全连200多学员划分为器材供应、编制竹排、架设、投锚、救护等作业小组分头行动。决定用三层叠起的木排做桥脚，每对桥脚中间拴上两根木料，木料上连接三四个桥桁，桥桁上铺门板，门板上又系横木，组成一节节门桥。然后工兵们冒着敌人炮火和江水的严寒，把门桥送进江里。但是江底尽是长期被激流冲刷得光秃秃的石头，门桥一节节地放进水中，立即被狂涛冲跑……多次架桥都失败了。
陈赓召开诸葛亮会议，发动全连动脑筋想办法：怎么样才能把放进水中的东西固定住呢？于是有人提出，用大石头做锚把门桥拖住。陈赓立即在现场进行试验，还是不行。大石头虽然有重量，但表面光滑，不好固定，门桥仍然稳不住。据宋时轮回忆：陈赓跑上跑下急死了。当时有个俘虏叫何迪舟，是工兵学校毕业的，陈赓找他谈话，动员他为人民立功。他想出一个办法，就是用竹子编筐，周围捆上几根削尖了的竹竿，竹竿尖上用尿泡了以后再火上烤烤就结实了，然后在筐内装上石头，三四个筐一起从上放下，随浪滚几下，竹竿就插到泥了，架稳了。任凭如何湍急的江水也撼动不了它。基础稳定了，桥就好架了。
这时大家都很兴奋，不管敌人在对岸怎样射击、干扰，人们欢呼着、唱着、起劲地干着，桥身不断向前延伸，差不多有150米了，这时出了问题，投锚组长石长阶手中的竹篙被敌人的炮弹打断了，他也一头栽倒了，倒在门桥上，门桥失控了，向已架好的浮桥冲过来，后果不堪设想。此时，只见石长阶摇摇晃晃地爬了起来，扑通跳进水中，用胸膛死死地顶住门桥。战友们获得了排除险情的时间，门桥得救了，但石长阶却牺牲了自己年轻的生命。
经过36小时的紧张搏斗，尽管敌人封锁江面的炮火从未停止，工兵中有伤亡，但终于战胜了天险，在乌江上架起了一条“彩虹”，保证中央红军迅速而安全地渡过江去，于1935年1月顺利地攻占了贵州省北部重镇遵义县城。
中共中央政治局召开具有伟大历史意义的遵义会议。为了保卫遵义会议的安全，陈赓率领干部团担任警卫工作，周恩来说：“你应当像在上海保卫党中央那样保卫这个会议的召开。”陈赓认真地完成了任务，建立了历史的功勋。陈赓曾命令萧劲光率上干队自桐梓县急来遵义。上干队途经娄山关时，突与黔军教导师遭遇。萧劲光立即指挥部队就地展开，他考虑如果这股敌人过了娄山关，即会危及遵义，影响会议召开。虽然敌众我寡，他当机立断，坚守娄山关，一次次将敌人进攻打退。周恩来得到消息后，第二天派第五军团的一支部队来接防。周恩来见到了萧劲光说：“你这次坚守娄山关，为遵义会议顺利进行作出了贡献，是有功的。你的问题过去搞错了，处分不算数，恢复党籍、军籍，中央准备重新安排你的工作。”遵义会议结束了王明“左”倾冒险主义在中央的统治，确立了以毛泽东为核心的中共中央的正确领导，在极端危急的历史关头挽救了党和红军。从此，共产党和红军在毛泽东为代表的正确路线指导下，走上了胜利发展的道路。
中央红军决定北进，争取在四川省的泸州与宜宾县之间渡过长江，与江北红四方面军会合。前进到贵州省习水县赤水河边的土城镇时，发现四川军阀的一个师，从綦江县方向南下阻击。为给北上渡江创造条件，军委决定利用当地居高临下的峡谷，集中优势兵力，歼灭这股敌人。
28日清晨，红军与敌在土城镇东北之枫村坝、青坡一带展开恶战。此时发现原来情报有误，敌兵力实际不是2个旅4个团，而是它的一倍，4个旅8个团，共一万多人。根据这个情况，毛泽东急令一军团赶来增援。在一军团未到达前，战斗进行得很激烈，五军团阵地被敌军突破，伤亡很大。敌人抢占了山头，步步进逼到土城镇东白马山军委指挥所前沿。山后就是赤水河，若不能阻止敌人的进攻，势必陷红军于背水作战的危险境地。
在这紧要关头，毛泽东急令干部团投入战斗，进行反击。陈赓临危受命，率领部队硬是把敌人压回其师部附近。宋任穷回忆说：“陈赓同志令特科营重机枪掩护，指挥我团学员端着步枪向山上冲锋，敌人打过来，我们打过去，有时同敌人进行肉搏战，打得十分激烈和艰苦。每前进一步，都要付出血的代价。”可是敌人又有3个旅来增援，反守为攻，陈赓指挥干部团协同三军团坚守观音山等处高地，直到下午1时许一军团部队赶到。当时指挥作战的毛泽东高兴地说：“陈赓真行！”当天深夜，红军渡过了赤水河，是为“一渡”。
敌人怕红军渡过长江北上，沿江一线的城镇、渡口均派重兵把守。阴历大年三十，红军西进至云南省边界的扎西（今威信县城），鹅毛大雪纷纷扬扬地下着，山山岭岭、沟沟壑壑全被大雪覆盖，一片洁白。红军在扎西及其周围得到了休整的机会。
敌人集重兵于长江，遵义地区兵力空虚，因为他们根本没有想到红军会调头挥师东进，二渡赤水河，占领贵州省遵义北面的桐梓县城。当然夺取娄山关是战局的关键，因为它是遵义的北大门，只有打开这个北大门，才能重新进入遵义城。红军的两个团比较顺利地攻克了娄山关，因为要向遵义前进，干部团就得到了接防娄山关的任务。陈赓率领部队从桐梓出发，一天走了120里赶到娄山关。又接到命令，国民党吴其伟纵队，已进至遵义城4公里处，干部团要赶到遵义来应战。于是留上干队守备娄山关，陈赓率领其他部队赶到遵义去。
敌人占据忠庄铺及附近高地，企图进而控制红花岗和老鸦山，夺取遵义城。
红花岗和老鸦山相连，距城只有1000多公尺，两山耸立，构成防守遵义城南的天然屏障。干部团奉命配合红三军团扼守这一双方必争之地。
上午11时，敌人1个团进至老鸦山南麓，竟对干部团的伏兵毫无察觉，直向山上爬去。突然，陈赓一声令下，干部团猛烈出击，敌人丢下遍地尸体败退下去。但是他们不甘心失败，又增加1个团的兵力，企图从干部团阵地左侧进攻，并集中炮火进行掩护，但是依旧被干部团的猛冲猛打击退。
这时，陈赓接到红三军团第十团政委黄克诚的电话：“喂！你们打得很好，我们已经安全转移到红花岗北坡待机出击。我看你们能控制住老鸦山，就能巩固我们整个防御阵地。等一军团赶到就能出奇制胜了。”
仗打得越来越艰苦，敌人后续部队不断增加，攻势越加猛烈，遵义通向贵阳市的公路两侧方圆20里的山区宛如一片火海。干部团与三军团第十团抱定与阵地共存亡的决心，并肩浴血奋战。红十团参谋长钟伟剑牺牲。
打到下午3时，敌人飞机大炮狂轰滥炸，以绝对优势兵力，抢占了老鸦山主峰，居高临下直接威胁遵义城的安全。为夺回老鸦山主峰，部队多次猛攻，伤亡很大，均因地形险恶，未能成功。军委乃令干部团由北向南进攻，红三军团第十一团从左侧予以配合。经过激烈争夺，干部团的勇士们终于夺回老鸦山主峰，把红旗插上山顶。
此役，共歼灭和击溃国民党军队两个师又8个团，是长征以来打得最漂亮的一仗。
3月6日红军自遵义西进，占仁怀县，由茅台三渡赤水河再入川南。
三渡赤水时，干部团担负河两岸的警戒任务。陈赓先派一个营到河西岸，保障中共中央渡河后的安全，其他部队留在东岸负责警戒和维持秩序。
红军进入川南，敌人以为红军又要北渡长江，急调大军沿江防堵，不料红军在毛泽东指挥下，突然折返贵州省，在茅台附近四渡赤水河，强渡乌江直逼贵阳市。
红军渡过乌江后，干部团第三营担任守卫浮桥的任务，上级指示是：等殿后的红五军团过江后即拆桥，后来听到军委一个参谋说，红五军团已经从另一个渡口过了江，第三营就把桥拆了。行军40里，到了宿营地，陈赓和宋任穷向军委领导汇报此事时，很少发脾气的朱德竟然发了脾气说：“岂有此理！五军团过了江，可是九军团还在后面没有过江呀！马上回去把桥架好！如果明早七点钟，九军团还不来，再拆桥。”
陈赓和宋任穷急忙作了检讨，回来连饭也没吃，带着干部团第三营和工兵连，连走带跑40里急行军返回乌江边，砍竹伐木，紧张突击一夜，终于在天亮前又把浮桥架了起来。到了早晨，江上的夜雾消散了，天亮了，山谷森林一片亮堂堂，他们期盼的过桥部队没有来。到了7点钟，大家对表，确实是7点了，但是大家还怕表不准，再等等……可是九军团始终没有露面。陈赓带着部队回来时，大部队早就走了，他们追了几天才追上。
红军主力为了迷惑敌人，虚张声势，派一支部队佯攻贵州省会贵阳市。敌人主力均在长江一线，贵阳很空虚，恰好此时蒋介石正在贵阳城中，见状急了，下令邻近各省部队赶来救援。这样，就把云南省的部队也调到了贵州来，在他们急急忙忙奔向贵阳时，红军突然西进，4月下旬就顺利到达云南省会昆明市附近了。
在此期间，毛泽东曾多次和干部团一起行动。毛泽东对陈赓、宋任穷说：现在我军先后把敌人主力引向贵阳和昆明，这便于我军采取迅速行动，神速地抢占金沙江渡口，把敌人甩得远远的。果然，佯攻昆明，把云南军阀龙云吓得胆战心惊，他的正规部队已经被蒋介石调到贵阳去了，两手空空，忙把各地民团集中到昆明来守城。
