中央苏区第五次反“围剿”失败以后，红军酝酿开始长征，其中有几个特殊单位如何组织和行动，成为一个大难题。主要包括红军总部直属的军事学校、正在培训的中高级干部，以及从上海转移过来，已经招生扩大的“特科学校”。最终决定，将红军大学、彭杨步兵学校、公略步兵学校和特科学校合并组织起来，成立一个由总部直接指挥的“干部团”。该团下设四个营和一个“上干队”（上级干部队的简称，指正在培训学习的中高级干部），其中第一营、第二营为步校学员组成的步兵营，第三营为政治营，第四营为特科营。
换句话说，干部团真有战斗力的，只是第一营和第二营，每一名战士原来都是部队上的班长、排长甚至连长，训练有素且立场坚定。而第三营多为政治干部；第四营则是由特科学校改编的，搞特殊工作他们是行家里手，打正规战并不擅长；至于“上干队”，是干部储备单位，轻易是不会投入战斗的。
干部团以开国大将陈赓为团长，开国上将宋任穷为政委，“上干队”队长则是开国大将肖劲光。干部团装备较为精良，全团1480人基本配发缴获来的钢盔，不仅步枪和轻机枪的配备率较高，还特别装备了六挺重机枪和六门迫击炮，这在当时红军的团级建制里，已经是非常难得了。
“干部团”的职责，日常是作为总部的警卫部队，当然也是最后的预备队，非到万不得已的地步，不会投入战场。但是真到了必要时候，比如土城战役期间，在陈赓的指挥下，“干部团”会展现出强劲的战斗力，头戴钢盔的干部团发起冲锋时，不仅杂牌军腿软，就连中央军也迷糊。整个长征路上，干部团每次出马，都揍得敌人望风而逃，可谓是名声在外。
鲜为人知的是，尽管干部团级别不低，但是陈赓、肖劲光仍然都属于“降职使用”，否则以他们的资历，当个军团长或者副军团长完全没有问题。这是为什么呢？陈赓因为曾经被俘而且脱逃的经历，当时正处于受审查阶段，这是必要的组织程序，所以在审查结束以前，不可以担任高级的重要军职。而肖劲光由于在第五次反“围剿”作战中，在敌众我寡的情况下放弃黎川，差点被“洋顾问”李德直接枪决，后被毛泽东保住了一条命，当时也处在“戴罪立功”期间。
长征到达陕北以后，红军逐渐开始扩大队伍，“干部团”的同志们纷纷出任新职务，建制奉令撤销。
