早在1953年，米高扬就指令另一个小组开始研究最高飞行速度达2000千米/小时的战斗机，这实际上就是后来的两倍声速战斗机的前身。出于朝鲜战争中米格-15的经验，米高扬认为一架轻小、高速的战斗机将具有优良的点防空能力，已经在研制中的双发米格-19尽管具有种种优点，但米高扬已经嫌太大太重。20世纪50年代时，苏联的可以达到两倍声速的风洞严重不足，很多问题只有研制试验机实际飞行才能测试。于是，米高扬开始了新的试验机系列，以Ye命名（或者按俄文字母的拉丁对应为E系列，其实发音更接近Ye）。Ye指Уеdinitsa，意为“仅有的”。Ye-2就是用来向2000千米/小时的速度冲刺的。
图曼斯基正在研制的R-11发动机的尺寸和重量与AM-5差不多，但推力增加几乎一倍，达到49.96千牛，自然成为米高扬的首选。问题是R-11还没有实机可供使用，于是用推力较小的AM-9涡喷发动机先将就。
为了向两倍声速冲击， TsAGI推荐了两种机翼：大后掠翼和三角翼，但TsAGI的气动专家彼得 克拉西尔什奇科夫强力推荐三角翼。后掠翼是平直翼的自然进化，米格对后掠翼的使用也有很多经验，但后掠翼的上表面气流展向流动导致翼尖失速和升力中心的前移是一个顽固的问题，F-100战斗机的“佩刀舞”就是一个比较极端的例子。相比之下，在同样情况下，三角翼的升力中心前移较小，问题就比较好解决。
三角翼是一个新生事物，首先在第二次世界大战中的德国得到研究，并作了相当数量的飞行试验，得到大量的数据，其中有很多被苏联缴获，对TsAGI的研究有相当的影响。三角翼后掠角大，超声速特性好。三角翼的翼根长，避免了大后掠翼翼根应力集中的问题，在翼面积更大的情况下，实际结构重量反而比大后掠翼更轻，因为避免了对翼根特别加强带来的重量。三角翼较大的翼面积降低了翼载，有利于提高机动性，宽大的机翼内部容积也有利于用来装载燃油。但是大后掠翼的优点也是显而易见的，从米格-15到米格-19，米格设计局已经积累了大量的经验，对大后掠翼知根知底，技术上风险较小。
在举棋不定之下，米高扬大胆通吃，同时上大后掠翼和三角翼，两者的机翼前缘都采用60度后掠角。Ye-2采用大后掠翼，采用同样机身和发动机的Ye-4则采用三角翼。米格设计局甚至内定了Ye-2为米格-21，Ye-4为米格-23。1955年2月14日，试飞员莫索洛夫首飞Ye-2成功；4个月后的6月16日，试飞员塞多夫首飞Ye-4成功。Ye-2和Ye-4的试飞为米格设计局积累了大量珍贵的数据，尤其是Ye-4的三角翼气动数据，使米格设计局在今后的很多年里领先于苏联的同行。
米高扬从一开始就知道Ye-2和Ye-4的动力不足的问题，试飞将无法达到要求的2000千米/小时的速度。风洞试验表明，Ye-2和Ye-4的极限速度将离2000千米/小时的要求还差好几百千米/小时。为了节约时间，米高扬在给图曼斯基时间以继续完善R-11发动机的同时，用火箭动力改装Ye-2，继续高空高速状态下的气动研究。改装液体火箭动力助推的Ye-2称为Ye-50，由试飞员穆辛于1955年中首次试飞。一号机在一次试飞中，发动机故障，穆辛虽然迫降成功，但飞机严重损坏，穆辛自己也受了重伤。不久，二号机由试飞员瓦辛首飞成功， 1957年6月17日，在25600米的高空飞出了2460千米/小时（Ma=2.33）的苏联速度纪录。
Ye-50从三号机开始采用了面积律，减小了跨声速阻力。声速是一道坎，但是跨过去了，超声速阻力反而下降。如果还是用骑马的牧羊人和羊群作比方，声障是由于羊群的速度不足以在马的前面散开，挤到一起造成极大的阻力。但要是马最终冲出羊群，跑到羊群的前面，那阻力反而小了。同样道理，跨越声障之后，超声速阻力反而减小。为了减小跨声速激波的影响，美国NASA物理学家理查德 惠特科姆于1955年提出跨声速面积律。面积律指出，飞行器在跨声速飞行时，前缘和后缘的激波不可避免，但如果飞行器沿前进轴线上的截面积急剧改变，将产生额外的激波，增加阻力。为了避免这额外的阻力，飞行器沿前进轴线的截面积应该均匀改变，而截面的具体形状倒是无关紧要。这就是著名的跨声速面积律。由于中机身正好是机翼的地方，为了满足面积律，机身应该收腰身，而不使总截面积突然增大，造成不连续变化，这就是超声速飞机“蜂腰”的来源。Ye-50三号机是苏联最早采用面积律设计的飞机之一。
火箭作为飞机动力本来就是权宜之计，不适宜大批生产，单为研究性飞机而保留太浪费，所以苏联航空工业部决定，研制火箭动力的杜什金设计局解散，Ye-50的研制被迫停止。值此当口，图曼斯基的R-11发动机接上了，在1956年中交付，米高扬终于可以试验“真家伙”了。R-11是一台先进的双转子涡喷发动机，推力大，油耗低，对粗暴操作的容忍性好，而且易于改装和适应不同的需要。装上RD-11的Ye-2称为Ye-2A，装上R-11的Ye-4则称为Ye-5。两者对比试飞的结果表明，在速度和升限上，两者相差不多，但Ye-5 的重量轻，机动性好。1956年底，米高扬作了决定，以Ye-5为基础，发展下一代米格战斗机，这就是世界历史上连续生产时间最长的米格-21的开始。
Ye-5已经具备米格-21的基本特征了：单座单发，机头进气，有平尾的三角翼。不过Ye-5的三角翼的翼尖是尖的，是一个完整的三角，而不像后来的米格-21的三角翼有一个截梢。Ye-5走到这个如今为人们所熟悉的气动布局不是偶然的。除了大后掠翼外，米格设计局也对西方正在设计的新战斗机和TsAGI的新概念作了大量的研究，比如像幻影Ⅲ那样的无尾三角翼，F-104那样的梯形短翼等。将这些不同的机翼装上Ye-2的机体在TsAGI吹风洞的结果表明，这些布局都有各自独特的优点，但也有苏联空军不能容截面积
截面积
机翼机身
忍的缺点。比如无尾三角翼，最大限度地突出了三角翼的优点，但平尾和襟翼合一的设计使起飞、着陆距离延长，起飞、着陆速度很快，不利于野战机场粗糙跑道的起飞着陆。梯形翼重量轻、阻力小，但翼载高，机动性不好，起飞、着陆的问题比无尾三角翼还大。Ye-5的有尾三角翼较好地平衡了三角翼的优点和有尾布局起飞着陆特性较好的优点，以后成为美苏战斗机的主流布局，包括F-15和F-16都可以看成有尾的截梢三角翼布局。
不过苏联人就是苏联人，在米格已经决定按Ye-5的方向发展的时候，依然若无其事地在1956年土希诺航展展示了Ye-2。西方武官和航空界如获至宝，以为这就是下一代米格战斗机，没料想米高扬已经暗渡陈仓，将Ye-5改进成Ye-6。Ye-6采用改进的R-11F-300发动机，推力达到53.86千牛，机翼改为截梢三角翼，与其说是试验机，不如说是生产型战斗机的原型机。但是这离米格-21还是有一步之遥。1958年5月28日，试飞员奈菲奥多夫将Ye-6飞上12500米正在向马赫数2.5冲刺的时候，发动机突然熄火，所有液压控制系统全部失灵。奈菲奥多夫拒绝要他跳伞的命令，极力试图在空中把发动机重新起动，但最终也没有起动起来，在最后迫降过程中，机毁人亡。
奈菲奥多夫在空中试图重新起动发动机时所不知道的是，围绕发动机的鞍形油箱的隔热不好，燃油发生汽化，造成燃油供油故障，这导致了最初的发动机停车。由于设计时没有认识到超声速时进气道内激波的作用，高速气流在进气道里温度和压力急剧增加，进气道的结构已经坍塌，堵塞了进气道，再次点火实际上已经不可能了。这还不是问题的全部。发动机停车后，液压控制系统失灵，备用的电动控制系统的响应和液压控制系统很不相同，试飞员难以在生死之间的几十秒钟里适应过来，这也是事故的原因之一。
这些问题都是为了节约重量造成的，但在没有经验和缺乏理论指导的时候，试飞员的鲜血就是最高昂的学费。吸取了血的教训之后，米格设计局立刻将原本为马赫数1.4飞行而优化的固定进气锥改为三级可调的进气锥，进气道结构加强，油箱隔热改善。在贝利亚科夫的坚持下，备用操纵系统由电动改为液压，操纵特性和主操纵系统完全相同。米格设计局兵分三路，科克纳奇负责试飞新型进气道，塞多夫负责试飞发动机空中点火，莫索洛夫负责试飞新的飞控系统。经过血与汗的洗礼，Ye-6终于飞出来了，这才成为米格-21，在1958年底交付空军。
最初的米格-21F（F指“加力”）就是Ye-6的生产型。更多的试飞和实际使用经验很快表明，垂尾面积需要加大。另外，苏联空军要求米格-21具有携载空空导弹的能力，而不再仅仅依靠2门30毫米航炮。改进的米格-21称为米格-21F-13，具有较宽的垂尾，能够携带2枚K-13空空导弹。为了具备全天候作战能力，米格设计局在苏联空军的要求下，将米格-21F-13进一步改进成为米格-21PF。这是第二代米格-21，具有机载雷达，取消了航炮，完全依靠空空导弹进行空战。为了安装机头雷达，米格-21PF的进气调节锥增大，机身直径也相应增大，整个飞机比米格-21F-13显得更为粗壮。为了增加燃油和航程，米格-21PF在座舱后至垂尾之间沿机脊安装了一个机脊油箱，这是米格-21PF的另一个特征。机脊油箱不增加迎风面积，但对飞行员的后向视界阻挡较大，所以在米格-21的座舱盖顶上有一个西方战斗机上不大见到的后视镜。不过这个后视镜对后方视界的改善也只是聊胜于无罢了。米格-21PF的发动机也升级到推力为58.3千牛的R-11F2-300。
20世纪60年代后期，结合越南战场的经验，米格设计局将米格-21PF改进成米格-21MF，将翼下的两个导弹挂架增加到4个，重新加装了一门机腹双管23毫米航炮。这是很独特的双管航炮，采用卡斯特原理，用一根炮管的后坐作用作动力，实现另一根炮管的装弹、击发，两根炮管向跷跷板一样互相装弹、击发，整体结构很紧凑。米格-21MF还换用了推力增加到63.7千牛的R-13发动机，机脊油箱进一步增大，一直延伸到环绕垂尾的根部。机翼增加吹气襟翼，改善起飞着陆性能。
进入20世纪70年代，米格设计局推出了米格-21的终极版本：米格-21比斯。除了在武器系统方面大量采用先进技术，使米格-21具有相对先进、均衡的作战能力外，米格-21比斯也采用了推力进一步提高到68.5千牛的R-25发动机。米格-21比斯的机动性和综合作战性能可以和F-16A的早期型号一拼，这对在气动设计和电子设备的技术水平上相差至少一代的米格-21比斯来说是十分难能可贵的。
前后四代基本的米格-21还衍生出20多种亚型号，使米格-21成为现在还在一线服役的产量最大、品种最多、生产延续时间最长的战斗机，不算中国的歼7（中国版的米格-21），总产量就达到11000架以上。
作为第一代可以飞两倍声速的战斗机，米格-21的基本设计应该说是十分优秀的。同期的F-104和“闪电”式战斗机早已退出了一线，幻影Ⅲ还有少量在苟延残喘。现存的米格-21MF、米格-21比斯不仅还在一线继续服役，还有大量的现代化改装方案，使其升级到三代半的战斗力，还有至少十来年的使用寿命。这里面当然有不发达国家的无奈，米格-21的基本设计的优秀也是不可否认的因素。
