魏和平元年（460年），北魏沙门昙曜在平城武州塞开凿石窟。
魏太延五年（439年），北魏灭北凉，将凉州僧众三千多人迁至平城的同时，还强行驱使吏民工匠三万户迁居平城，从此北魏佛教盛行。446年（魏太平真君七年），崇信道教的太武帝拓跋焘下令灭佛，但452年（魏兴安元年），文成帝拓跋浚即位后，恢复佛法。次年（453年）文成帝召凉州高僧昙曜于平城。于是昙曜在平城（今山西大同）西面的武州塞即云冈开凿石窟。
昙曜共开凿出五座石窟，被称为昙曜五窟，（即今编为第十六-第二十号的石窟）。五窟的平面皆呈椭圆形，没有后室，以巨大佛像为主体，充满石窟空间，使两侧的空间显得很狭小。每窟均有主佛像，高的超过十六米，一般为十三米左右。其佛面相方圆，两肩齐亭，深目高鼻，仪态谦和。另陪有菩萨及飞天塑像。无论主佛，还是飞天菩萨，造像奇伟精美。因昙曜自凉州来，他开凿石窟所请的工匠也多为凉州迁来内地的工匠，云冈昙曜五窟也具有明显的敦煌石窟的艺术风格。
继昙曜之后四十年左右，云冈又不断有石窟完成，其风格也较前有变化，石窟平面一般呈方形，石窟也分为前后二室。北魏迁都平城后，云冈石窟的开凿活动渐趋衰落，石窟也多为中小型，但艺术上显得更为成熟。
现存云冈石窟有大窟四十五个，小窟若干，造像五万多尊。它与敦煌石窟、龙门石窟并称古代三大窟，是著名的石窟艺术胜境。
