固原古城的建城史，最早可以追溯到西周时期，大约在周宣王（前827～前782年）当政间，曾命令大将南仲和尹吉甫率军北伐，征讨在今甘肃、宁夏一带的游牧民族猃狁（西戎），并首次在固原一带筑城防守。我国第一部诗歌总集《诗经》中有两首诗反映了这次战争。其中《出车》一首有这样的诗句：“王命南仲，往城于方。出车彭彭，旂旐央央。天子命我，城彼朔方。”另一首《六月》诗中也有反映尹吉甫在朔方打了胜仗，胜利班师的情况。诗曰：“猃狁匪茹，整居焦获。侵镐及方，至于泾阳。”“薄伐猃狁，至于大原。文武吉甫，万邦为宪。”“吉甫燕喜，既多受祉。‘来归自镐，我行永久’。”另外，在《汉书·匈奴传》中也查证到《诗经》所描述的这次军事行动。《汉书》记道：“至懿王曾孙宣王，兴师命将以征伐之，诗人美其大功，曰：‘薄伐猃狁，至于太原’；‘出车彭彭’，‘城彼朔方’。是时四夷宾服，称为中兴。”从《诗经》与《汉书》文史互相印证，周宣王讨伐西戎，并在“大原”这个地方筑城是可信的。大原（大与太互代），就是固原。当然古大原城址是否就是今固原城址则另当别论，至少说明固原古城的沿革始于西周宣王时代，与古大原城有着渊源关系，至今已有近三千年的历史。
到战国时期，秦国不断对犬戎（即猃狁）用兵，终于在秦昭襄王三十五年（前272年）消灭了诸戎国中势力最强大的义渠戎国，西戎各部落纷纷归顺秦国，于是秦就在原西戎部落控制的地区设立郡县进行统一管理，今宁夏南部固原地区有乌氏县，北部有朐衍县，两县均隶属于北地郡。北地郡治在原义渠戎国王城（今甘肃庆阳境内），朐衍县治在今宁夏盐池县境内，而乌氏县治所今址不详。因为郡县治所各有其地、其城，西周所筑大原城也应完成了历史使命，随之而废，或者大原城就是后设乌氏县的治所，其地是否在今固原与平凉之间？还待史学界和考古发掘的进一步证明。
秦朝和汉朝，宁夏南部固原地区的行政建制沿革，基本上没有大的变化。到汉武帝元鼎三年（前114年），由于经济繁荣，农牧业发展，人口增加，便把原北地郡一分为二，从中析置一个新郡，命名为安定郡，上隶凉州刺史部管理，下辖21个县，其中在今固原市地区有高平、朝那、泾阳、乌氏等四个县。新安定郡治高平，即今宁夏固原。在高平设县、驻郡，当然毫无疑问要筑城（或原来就有旧城基础），这座高平城就是今固原古城的前身，说明固原古城的历史有文字记载当始于此时，距今也有两千多年。古固原城为什么叫高平城呢？这也说明它与西周的大原城有着一种内在的联系。大原是什么意思？大，是形容面积广，体积高厚，容量多；原，通常指原野，或地形地貌，对地势广平或高而平的地方称平原、高原。高平，当然指地势高而平的地方。固原地区属黄土高原，由于亿万年的雨水侵蚀，山洪冲刷和大自然的风化，形成了许多深度切割的大塬，其塬高而平，所以就以某某塬呼之。今天依然如此，在固原地区留下许多代塬、崾、崄、峁的地名，就是这种自然特征在地名上的反映。这也与《尔雅·释地》的解释相一致。其解曰：“大野曰平。广平曰原。高平曰陆。”“可食者曰原。”说明固原古城也正是建筑在西北黄土高原一片相对开阔、广平、势高，但适宜农牧的这种特有的大塬之上，所以把这里设立的第一个县，取名为“高平”是非常贴切的。所以此名有历史文化背景，内涵深远，非常有意义。
汉武帝亲自设立安定郡后，对这座高平城的修筑也是十分重视的，他一辈子七次巡视北边防务，其中就有六次亲赴设在高平城的安定郡，包括去世前一年即后元元年（前88年），他仍不顾古稀高龄，还抱病最后一次来到高平城，所以从安定郡的设置到高平城的修筑，都应当是在汉武帝的亲自指导下完成的。可以想见，这座建在秦长城之下，位于古萧关之北，扼守陇山（六盘山）要隘，据泾河、清水河和茹河三水发源地即关中通往西北和西域三条交通干线的交汇点上的古城具有何等重要的战略地位，其城池的规模和坚固程度应该是不言而喻的。
东汉时期，高平城曾被史书称为“高平第一城”。据《读史方舆纪要》载：“高平城……其东有城，约第一城……其地险固，故曰第一城。”可能当时为子母城（吕字城）或内外城，说明古城规模扩大了。东晋十六国间，前赵于此城设朔州，后赵废。前秦又设北部都尉、牧官都尉治此城。北魏太延二年（436年），为了加强对西北的军事控制，一改地方政权为军政合一的军镇体制，在高平城设立一个军镇，仍命高平镇，不领郡县。正光五年（524年），又将高平镇改制为原州。这一新名实际上还是源出于大原、高平，还是“高而平曰原”的寓意。原州下领高平、长城两郡和高平等四县。到西魏末年至北周间，曾一度把高平郡改名为平高郡、高平县改名为平高县。北周天和四年（569年）原州城进行过一次维修和展筑。但它的名称，无论是高而平，还是平儿高，只是文字的颠倒，与古城自身和行政建制，以及地名内涵都没有什么实质性的变化。隋朝初仍为原州，大业三年（607年），改为平凉郡，州郡仍治高平县。唐武德元年（618年）又改为原州。贞观五年（631年），升原州为都督府。天宝元年（742年）一度又改为平凉郡。乾元元年（758年）仍复为原州。广德元年（763年），吐蕃军占领宁夏大部分地区，大历元年（766年），攻占原州，原州官衙被迫迁徙，改称行原州，侨治于泾州灵台县的百里城（今甘肃灵台境内）。贞元十九年（803年）行原州改侨治于平凉城（在今甘肃平凉境内），元和三年（808年）迁泾州临泾（今甘肃镇原），元和十三年（818年）唐军一度收复原州，旋失。大中三年（849年），吐蕃归还原州，州县官衙迁还。广明（880～881年）后，吐蕃再占原州，州衙又徙治于临泾，至此，原州治所就不在宁夏境内了。
古老的固原城，是西北地区战略要塞，但被吐蕃占领以后，因吐蕃为游牧民族，行军打仗都是带上部落老幼妇孺一起行动，所以他们不适宜在一个城中生活，也就不需要城池，开始时还不会防守城池。在吐蕃军控制原州地区的百年时间里，只在州南摧沙堡（今固原原州南部）驻军为据点，古原州城被“吐蕃毁夷垣墉，弃不居”，基本上被毁废，史书上往往称这期间的古城为“故原州城”。
但是，唐朝的文武大臣们，时刻都想收复原州，重新修复故原州城。大历八年（773年），吐蕃大军数十万，以原州地区为基地，北攻灵州，南扰陇右、关中。朔方节度使郭子仪、朔方兵马使浑瑊、泾原节度使马麟，大破吐蕃军十万之众，狠刹了吐蕃的嚣张气焰。大臣元载分析当时北方的形势后认为，宁夏是吐蕃的重要基地，而北面只有灵武孤悬，南部居中若要恢复原州，不仅可以切断吐军的南北联系，还在吐军核心地区打进一个楔子，可收战略要功。因此，元载向朝廷建议道：吐蕃军据点“在摧沙堡，而原州界其间，草茂水甘，旧垒存焉”，吐蕃“毁其垣墉”弃而不守此城。但是，原州城的战略地位仍然十分重要，它的右侧是监牧故地，有古长城可据，形胜“重复深固”。元载在派人化装到原州进行秘密勘查后，又向朝廷上奏一份详细的筑城方案。其中分析道：“原州虽早霜不可艺，而平凉在其东，独耕一县，可以足食。请徙京西军戍原州，乘间筑作，二旬可讫，储栗一岁。戎人夏牧青海上，羽书比至，则我功集矣。”他认为，如果在原州筑城驻军，固原地区七关可守，又于灵州连成一线协防，而关中又有郭子仪大军作为后盾，西北战场的形势将会有根本性的改变。但是他的建议受到泾原节度使田神功的反对。田则认为，“兴师料敌”，“举国从之”乃“一书生言”。代宗皇帝对于两位重臣的相反意见，不知如何决策，只好暂时搁置起来。后因元载获罪，议筑原州城的意见就无人再敢提了。到建中元年（780年）宰相杨炎又向新即位的德宗皇帝提出建议，要求重新修筑原州城。皇帝征求新任泾原节度使段秀实的意见，段内心持反对意见，但不敢得罪宰相，只是说，现在是春寒季节，不宜兴工，等待天暖和农闲时再说。杨炎一怒罢了段官，改任大司农，让李怀光担任泾原、邠宁节度使，要李怀光办理原州城修复之事。而此时又出现李怀光的部将刘文喜占据泾州反叛的事件，一时忙于对付突发事变，修筑原州城的事，也就自然又被弃之一旁，正如史书遗憾地记道：“原州竟不能城。”
由于唐朝官员扯皮，原州城一直没有得到恢复，但是几年后，却被吐蕃占领军自己修复了。贞元三年（787年）距吐蕃军占领固原地区已有近40年的时间，这时吐蕃军在与唐军的长期军事对抗中也认识到中心城池的重要性，并学会了利用城池和守卫城池的军事技能。被吐蕃攻毁的原州城，又在37年后被毁坏它的吐蕃军重新修筑，修复的新城距今有1223年。吐蕃占领区没有设置地方行政建制，新修的城也就没有名字，史书仍然称它为“故原州城”。
至唐末，天下又复大乱，五十多年间，先后有五个朝代十个政权轮番亮相于历史舞台，史书上称为五代时期。时原州地区，仍为中原短命政权与吐蕃、党项等少数民族争夺和混战的战场，原州城再度毁于战火，各族百姓死于非命，地方经济彻底崩坏。
北宋统一以后，宁夏境内又成为党项人活动的中心舞台。宋太宗至道二年（996年）春，宋军运往灵州的40万担军粮在浦洛河（今盐池惠安堡境内）被党项抢劫。四月，宋廷任命大将李继隆任灵、环等十州都部署，准备率大军征讨党项李继迁。李继隆建议，要接受浦洛河失粮的教训，把粮道改“由古原州蔚茹河路便”。蔚茹河就是从固原北流的清水河。宋廷派人实地考察以后，接受了李继隆的建议。为了保护这条新粮道，李继隆认为，古原州“山川险阻，旁扼夷落，系中华襟带”，请朝廷重筑古原州城。次年，朝廷命胡守澄负责筑城，置镇戎军于此城。但到咸平二年（999年）。党项军南下，攻毁镇戎军，侵扰渭州（今甘肃平凉境内）、安国镇（今甘肃平凉境内）大片地区。为了反击党项军，于同年冬，宋廷再次决定修复镇戎军城，任命李继和为知军。李继和在党项军已攻占灵州，形势十分严重的情况下，先修复四面堡塞，迁民居住，且耕且战，以解决军队的部分粮草供应。咸平五年（1002年），在部将曹玮的主持下，突击修复了镇戎军城。新城周围九里七分，壕堑二重，深二丈。从此党项军队再也不能越镇戎南犯，镇戎军城成为宋夏边界线上一座国防要塞，先后归陕西秦凤路、泾原路管辖，下领一城、七寨、两堡。到南宋建炎四年（1130年）镇戎军被金国攻占，大定二十二年（1182年）金改镇戎军为镇戎州。南宋嘉定十二年（1219年）四月至六月间，六盘山地区连续发生两次强烈地震，以镇戎、平凉、德顺等三州灾情尤为严重，镇戎州城内屋宇倒圮，人畜大批死亡。次年四月，因当时金与西夏正在交战，镇戎州城事关金在西北的安危，所以金廷采取人海战术，急调军民两万余人，突击重修镇戎州城。四月二十一日开工，五月十五日州城修筑完成。
蒙元时期，蒙古大军与唐时吐蕃人一样，也不习惯驻扎在城中。他们选择了山清水秀，气候宜人，草场丰美的六盘山谷地作为自己的大本营，原州城当然又受到冷落。加之蒙古建立元朝以后，世祖忽必烈于至元九年（1271年）又把皇子忙哥剌封为安西王。这位安西王虽然把王府建在京兆（今陕西西安），但他更喜欢六盘山地区的自然环境，所以选择在故原州南40里六盘山东麓一个叫开远堡的小地方，从至元十年（1272年）开始，在此大兴土木修建行宫。新王府建成之后，他就“冬居京兆，夏则居六盘山，岁以为常”。由于地以人贵，元朝便在此地正式设置开成州、开城府，甚至提升为上都，号称上路，下辖广安州和开成县，并在府城设立开成路屯田总管府。在这种新的行政建制的格局下，位于开成府北侧的原州建制当然就没有存在的必要，结局就是州废城荒，城垣渐渐圮毁。这是固原古城继唐中和南宋以后的第三次堕城。
明朝建国之初，古原州城地方归平凉州开城县（原开成府）管辖，为县属固原里，仅是一个乡级的基层组织。后来因为明朝在宁夏推行的屯田渐有成效，经济得到发展，商贸活动开始繁荣，人口不断增加，便于正统十年（1445年）七月，在废原州城设立固原巡检司衙门，以加强对地方治安和经济活动的管理。这时，逃亡大漠的蒙古王公贵族们也已经养好伤，恢复了元气，所以残元势力开始不断南侵，开展一系列的复辟活动。宁夏三面临敌，首当其冲，固原地区则是内犯鞑靼、瓦剌骑兵深入骚扰的必经之地。《明实录》景泰元年（1450年）所载的“开城等县被贼虏掠，军民负欠去年屯粮八千九百余石，马草一千七百余束”的事例，在当时是固原各地的普遍情况，所以明廷加强了在宁夏的备战建设。当年，先把在元末战争中圮毁的开城县墙补修好。景泰二年（1451年），平凉府知府张镛又给朝廷打报告说：“开城县地土广阔，素无城池，乞修葫芦峡口古城，拨军守御。”但军部下达的回复批示为：“葫芦峡口不系要害，其开城迤北四十里固原州废城修筑置戍，足以维护生民，折冲虏寇。”就是说朝廷不同意修复葫芦峡口的古城（今海原李旺），而指示地方应先把“原州废城”重新修好，才能在军事上起到要塞的作用。景泰三年（1452年），当固原古城修筑完成之后，镇守陕西刑部右侍郎耿九畴就上奏道：“平凉府固原州古城地通虏境，最为要冲，乞摘平凉卫一所官军于彼守御。”朝廷批准耿九畴的报告，当年闰九月在新修成的固原古城设立固原守御千户所。成化二年（1466年）末，套外蒙古毛里核率部攻破开城县，并平毁城墙。成化三年（1467年），明廷把无城可守的开城县迁进已恢复的固原古城内。成化四年（1468年），固原发生土达满俊暴动事件后，于次年十月，又把固原守御千户所升格为固原卫。兵备俭事杨勉又在固原卫城门上方增建城门楼两座，东曰“安边”、南曰“镇夷”，以方便谯守。新修复的城墙规制与宋、金旧城相同，周长九里三分，高阔各三丈五尺。成化十年（1474年），又在固原城置陕西三边总制（总督）府，负责统一指挥西北各战区的军镇和所有军防战守事宜。弘治十五年（1502年），再设固原镇，添副总兵（后改升总兵）一员。这一年五月，又把开城县升格为固原州。时新任三边总督秦紘再次对固原城进行整修，增筑外关城，开设四处关门和移开西门。新城四门名为：南曰镇秦，北曰靖朔，东曰安边，西曰威远。城墙周围长度增至二十里。城墙外挖有沟池，深宽各为二丈。新的固原镇城，比原来故城扩大一倍多。但仍为土城。万历三年（1575年），三边总督石茂华。万历九年（1581年），总督高文荐分别两次对固原城进行改造，城墙全部以砖包砌，墙高三丈六尺，比原来的三丈五尺略有增加，但城有所缩小，仅有十三里七分。地方志称成化五年（1577年）修的旧城（土城）为内城，弘治、万历扩修的新城（砖砌）为外城，这一规模、格局和城防配套设施等基本面貌，大体上一直保持到清朝也没有什么大的变化。至此，三边总督、固原镇总兵、固原知州同驻一城，称为“九边重镇”之一，固原古城又恢复了历史的地位，成为西北的一处军事重镇。在地方行政方面，固原州上归陕西布政使司和平凉府管辖，下领在城、东山等十个里；在军事方面，属陕西都指挥使司指挥，下领西安、镇戎、平虏三个守御千户所。
固原城的名称是从大原、高平（含平高）、原州发展演变而来的，为什么明代改名用固原的新名字呢？原因可能有二：其一，是转音所致。其先的大原和高平（平高），都以地理、地势特点而得名，但过于直白，所以隋唐改为较为含蓄的原州。原州，乃修建在大原高而平塬头之上的州城，仍属以地理命名。后来古城几经沧桑，时废时兴，宋元以后，人们往往称这座城池为“古原州城、故原州城”，于是从这个称呼就自然而然转音为“固原”了。其二，是吉祥的寓意。固原城在明代不仅是北方的“九边重镇”之一，而且又有三边总督衙门驻节与统一指挥四大军镇（延绥镇、宁夏镇、甘肃镇和固原镇），是明廷的西北门户，国防要塞，从这种军事角度来看，当然要给这座城池起一个与其军事性质与国防地位相适应的名字了。所以固原之名，既有历史背景的内涵，又有坚不可摧，固若金汤的愿望和吉祥的涵义。从大原、高平（平高）到古原州、故原州，再到固原（坚固的高原城池）。一脉相承，顺水行舟，水到渠成，且易识、易读、易写、吉利，寓意深远，乃天赐一个好地名。
清朝时期，固原城与前明相比无大变化，只是修缮和保护方面做了不少工作，除多次的小修小补之外，清季至少进行过两次大的修缮。第一次大修是嘉庆十六年（1811年）。因为乾隆晚期，固原地区发生田五等领导回民反清斗争，给清廷在西北的统治以沉重地打击，使满洲贵族更加重视西北的防务，把已从固原移防到汉中的固原提督（相当于今陕西省军区）。嘉庆七年（1802年）七月，又重新调回镇守固原，并对固原地区的众多城池、堡寨进行维修加固。时值固原等地又受大面积旱灾，为防患于未然，嘉庆十五年（1810年）陕甘总督那彦成奏道：“甘肃固原等各县州均有应修城工……除泾州等处尚可从缓兴修，唯皋兰、固原二处城身膨裂，极宜赶修。”清廷在批示中也认为，“皋兰、固原城垣坍塌过甚，自难缓办。且本年该处田禾被旱，现虽加恩赈济，而来春青黄不接之时，必须预为筹划”。所以就给那彦成一个两全其美之策，同意用“以工代赈”的办法，既救济了灾民，又可完成修城任务。清廷的批示为：“于来年开冻后，既行修理皋兰、固原二处城工，以工代赈，俾贫民得资糊口。”朝廷一共下拨修城工料银三十万两，赈灾银一百万两，计一百三十万两白银，动员民工二万余人，用了大约一年的时间，才比较顺利完成了皋兰、固原两城的维修工程。第二次大修是光绪三十二年（1906年）。清同光年间，在马化龙、穆生花等大阿訇的领导下，西北地区爆发长达十二年大规模回族穆斯林人民的反清抗暴斗争，各地官府、城池屡受破坏，虽经及时修修补补，但多是千疮百孔。到光绪末年，满洲贵族的气数殆尽，各地形势日益严峻。据《宣统固原州志》记载，时固原州城“东门南隅圮三十余丈，外城垛口残缺者计四百余座，工程浩繁”。时任知州王学伊，在当地驻军固原提督张行志的支持下，由地方负责筹措经费，采用“兵工”的办法，由固原提督府协统恒林带领驻防兵丁勉强完成了州城的补修工程，但城楼还是因经费问题，最终没有修缮。
经过这次大修后，固原州城的规模、城防设施大体如下。
内城：周围九里三分，高三丈五尺，垛口一千零四十六座，炮台十八座。
外城：周围一十三里七分，高三丈六尺，垛口一千五百七十三座，炮台三十一座，壕深、阔各二丈。
东城：三道，万历时建。有名者二；曰安边，曰保宁。
南城：四道，万历时建。有名者二；曰镇秦，曰兴德。
西城：二道，万历时建。有名者一；曰威远。
北城：一道，万历时建，曰靖朔。同治兵乱后封闭。
到中华民国时期，由于在民国9年（1920年）冬，六盘山地区发生特大强烈地震，固原城未能幸免，受到严重破坏。据《民国固原县志》记载：“里城大半倒塌，外城亦塌地多处，城楼、巡房尽毁。”震后虽然地方人土多方争取，甘肃华洋义赈救灾会也有所资助，但终因工巨款微。杯水车薪，只能修补一些缺口和垛墙，最大工程也只是在关外东南偶修筑砂堤一道，起到一定的防洪作用，其他大工程均无力完成。再后来，因管理不力，“楼瓦城砖时被掀窃，故复日就颓废。近日里城、外城，除长度仍旧外，高度则为三丈四尺至六尺不等……里城砖垛全无，炮台亦毁；外城垛口余1400座，炮台32座，多圮坏。门楼、铺楼、水关、水沟、池隍、马道，无复旧观。瓮城三，旧系砖石包砌，今多刓剥陷落。南门四道，东门三道，西门二道，北门一道，基址亦多剥落”。千年古城的破败之象真是惨不忍睹，触目惊心。
不管怎么样，直至新中国成立后，这座古老的固原城，虽然是满身的疮痍，但还是顽强的屹立在六盘山下的黄土高原之上，甚至在20世纪60年代初，固原的市民，还可以漫步在残缺的古城墙之上，固原人民还可以目睹和凭吊这座古城，回忆它沧桑的历史。但是，我国西北这座著名历史名城、军事巨防，确于1971年彻底毁灭在那“文化大革命”的年代。更万万没有想到，促成古城消亡正是当时大抓战备工作的我军一位高级将领。
现在，近三千年的固原古城从黄土高原上消失了，但是一座崭新的现代城市又展现在人们的面前。新固原，回汉人民和睦的大家庭将会变得越来越美，成为六盘山下的一颗璀璨的明珠。
