狄仁杰第二次出任宰相期间，朝廷又大肆征兵戍守安西四镇，老百姓不堪其苦，怨声载道。
安西四镇，是指由安西都护府统辖的西域四个军镇。
话说，贞观十四年（公元640年）八月，唐太宗灭高昌国，九月，于西州交河城（今新疆吐鲁番西的交河古城遗址）置安西都护府，由该都护府负责管理西域地区军政事务。贞观二十年六月，西突厥乙毗射匮可汗请和亲，唐太宗即索要其属下割龟兹、于阗、疏勒、朱俱婆﹑葱岭五国作为聘礼。贞观二十二年（公元648年），唐朝开始派遣军队进驻龟兹，并将安西都护府自西州交河城移至龟兹国都城（今新疆库车），并在龟兹、焉耆（今新疆焉耆西南）、于阗（今新疆和田西南）、疏勒（今新疆喀什）四城修筑城堡，建置军镇，统一由安西都护兼统，这就是最初“安西四镇”的由来。
因为这时候的西域，北有突厥，南有吐蕃，有了安西都护府和四镇的障护，唐朝才得以控制着西域，控制着丝绸之路。
永徽元年（公元650年），唐高宗抱着“务在养人，不在广地”的消极思想，宣布罢弃四镇，安西都护府随之迁回到原址西州。
四镇一撤，唐朝的统治范围大为收缩，西突厥阿史那贺鲁则趁机发起叛乱。
显庆二年（公元657年），唐政府平定了西突厥阿史那贺鲁的叛乱，并吸引了罢四镇所招致恶劣后果的教训，于次年将安西都护府迁回龟兹城，恢复疏勒四镇的防守和管理。
咸亨元年（公元670年）四月，吐蕃攻陷龟兹拨换城（今新疆温宿），安西都护府被迫后撤，四镇再罢。
调露元年（公元679年），唐安抚大使裴行俭引军平定匐延都督阿史那都支等人的反叛，重置四镇。由副大使﹑安西都护王方翼在碎叶水旁的碎叶镇城以代焉耆。则从这一时期起，安西四镇改为龟兹﹑于阗﹑疏勒和碎叶（碎叶代替了之前的焉耆）。
垂拱二年（公元686年），吐蕃再次侵边，唐朝兵败，四镇再次失守。
长寿元年（公元692年），武则天平定诸王之乱后派武威军总管王孝杰等率军还击吐蕃，王孝杰身先士卒，在严寒中“裹足步行”，长途奔袭，经过一番艰苦卓绝的恶战，终于击败了吐蕃，收复四镇。
考虑到安西四镇多次失陷，武则天为巩固西疆的边防，先是遣军两万四千人常驻四镇。而为了使四镇形势彻底稳定，进而保证帝国对西域地区的控制，又逐年增兵。
在该背景下，狄仁杰经过深思熟虑，并缜密考证，上了一道颇受争议的《请罢百姓西戍疏勒等四镇疏》，其疏大意如下：
臣闻天生四方夷狄，皆在先王封域之外，东与沧海相距，西有流沙阻隔，北被大漠横断，南有五岭隔绝，这是上天用来限制夷狄而界别中外的。自从有上古典籍所纪，声威教化所及的，凡三代不能达到的，国家兼吞了它。这也是今天国家四周国境已远超夏殷朝的原因。诗人歌颂太原罕有攻伐，努力推行江、汉平原的教化，这也是前代遥远的苗裔已在我国域内之中的原因。前汉之时，匈奴无岁不犯边，杀人略物。后汉则西羌屡侵汉中、东寇三辅，入河东上党，几乎杀至洛阳。由此看来，今天陛下所辖土地，也已远过于汉朝了。
现在如果要到域外荒凉之地实施武力，在绝域中邀功，则会耗尽府库的财物，争来的却是贫瘠的不毛之地，得到了这些地方的人也增加不了多少赋税，得到了这些土地又不能耕田养桑，只求统率远夷，却不从事巩固本土，安定民心，这是秦始皇、汉武帝的所为，不是尧、舜；二帝及夏禹、商汤、周文三王的事业。
一味追求超越荒蛮以外的地域为国界，以在渺无人烟的荒漠中驰骋为快事，这是不爱惜人力的表现，也是失天下民心的原因。
昔年秦始皇穷兵黩武，以扩大国家版图，结果男子不得耕耘于田野，女子不得养蚕于户内，长城之下，死者如乱麻，于是天下溃叛。
汉武帝追思汉高祖白登之围的羞辱，凭借文帝、景帝大治的积储，定朝鲜，讨西域，平南越，击匈奴。造成府库空虚，招致盗贼蜂起，百姓嫁妻卖子，流离失所而流浪于道路上的人数以万计。汉武帝晚年终于觉悟，息兵罢役，封丞相为富民侯，尚能为上天所佑。民谚有说：‘再走翻了车的轨迹，未必就安全。’这话说的虽是小事，也可用来比喻国家大事。
近年来国家的军旅濒濒出动，军费开支巨大。西边戍守四镇，东边驻防安东，调度的费用逐年增多，百姓虚弊。开守西域，仿佛以石垒田，有损无益。辗转运输的车辆在路上往来不绝，就连车轴都被磨耗磨空。像这样穿越沙漠、渡过海洋，分兵防守，行役时间又长久，怨妇旷夫越来越多。以前有诗人称：‘王事靡监，不能艺稷黍。’‘岂不怀归？畏此罪罟，念彼共人，涕零如雨。’这些都是怨苦思念的词句。上对此如不体贴抚恤，那政令就不会行得通；政令行不通，就必然会使有害之气发生；有害之气发生，那毒虫螟蛉就会生长，水灾旱灾就会泛滥了啊！正值现在关东发生饥荒，蜀、汉之地有人流亡，江、淮及其以南地区苛捐杂税从未停止过。人民不能安居乐业，就会相率为盗，国家的本与根一动摇，忧思就不会少。究其原因，全都是贪功远戍方外，耗竭中国，争域外不毛之地，不体恤苍生子民的缘故。
以往汉元帝采纳贾捐之的计谋，停止了对珠崖用武；宣帝用魏相的策略，放弃了车师的土地。难道他们就不慕尚虚名吗？不，不是这样的，是因为他们担心劳困人力啊。
近贞观年间，攻克平息域外九姓部落，册封李思摩为可汗，让他统率各个部落，夷狄有叛乱的就讨伐，有投降的就安抚，这就有避免消耗、保存实力的意义而没有远戍劳苦百姓的徭役。现在阿史那斛瑟罗是阴山贵胄之后，历代雄驻沙漠，如果委任他驻守四镇，以统率域外各部落，封其为可汗，派遣他抵御寇患，那国家既有扶植部落的好处，又没有辗转运输的劳苦。放弃四镇，使中原得到好处；罢守安东，辽西获得实惠，节省远戍的军费集中兵甲器械镇守要塞，恒、代的镇守牢固，边关州郡也就丰足了啊！况且，历代抚绥夷狄，只是防其越境内侵，如果他们能安分守己，不侵袭我中原，我又何必穷其窟穴，像与蝼蚁计长短一般和他们缠绕呢？
况且，行仁政的外域安宁，可以缓解域内危机。希望陛下将绝域之地弃之度外，不要以之未平为念，只要下诏让边关军队谨慎守备，以逸待劳，那么将士们会力量倍增；以主抵御客侵，那我方就会得到方便；坚壁清野，敌寇就什么也得不到，如果他们主动出击，深入就有寸步难行的忧虑，浅入又没有缴获俘虏的好处。这样，不到几年，四镇与安东二处的敌寇可以不用讨伐就臣服了。这是名将李牧制匈奴之策，也是当今之要，这样坚持数年，便可使四镇与安东二处的敌寇不击而服。”
从狄仁杰的奏疏中不难看出，他所说的“请罢西戍”的本意并非是舍弃边疆不要，而是撤回镇将防人，把防务交给忠实于唐朝的羁縻府州长官即当地土著首领来负责，从而减轻国家财政和人力负担。
平心而论，幻想不费人力物力单靠羁縻政策就能维持边疆安定实属书生之见，此前唐朝就出现过拔四镇而引起边境防线大溃的惨重教训，但狄仁杰此议也体现了他那悲天悯人、痛惜国家力耗损的一片苦心。
狄仁杰此疏一上，即在朝廷上掀起了轩然大波
崔融、郭元振等人也纷纷上疏，四镇弃或守的问题这才有了定论，武则天继续向四镇增兵，西域的控制力也就继续牢牢掌控在唐朝的手上。
四镇之中，安西都护府设置在龟兹，龟兹即为安西四镇之首，常驻军有三万人。这三万将士平日按照军事建制进行屯田和放牧。朝廷对屯田管理异常严密，按照开垦的土地，每5000亩设一屯，屯兵500人。并非以军官担任管理者，而是从士兵中选拔“善农者”为屯官和屯副。
按驻兵屯田面积算，龟兹也名列最先，有“安西二十屯”之说。按照每屯5000亩算下来，唐朝守军在龟兹共开垦十万亩土地，建成了当时西域最大的屯田基地。
于阗位于塔克拉玛干沙漠南缘，是丝绸之路南道上的重镇。唐朝即以于阗为中心守卫和控制西域南部的边境线。
疏勒则是丝绸之路中道和南道的会合之地，唐朝将士屯戍的营地被称为“疏勒七屯”，驻守着大约3500名士兵，管辖周围三万多亩的土地。
碎叶的守军多达一万人，共屯田十万多亩。碎叶的名字被很多中国人所熟记是因为，它是唐代大诗人李白的出生地。
安西四镇的设置，不但使大唐的边境得以安宁，国家疆土也得到了更进一步开拓。而四镇将士的长期屯垦，在减轻了唐中央政府大量军费开支的同时，也大大增加了耕地面积。时至今日，龟兹、疏勒、于阗所在的今库车、喀什、和田等地，均是南疆地区的主要绿洲。
