大家还记得，“优待条件”中有一条规定，皇帝可以暂时住在紫禁城，但是他的永久居住地应该是颐和园。这一坐落在乡间的皇室居所，被外国人称为夏宫。
自担任帝师后，我便主张皇帝搬去颐和园居住。因为皇室和民国政府签订的“优待条件”有这么一条，我不断向内务府以及满族亲王，甚至皇帝提议，尽早到那里居住。
我这样提议是有原因的。首先，皇室因民国政府履行“优待条件”，处境有所改观。但是，皇室同样也要履行条约内容。诚然，除了袁世凯之外，民国政府没有正式提出，让皇室到颐和园居住。只要皇室没有公开表明拒绝此项要求，就表明皇室愿意遵守条约内容。可是，自“优待条件”签订后，皇室已经在紫禁城居住了12年，似乎还想继续居住下去。假如这件事不尽快处理，皇帝很容易被人指责违背退位协议。这样，皇帝就要无辜地为那些企图废止“优待条件”的人提供借口。这些反对清朝的政治家以及那些支持共产主义的学生们会利用这件事情，以皇帝意图违背条款为由，乘机将“优待条件”废除。
其次，我认为如果皇室到颐和园生活会减免很多不必要的开支。而且，很多官职都无用，如果精简机构，几年后，皇帝会有一定的积蓄，或许很快就能依靠自己达到收支平衡。我明白我的想法是可行的，这也是内务府一直反对我的原因。1923年，我和内务府大臣耆龄讨论过皇帝迁往颐和园的事情。他反对我的提议。他认为颐和园空间不足，无法安顿内务府官员以及相关仆人。我指出颐和园完全可以安顿皇室成员以及仆人，还可以精简机构，削减宫廷开支，这样皇帝就可以拥有个人存款，以便日后的不时之需。况且，迁往颐和园是迟早的事情。但他坚决反对精简机构，并毫不理会我的理论。我也曾和其他的官员讨论这些问题，但是得到的结果都一致。这些人只是表面上对皇帝毕恭毕敬，却并不是真心效忠于皇帝，在皇帝有难的时候，绝不能期待他们会为了保护皇帝而牺牲自己。另外，他们绝对不允许自己的利益遭到损害，因此他们才反对精简机构、缩减俸禄。
这些人只在乎与自己利益有关的事，皇帝的未来则被无视了。我也不想对他们讲我的另一个理由，我希望皇帝去颐和园生活，是因为那里的生活有益于皇帝的身心健康。内务府一直坚持皇帝必须留在皇宫中。皇帝因为内务府的阻挠根本没有机会见到颐和园真正的面目。内务府为了阻止皇帝搬去颐和园居住，还用尽了各种办法，竭力让皇帝相信颐和园偏远且荒凉无比，且周围盗匪横行。另外，那些反对皇帝的政治家以及其他所谓的爱国者，也会对皇帝造成一定的威胁。他们所谓的要占据紫禁城的理由只有一个我是比较认同的，那就是皇宫中的珍宝无法全部移到颐和园中。假如这些珍宝留在皇宫中，那么其所有权就会归属民国政府，皇帝与它们可能无缘再相见，这是事实。这些珍宝到底归属皇室还是国民政府，还没有一个公认的定论。不过，这个问题必须解决。而且，情况非常明显，皇室必须做出让步，主动和民国政府合作组建调查组，将这批珍宝定为国家级珍宝，那么这批珍宝的所有权自然而然就归属于了皇室。
皇帝任命郑孝胥为内务府总管大臣，我认为这是一个契机，能够仔细处理这些问题。郑孝胥和我的想法基本一致，最多只是细节处意见不同，这让我非常高兴。郑孝胥也认为皇室应该立即履行“优待条件”，从皇宫迁移到颐和园。不过，他的意见很坚定，迁移事关重大，必须占用一些时间筹划。他目前还有任务要完成，除了要整顿内务府，裁减无用官员，还需要重新统筹颐和园以及周围的地产，并进行合理管理。另外，也要对颐和园进行一些修缮和改造，明确经费使用，因为最近几年虽然有不少可观的经费，但总有很大的亏空。
颐和园一直由内务府管理，郑孝胥认为由我全权负责颐和园比较合适。于是，他请求宣统皇帝任命我为钦差大臣，直接向皇帝本人负责。内务府的官员对我成为钦差大臣这件事非常惊讶。他们认为，内务府总管大臣的职权首次被一个汉人掌握就很糟糕了，现在令他们更加难堪的是，一个外国人竟也可以使用部分皇权。而且，他们无法接受的是，要由他们授任我这个职位。这份任命书可谓是史无前例的：
敬启者，本日总管内务府大臣面奉谕旨：派庄士敦管理颐和园、静明园、玉泉山事务
钦此。用特肃函奉，闻即希遵照可也专此藉颂
时绥
内务府启
内务府在颁布我的任命书后，又听到了一个如惊雷般的消息，即皇帝和皇后要参观颐和园。皇帝在做这个决定前，曾向我简单地了解了颐和园的概况，然后就下令侍从准备他和皇后去颐和园的汽车。在这之前，皇帝出宫的机会特别少，最远也只是到过醇亲王在北京城北的府邸，还从来没有去过北京城以外的地方。内务府极力劝阻皇帝出行，它们提到了各种可能遇到的危险，不过，皇帝无动于衷。绍英请求我出面劝阻皇帝。当他得知我完全同意皇帝出行后非常生气，威胁我说假如皇帝出行过程中出现什么闪失，要我负全部责任。我欣然同意。
之后，内务府又向民国政府请求帮助，希望民国政府能够劝阻皇帝。但是，民国政府并未插手此事，不过民国政府还是派遣了六辆车随行，它们主要的任务是防止皇帝去使馆区。皇帝参观颐和园这件事看来已经无法更改，内务府只好派遣了六辆车，包括绍英在内的一些官员随行。最后，一共有十四辆车赶往颐和园。皇帝和我坐第一辆车，皇后和淑妃紧随着坐在第二辆车上。
这次出行非常顺利，不过内务府的感觉应该比较糟糕。皇帝对颐和园的印象非常好，对整个旅程也非常满意。颐和园并不像内务府某些官员说的那样破败不堪，相反，它相当完好，景色非常优美。皇帝在其中游玩，登上不同的阁楼眺望美景。颐和园有一个景色极为优美的地方，被奉为明珠，这就是南湖岛。皇帝游览完亭台楼阁后，便登船去南湖岛，皇后和淑妃则在另一艘船上随行。
这一天，我正式掌管颐和园，并和颐和园中的官员见面。此后我便经常在紫禁城和颐和园这两处地方奔波，偶尔也会去樱桃沟休息，那是我的一处宅院。皇帝也经常到颐和园，当然每次都有官员和士兵的车队随行。其实，内务府和民国政府这样做多此一举。有时候，皇帝也作为我的客人在颐和园和我共进午餐，我向他介绍我在颐和园内结交的外国友人以及一些认为可以结交的中国人。
以前，乾隆皇帝十分喜欢位于西山半山腰处的八大处寺庙群。1924年8月，我陪同宣统皇帝游览了这个景点，这是他第一次在山间游玩。我们也曾在颐和园的昆明湖中划船。最初，颐和园的渡船非常笨重，我想这样的渡船比较适合慈禧太后。不过，它并不受皇帝和我的喜爱。于是，我让人在上海、天津和烟台各造了一艘船，并将它们起名为“爱丽儿”“阿特拉斯的女巫”以及“阿拉斯托耳”。“爱丽儿”是一艘能够移动座位，有外弦支架的船；“阿特拉斯的女巫”是一艘带有固定座位的划艇；“阿拉斯托耳”则是皮艇子。1924年11月，因为某件事情，我无法继续在颐和园任职。当时，三艘船都已经完工，但是只有“爱丽儿”和“阿特拉斯的女巫”这两艘船运到了颐和园。官员对这两艘船非常好奇，尤其是“爱丽儿”，他们从未见过这样的船只。而且，他们对皇帝亲自划桨这件事也感到惊慌。因为，他们一直认为划桨是低贱的工作。
我在颐和园任职的时候，可以自由挑选住处。我选择的地方是南湖岛，它景色优美且非常适合生活。不久，我发现这个地方不方便工作，便搬到了“湛清轩”。这是一处僻静的花园，围墙之内，小溪潺潺，凉亭几许，建筑风格非常像“谐趣园”四周的建筑。虽然我工作的地方景色优美，但是这繁重的工作和复杂的人际关系却让我觉得一点都不轻松。我的一些西方朋友也在北京居住，他们认为我的工作非常悠闲舒适，那是他们无法了解这份工作的沉重以及这份工作让我处在一个什么样的环境之中。我必须忍受同事们的嫉妒和敌对，为改革紫禁城管理方式同官员抗争。他们一直对我以礼相待，却从不支持我的工作，尤其是缩减宫廷开销这方面。只要有人离职，我就会收到大量的候补名单。若是我宣布取消这个无用的职位，就必须忍受他们的不满之情。
我在负责房屋修缮方面，遭到了他们的阻挠。最初，他们提供给我两个承包商。这两个承包商都是海淀村的，而且似乎一直负责颐和园的修缮工作。我让这两个承包商对修缮费用做一个整体评估，他们提出的价钱非常高。于是，我为寻找更好的承包商将消息刊登在北京的报纸上，结果造成了不小的影响，引起媒体的评论。最后，工程如期完成，还节省了近百分之八十六的费用。开始时，有官员告诉我说那两个承包商报出的价格在合理范围内。另外，我的工作取得了一定成果，那些思想比较活跃的下属开始认同我的工作。他们在我的引导下已经认识到改革制度，减少开销非常有必要。这些人开始支持我的工作，逐渐成为皇帝忠诚的臣子。改革带来的成果比我预想的要晚很多。但在这年秋季，颐和园的财政已经可以自负盈亏了。曾经，它的花费一直让皇室倍感压力。现在，通过收取农田的租金，颐和园、玉泉山的门票收入、昆明湖渔业资产以及同一些商人合作所得的分红，例如位于玉泉山的一家旅馆、一家照相馆、几个茶馆等，这些收入来源都平衡了颐和园的开销。
许多人为了让我离职用尽办法，有些很幼稚。1924年，我收到很多恐吓信件。有封信是这样写的，他先表明对我的尊敬，然后提醒我说有人想行刺我。我喜欢骑马在颐和园和紫禁城之间奔走，有一次，一个受雇佣的杀手在路途中埋伏，朝我开了一枪却并没有伤我分毫。不过，还有些强盗一定非常懦弱无用，我骑着马在这条路上来回多少次，他们却不能抓住机会下手。
我的敌人不止是内务府中嫉妒我的官员，以及颐和园那些无用之人，还有一部分学生掌控的媒体。一些同俄国大使联系密切的政治家利用学生们对政治的热忱，将他们带入思想偏激的道路。他们总是伺机对帝国主义以及皇帝展开攻击，在报纸上发表言论。这些人对宣统皇帝非常不尊敬，直呼他为“溥仪”。他们在1924年有很多次行动，其中一次应该讲一下。
《大晚报》在1924年9月份刊登了一篇文章，文章内容非常粗俗。这位作者说，“溥仪”的英语老师将自己的女儿带到皇宫，安排她同“溥仪”见面，这绝对是心怀不轨。“溥仪”对这位老师的女儿印象不错，这位老师考虑了一下全局，便将女儿留给了他。
