肃宗即位灵武，物色求访，会泌亦自至。已谒见，陈天下所以成败事，帝悦，欲授以官，固辞，愿以客从。入议国事，出陪舆辇，众指曰：“著黄者圣人，著白者山人。”帝闻，因赐金紫，拜元帅广平王行军司马。帝尝曰“卿侍上皇，中为朕师，今下判广平行军，朕父子资卿道义”云。始，军中谋帅，皆属建宁王，泌密白帝曰：“建宁王诚贤，然广平冢嗣，有君人量，岂使为吴太伯乎？”帝曰：“广平为太子，何假元帅？”泌曰：“使元帅有功，陛下不以为储副，得耶？太子从曰抚军，守曰监国，今元帅乃抚军也。”帝从之。
初，帝在东宫，李林甫数构谮，势危甚，及即位，怨之，欲掘冢焚骨。泌以天子而念宿嫌，示天下不广，使胁从之徒得释言于贼。帝不悦，曰：“往事卿忘之乎？”对曰：“臣念不在此。上皇有天下五十年，一旦失意，南方气候恶，且春秋高，闻陛下录故怨，将内惭不怿，万有一感疾，是陛下以天下之广不能安亲也。”帝感悟，抱泌颈以泣曰：“朕不及此。”因从容问破贼期，对曰：“贼掠金帛子女，悉送范阳，有苟得心，渠能定中国邪？华人为之用者，独周挚、高尚等数人，余皆胁制偷合，至天下大计，非所知也。不出二年，无寇矣，陛下无欲速。夫王者之师，当务万全，图久安，使无后害。今诏李光弼守太原，出井陉，郭子仪取冯翊，入河东，则史思明、张忠志不敢离范阳、常山，安守忠、田乾真不敢离长安，是以三地禁其四将也。随禄山者，独阿史那承庆耳。使子仪毋取华，令贼得通关中，则北守范阳，西救长安，奔命数千里，其精卒劲骑，不逾年而弊。我常以逸待劳，来避其锋，去翦其疲，以所征之兵会抚风，与太原、朔方军互击之。徐命建宁王为范阳节度大使，北并塞与光弼相掎角，以取范阳。贼失巢窟，当死河南诸将手。”帝然之。会西方兵大集，帝欲速得长安，曰：“今战必胜，攻必取，何暇千里先事范阳乎？”泌曰：“必得两京，则贼再强，我再困。且我所恃者，碛西突骑、西北诸戎耳。若先取京师，期必在春，关东早热，马且病，士皆思归，不可以战。贼得休士养徒，必复来南。此危道也。”帝不听。
二京平，帝奉迎上皇，自请归东宫以遂子道。泌曰：“上皇不来矣。人臣尚七十而传，况欲劳上皇以天下事乎。”帝曰：“奈何？”泌乃为群臣通奏，具言天子思恋晨昏，请促还以就孝养。上皇得初奏，答曰：“当与我剑南一道自奉，不复东矣。”帝甚忧。及再奏至，喜曰：“吾方得为天子父！”遂下诰戒行。
崔圆、李辅国以泌亲信，疾之。泌畏祸，愿隐衡山。有诏给三品禄，赐隐士服，为治室庐。泌尝取松樛枝以隐背，名曰“养和”，后得如龙形者，因以献帝，四方争效之。代宗立，召至，舍蓬莱殿书阁。初，泌无妻，不食肉，帝乃赐光福里第，强诏食肉，为娶朔方故留后李暐甥，昏日，敕北军供帐。元载恶不附己，因江西观察使魏少游请僚佐，载称泌才，以试秘书少监充判官。载诛，帝召还。复为常衮所忌，出为楚州刺史，辞不行，帝亦留之。会澧州缺，衮盛言南方凋瘵，请辍泌治之，乃授澧、朗、峡团练使，徙杭州刺史，皆有风绩。
德宗在奉天，召赴行在，授左散骑常侍。时李怀光叛，岁又蝗旱，议者欲赦怀光。帝博问群臣，泌破一桐叶附使以进，曰：“陛下与怀光，君臣之分不可复合，如此叶矣。”由是不赦。始，朱泚乱，帝约吐蕃赴援，赂以安西、北庭。既而浑瑊与贼战咸阳，泚大败，吐蕃以师追北不甚力，因大掠武功而归。京师平，来请如约。帝业许，欲遂与之。泌曰：“安西、北庭，控制西域五十七国及十姓突厥，皆悍兵处，以分吐蕃势，使不得并兵东侵。今与其地，则关中危矣。且吐蕃向持两端不战，又掠我武功，乃贼也，奈何与之？”遂止。
贞元元年，拜陕虢观察使。泌始凿山开车道至三门，以便饟漕。以劳，进检校礼部尚书。淮西兵防秋屯鄜州，已而四千人亡归，或曰吴少诚密招之。既入境，泌邀险悉击杀之。三年，拜中书侍郎、同中书门下平章事，累封邺县侯。初，张延赏减天下吏员，人情愁怨，至流离死道路者。泌请复之，帝未从，因问：“今户口减承平时几何？”曰：“三之二。”帝曰：“人既雕耗，员何可复？”泌曰：“不然。户口虽耗，而事多承平十倍。陛下欲省州县则可，而吏员不可减。今州或参军署券，县佐史判案。所谓省官者，去其冗员，非常员也。”帝曰：“若何为冗员？”对曰：“州参军无职事及兼、试额内官者。兼、试，自至德以来有之，比正员三之一，可悉罢。”帝乃许复吏员，而罢冗官。泌又条奏：“中朝官常侍、宾客十员，其六员可罢；左右赞善三十员，其二十员可罢。如旧制，诸王未出閤，官属皆不除。而所收科奉，乃多于减员矣。”帝悦。是时，州刺史月奉至千缗，方镇所取无艺，而京官禄寡薄，自方镇入八座，至谓罢权。薛邕由左丞贬歙州刺史，家人恨降之晚。崔祐甫任吏部员外，求为洪州别驾。使府宾佐有所忤者，荐为郎官。其当迁台阁者，皆以不赴取罪去。泌以为外太重，内太轻，乃请随官闲剧，普增其奉，时以为宜。而窦参多沮乱其事，不能悉如所请。泌又白罢拾遗、补阙，帝虽不从，然因是不除谏官，唯用韩皋、归登。泌因收其公廨钱，令二人寓食中书舍人署。凡三年，始以韦绶、梁肃为左右补阙。
太子妃萧母，郜国公主也，坐蛊媚，幽禁中，帝怒，责太子，太子不知所对。泌入，帝数称舒王贤，泌揣帝有废立意，因曰：“陛下有一子而疑之，乃欲立弟之子，臣不敢以古事争。且十宅诸叔，陛下奉之若何？”帝赫然曰：“卿何知舒王非朕子？”对曰：“陛下昔为臣言之。陛下有嫡子以为疑，弟之子敢自信于陛下乎？”帝曰：“卿违朕意，不顾家族邪？”对曰：“臣衰老，位宰相，以谏而诛，分也。使太子废，它日陛下悔曰‘我惟一子杀之，泌不吾谏，吾亦杀尔子’，则臣绝祀矣。虽有兄弟子，非所歆也。”即噫呜流涕。因称：“昔太宗诏：‘太子不道，藩王窥伺者，两废之。’陛下疑东宫而称舒王贤，得无窥伺乎？若太子得罪，请亦废之而立皇孙，千秋万岁后，天下犹陛下子孙有也。且郜国为其女妒忌，而蛊惑东宫，岂可以妻母累太子乎？”执争数十，意益坚，帝寤，太子乃得安。
初，兴元后国用大屈，封物皆三损二。旧制，堂封岁三千六百缣，后才千二百。至是，帝使还旧封。于是李晟、马燧、浑瑊各食实封，悉让送泌，泌不纳。时方镇私献于帝，岁凡五十万缗，其后稍损至三十万，帝以用度乏问泌，泌请：“天下供钱岁百万给宫中，劝不受私献。凡诏旨须索，即代两税，则方镇可以行法，天下纾矣。”
帝尝从容言：“卢杞清介敢言，然少学，不能广朕以古道，人皆指其奸而朕不觉也。”对曰：“陛下能觉杞之恶，安致建中祸邪？李揆和蕃，颜真卿使希烈，其害旧德多矣。又杨炎罪不至死，杞挤陷之而相关播。怀光立功，逼使其叛。此欺天也。”帝曰：“卿言诚有之。然杨炎视朕如三尺童子，有所论奏，可则退，不许则辞官，非特杞恶之也。且建中乱，卿亦知桑道茂语乎？乃命当然。”对曰：“夫命者，已然之言。主相造命，不当言命。言命，则不复赏善罚恶矣。桀曰：‘我生不有命自天。’武王数纣曰：‘谓己有天命。’君而言命，则桀、纣矣。”帝曰：“朕请不复言命。”俄加集贤殿、崇文馆大学士，修国史。泌建言：学士加大，始中宗时，及张说为之，固辞，乃以学士知院事。至崔圆复为大学士，亦引泌为让而止。
帝以“前世上巳、九日，皆大宴集，而寒食多与上巳同时，欲以三月名节，自我为古，若何而可？”泌请：“废正月晦，以二月朔为中和节，因赐大臣戚里尺，谓之裁度。民间以青囊盛百谷瓜果种相问遗，号为献生子。里闾酿宜春酒，以祭勾芒神，祈丰年。百官进农书，以示务本。”帝悦，乃著令，与上巳、九日为三令节，中外皆赐缗钱燕会。
四年八月，月蚀东壁，泌曰：“东壁，图书府，大臣当有忧者。吾以宰相兼学士，当之矣。昔燕国公张说由是以亡，又可免乎？”明年果卒，年六十八，赠太子太傅。
泌出入中禁，事四君，数为权幸所疾，常以智免。好纵横大言，时时谠议，能寤移人主。然常持黄老鬼神说，故为人所讥切。初，肃宗重阴阳巫祝，擢王玙执政，大抵兴造工役，辄牵禁忌俗说。而黎干以左道位京兆尹，尝使禁工骈珠刺绣为乘舆服，举焚之以为禳秝。德宗素不为然，及嗣位，罢内道场，除巫祝。代宗将葬，帝号送承天门，而辒车行不中道，问其故，有司曰：“陛下本命在午，故避之。”帝泣曰：“安有枉灵驾以谋身利？”命直午而行。又宣政廊坏，太卜言：“孟冬魁冈，不可营缮。”帝曰：“《春秋》‘启塞从时’，何魁冈为？”亟诏葺之。及桑道茂城奉天事验，始尚时日拘忌，因进用泌，泌亦自有所建明。独柳玭称，两京复，泌谋居多，其功乃大于鲁连、范蠡云。
子繁。繁少才警，无行。泌始起阳城官诸朝，故城重德泌而亲厚于繁。及疏裴延龄，既具藁，以繁可信，夜使繁书。已封，尽能诵忆，乃录以示延龄。明日，延龄白帝曰：“城以疏示于朝。”即擿其条以自诉解。城奏入，帝怒，遂不省。泌与梁肃善，故繁师事肃。及卒，焌其室，士议喧丑，由是摈弃积年。后为太常博士，权德舆为卿，奏斥之，改河南府士曹参军。累迁隋州刺史，罢归，不得调。敬宗诞日，诏与兵部侍郎丁公著、太常少卿陆亘入殿中，抗老、佛诵论。改大理少卿、弘文馆学士。谏官御史交章弹治，乃出为亳州刺史。州有剧贼，剽室庐、略财赀为患，它刺史不能禽，繁有机略，悉知贼巢薮所在，一旦出兵捕斩之。议者责繁不先启观察府，为擅兴。诏御史舒元舆按之，元舆与繁素隙，尽翻其狱，以为滥杀不辜，有诏赐死，京兆人皆冤之。繁下狱，知且死，恐先人功业泯灭，从吏求废纸，笔握著家传十篇，传于世。
赞曰：泌之为人也，异哉！其谋事近忠，其轻去近高，其自全近智，卒而建上宰，近立功立名者。观肃宗披榛莽，立朝廷，单言暂谋有所寤合，皆付以政。当此时，泌于献纳为不少，又佐代宗收两京，独不见录，宁二主不以宰相器之邪？德宗晚好鬼神事，乃获用，盖以怪自置而为之助也。繁为家传，言泌本居鬼谷，而史臣谬言好鬼道，以自解释。既又著泌数与灵仙接，言举不经，则知当时议者切而不与，有为而然。繁言多浮侈，不可信，掇其近实者著于传。至劝帝先事范阳，明太子无罪，亦不可诬也。
