主席最重的话是说：你们这回是站在右倾的立场上，有组织、有准备的进攻，其目的是动摇总路线、攻击中央领导。毛主席甚至还提到解放军跟不跟他走的问题。
我不能不表态说几句话，我说：我和彭相处久了，许多事都看不清楚。中央苏区后期，他说过还是要请主席来领导，我认为他不是不辨别正确和错误。他的个人英雄主义我有感觉，今天的会使我认识更全面。希望彭能冷静地听取批评，常委领导同志讲的话，都是好意帮助，等等。
会后，主席把我们四个列席的人留下，又谈了一阵，要我们别再受彭的影响。特别对周小舟寄以希望，要他“迷途知返”。这一串的会议给我的感觉是：主席要教育和争取我们回头。虽然我被认为是彭的亲信，绝对脱不了身，但那时似还没有要定为“反党集团”的迹象。
8月2日开中央全会。
主席讲话着重谈路线问题，谈党内有分裂倾向，右倾机会主义向党猖狂进攻。谈允许犯错误的人改正错误，一看二帮；批评、改正、团结等。
接着就是各组开批斗会，批“军事俱乐部”进入高潮。康生是批斗中最积极的人，又是发言、又是插话，又是整理材料送主席，拼命地表现他自己。林彪的作用也越来越重要。8月4日由少奇同志主持一个会，向新上山的中央委员通气，林彪第一个发言，长篇大论地指责彭，占了一大半时间。
原来小组会是按地区分组，后来就扩大了。我原在西北张德生负责的那个组，以后薄一波、罗瑞卿、谭震林、乌兰夫、蒋南翔、田家英等十几个人都参加了这个组。到中央全会时期，又合编两个大区的人为一个组，人数很多，林伯渠、吴玉章也都到这个组来了。我平生受过无数次斗争，感到最严重、使我难以支持的，还是庐山会议这一次。我一向有失眠症，经常吃安眠药，但最多不过两粒，这时每晚吃到六拉，还是不能入睡。
开始我的态度还很强硬，有人说我是彭的走狗，我气得要命，说：“你杀了我的头，我也不承认。对不合理的批评，就和批评者辩论。慢慢地，我意识到讲理、辩论都没用，就尽可能多听少说，多沉默，少争论。但我的检讨总是不能令人满意。
这时，有位中央领导同志找我谈话，谈了两次。他以帮助我摆困境的善意。劝我对彭德怀“反戈一击”。我说：“落井下石”得有石头，可是我一块石头也没有。我决不做诬陷别人、解脱自己的事。
但人们总以为我知道彭德怀的许多秘密，不满足于我只给自己戴帽子，逼着我交代彭问题。我实在没办法，只好找彭的秘书来帮我回忆，还是搞不出什么东西。彭还在碰巧能单独说话时，劝我别那么紧张。我说：右倾机会主义还不要紧，“反党”可就要紧了，我确实是很紧张。彭说：我这个人一辈子就想搞“富国强兵”，没什么别的想头。又劝我别悲观，似乎他还比我乐观些。但也不便多说，马上就走开了。
大约在8月10日，组里正在追问7月23日晚上周小舟、周惠、李锐到我那里到底谈论些什么。这时罗瑞卿带着李锐到我这组来参加会议。我马上紧张起来，心想一定是那天晚上他们说的话被揭露了。这里最关键问题是议论毛主席象“斯大林晚年”那句话。我深知他们当时很冲动，又都是一贯忠于革命事业的正直诚实的人，所以并不认为这话有什么了不起。但后来会议情况变得紧张、严重，我也明白这话必被误解。早些时，我曾劝过周小舟：23日晚你们出门便碰见罗瑞卿，定会引起注意，你们说过的这句话很容易被认为是反对毛主席，最好你们自己先向主席坦白说明情况。小舟说：不行了，晚了，现在去说，只会惹出祸来。因此，我也只能保持缄默。但这件事在我心里是个疙瘩。说不得，说了加害无辜；不说又是在隐瞒，作为一个中央委员，也觉得良心不安。而且，越拖很久、不是越显得“心虚”，显得事情严重么？组里正在穷追此事，我想，人家指明问那天晚上的事，我是中央委员，怎么能对组织隐瞒，只好如实说了那晚的前后经过，并说明我认为说话人并无不良用心，只是一时的冲动失言。
这就像爆发了一颗炸弹，全组立时哗然。我的解说毫无用处。他们又追问是谁说的？我当时并没对这话特别在意，实在记不清哪一个讲的。这时看到李锐，以为他说了些事，心想以他的为人，一定会自己承担责任，于是就说：可能是李锐说的，但也记不准了。后来周小舟自己承认多他说的。
这个“斯大林晚年”问题一出，会议就像烧开了的水一样，沸腾起来，似乎“反党集团”、“湖南集团”等均由此得到了确证。我前一段在组会上那么理直气壮地辩论，现在看来，都成了瞪着眼睛说谎话，证明我这个人非常不老实，完全不可信任。于是，“阴谋家”、“野心家”、“伪君子”的帽子都给我戴上了。身处此境，真是百口莫辩，跳进黄河洗不清，心里的那种痛苦，实在没法形容。可是还得开会，还得检讨，一次又一次，总是被认为不老实。
其他几个人也和我处于同样境地。听说彭德怀和张闻天也这么议论过毛主席，同样被揭露了。这就使参加会的同志都愤慨起来。
毛主席在党内的威信崇高，得到大家衷心拥护。到此时，那些在批“右倾”时内心里还对我们抱有同情的人，也改变了态度。毛主席当然更加重了“党内有阶级斗争”的看法。他以前着重在批斗彭德怀的右倾，还对我们做了许多争取工作。到这里，就完全认定我们是个“反党”集团了，只把周惠区别出来，说是沾了点边。按党内地位，我应排在张闻天之后，但我既然是军事俱乐部的主要成员，又是联结湖南集团的纽带，罪状严重，所以把我名列第二，放在张闻天之前，说成是“彭、黄、张、周反党集团”。李锐是毛主席的兼职秘书，因而参加了庐山会议，又因和我们观点相同，也陷入此案，但由于不是中央委员，没有和我们一道并列点名。
主席这时已确认我们是有组织、有目的、有计划地进行反党活动。常委也同意这个判断，于是在作决议之前，主要任务就是要我们认罪。
为此，请了几位老帅做彭的工作，又让陶铸来做我的工作。我相信陶能理解我们，于是对陶毫无隐瞒，把上山前后种种情况都和他讲了。我说：我们只是对当前情况看法相同；对主席23日讲话感到震惊；个别人在冲动中说了错话，又因怕被误解而不敢坦白交待；根本不存在反党活动，我无法认账陶铸第一次没有完成任务，第二次又来和我谈，说：不管你们主观上怎么想，但客观上表现出来的是有组织的反党活动；大家看法一致，你否定有什么用呢？我仍然不服地说：如果形迹可疑，就能定罪，那何必要我承认？陶铸又没有解决问题，于是第三次来谈。这次他对我责以大义，说：你总得为党、为国家大局着想才是。理在中央领导、各部门、各地区的主要领导都聚集在此，7月开了一个月政治局扩大会议，8月开中央全会也半个月了。再拖下去，对工作大大不利。目前事已至此，你不承认，大家通不过，最后还是得承认，何必再拖下去呢？我反复思考，现在处境确实困难，主席性格之强，我所深知。而且中央全体，除我们几个人外，都站在主席一边。个人受委屈、被冤枉毕竟是小事。听说彭德怀表示：他想通了，要什么，就给什么。我也只好照陶铸说的，“顾大局”吧。
冤枉自己也是不容易的事。叫我承认右倾，我可以心甘情愿，因为我心里从没有赞成过总路线、大跃进、人民公社运动。但要我承认反党，而且是有组织、有目的、有计划的反党，可太难了。实逼处此，硬着头皮违心地认账后，心中耿耿，无日得安。
彭、黄、张一个个被劝认账后，在大会上都做了检查，只有小舟没做。于是，八届八中全会在总理、彭真主持下，写出了决议草案。写成后又要我们签字承认。这字好难签，但我们已是不得不签了。
我们这样违心认罪，除了听从一些与我们关系好的同志劝告，要我们顾大局。暗示应牺牲自我外，还有一个因素，这一因素不仅影响我们，而且还影响许多中央政治局的领导同志和与会的成员。许多年来，在内战、长征中，主席的英明、正确已为全党所公认。抗日战争、解放战争和抗美援朝更使全党钦服主席的领导高明。他不时力排众议，而结果是常常证明他正确。所以我们已习惯于认为：主席比我们都高明，习惯于服从主席的决定，习惯于接受主席的批评，尽管心里有不同意见，也接受了。虽然这一次实在不能接受，也不应该接受，也强迫自己接受了。
等我冷静下来时，我认识到：违心地作检查，违心地同意“决议草案”，这才是我在庐山会议上真正的错误。使我后来一想起就非常痛苦。
中央领导多数仍希望只限于批评这几个人。不要扩大。
彭德怀出身于贫苦的劳动人民家庭，全心全意要改造旧社会，军功极大、地位很高，而从不忘本。他从小就是反抗性极强的人，而且总是带头为首。说他有个人英雄主义，入党后已改得很多了。说他桀骜不驯、好犯上，那也只是在他认为不对的时候。他耿直，讨厌捧场，建国后对歌功颂德看不惯。看不惯就要说，而且说得很难听，从不怕得罪人。这样的性格，如何能不遭疑忌？
早有一次，主席对彭开玩笑似地说：老总，咱们定个协议，我死以后，你别造反，行不行？可见主席对彭顾忌之深，而彭并未因此稍增警惕，依然我行我素，想说就说。他性格刚烈，遇事不能容忍，不大能适应人类社会的复杂性。水至清则无鱼，人至察则无徒，所以不易和领导及周围同志搞好关系。从主席批评彭的话中，可以看出他们两人的生活方式上也是格格不入，相处得不很愉快，多有误会。
毛主席建党、建军、建国的伟业，彭德怀身经百战的功勋，都是昭昭卓著的。两个人都十分忠诚于革命事业。谁能料到：他们竟因为某些观点的分歧和性格的差异，发生了一系列矛盾，形成颇深的成见。加以庐山会议时，上述种种因素，以至发展到不能相容的地步。庐山会议这一场悲剧有偶然的因素，但实非偶然。这个事件对我国历史发展的影响巨大深远。这不是一个人或几个人的悲剧，而是我党的悲剧。从此，党内失了敢言之士，而迁就、逢迎之风日盛。
8月16日，全会通过了公报和决议，其中主要的当然是《中国共产党八届八中全会关于以彭德怀同志为首的反党集团错误的决议》。这个决议当时没有公开发表，只在党内传达。《决议》宣布了对我们的处理，说：“把彭德怀同志和黄克诚、张闻天、周小舟等同志调离国防、外交、省委第一书记等工作岗位是必要的，但他们的中央委员会委员、中央委员会候补委员、中央政治局委员、中央政治局候补委员的职务，仍然可以保留，以观后效”。《决议》通过后，全会就闭幕了。
我于7月17日上山，主席23日讲话。从7月23日到8月16日，被斗二十余天。这时抱着一肚子冤枉，戴着“右倾反党”的帽子回到北京；真是没有面目见人了。
回京后的第二天，军委就开会。这头一次会议，人数不多。第二次大会在怀仁堂开，两千余人到会，声势浩大。彭德怀和我一起被批斗。对中央的决议，我们只能认账。但对会上许多“揭”、“批”的不实之词，我们就不认了。彭答辩，我也答辩。我已记不清彭在会场上的情况，只记得自己仍是一件、一件的和人们争论，甚至于吵起来。会场上显得很乱，开不下去。于是主持会议者决定：将彭、黄分成两个会场来批斗。
彭德怀可能仍在怀仁堂，我却改到紫光阁去开会了。但我的态度依旧，于是又批判我放毒。会议调整了对策，集中了所有和我关系多的人，要求他们揭发、批判我。为了避免包庇“反党分子”之嫌，许多人都得表现一下。于是这个说我是怕死鬼，那个说我是杀人犯。我明白，除个别的人另有个人目的，大多数人是迫于形势不能不批我。他们即使说得重些，我也能谅解，反正我的罪名已经够大的了，不在乎别人再多说一句两句，能少牵累一些人，也是好事。也有几位和我共事很久、了解我的为人的同志，在会上一直没有发言。这样做是要担风险的，连我都担心他们会受连累。
彭德怀被斗的隋况，我不清楚；只听说，逼他交待军事俱乐部人员时，他气极了，大叫：谁是军事俱乐部的成员，你们自己报名吧！这样，当然只能被认为是不老实。他又是反党集团的为首者，当然斗他更厉害。这样开了二十几天会，搞得人筋疲力尽。连彭德怀这样的硬汉也吃不消。据说他打电话给毛主席，主席就通知军委，不要再开斗争会了。
斗争会上对我的揭发中最耸人听闻的莫须有的“黄金”问题。提出此事的是空军的吴法宪。这一来又像是爆发了一颗炸弹，会上一片哗然。我一向被认为是清廉、克己人的，忽然间似乎成了大贪污犯，人们都感到意外，但了解我的同志都不信。
