入学之初，黄克诚情绪颇高，执意发愤读书。他懂得，能够争取到这样一个免费上学的机会是多么不容易，他的心情十分兴奋，因此，他非常珍惜这个学习机会，废寝忘食如饥似渴地努力攻读。学校食堂的伙食虽一向为学生们所不满，但对过惯了半年糠菜半年粮生活的黄克诚来说，已经很知足了。有饭吃，又有书读，脑子里似乎再没有其他什么想头了。但没过多久，这种平静、知足的气氛即被打破，他的思想发生了变化。随着生活环境和社会环境的改变，接触面的逐渐扩大，特别是读了一些过去所看不到的书刊报章之后，他脑子里考虑的问题也渐渐多了起来，社会的弊端，国家的前途，个人的出路等问题，一齐涌进脑海，使他无法平静下来。每当考虑这些问题的时候，都使他深感忧虑。瞻望未来，又不知向何处去。他常常独自坐在那里思过：读了师范以后干什么去？对国家、社会能起到什么作用？当时社会上就业很困难，像他这样一个贫苦农民子弟，有什么门路去谋上个职业？若能考大学也许会好一点，但学费、路费从何而来？既不能考大学，又无法就业，那么，眼下学这些功课又有什么用途？越想越觉得前途渺茫，脑子里像一团乱麻。于是，他的情绪日渐消沉，心境越来越感到郁闷，并写下这样一首打油诗：人生总共有几何？何必苦苦学几何？学了几何能几何？不学几何又几何？这一连串的问号锁着黄克诚的心，但他又不能从一连串的问号中自拔。
1923年的春夏之间，三师爆发了一场震动全省的学潮。作为新生，黄克诚虽然也卷了进去，但没有成为这次斗争的重要角色。通过这场斗争，他目睹政府的腐败，对一些高年级学生不畏强暴、奋不顾身的顽强精神感到由衷的钦佩。
这次学潮的导火索，是因为校长刘志远克扣学生的伙食费。按规定，学生每人每天的伙食费是两毛钱，但实际上学生们吃到的只有8分钱，其他均被校长等人克扣、中饱私囊。加上刘志远校长这一年来顽固守旧，反对改革教育，用封建专制手段压制学生爱国民主运动，学生们对他早已恨之入骨。这次学生们的怒火终于爆发出来。在教师张秋人、贺恕以及学生袁痴、黄静源等人领导下，进步师生发表了《改革校务宣言》，并向校方提出要伙食自治，但刘志远对此不理睬。愤怒的师生举行罢课，并派代表到长沙请愿，要求驱逐刘志远。
学潮以后，黄克诚对学业已毫无兴趣。他和黄庭芳等同学开始全神贯注地阅读各种书刊报章，深入探索国家、民族、社会、阶级等政治问题。黄克诚发现，国家、民族正受到外国列强的宰割，军阀战争连年不断，土匪蜂起，灾民遍地，民不聊生。他开始懂得，不光是自己苦于无出路，整个中华民族都处在水深火热之中。既然国家、民族、社会都面临着生死存亡，个人出路还从何谈起？于是，黄克诚的思想上发生了一个飞跃，他开始跳出个人的小圈子，不再冥思苦想个人的出路问题了，由过去为个人寻找出路，变为立志要为国家、民族、社会寻找出路。
当时国内的救国论调颇多，教育救国、科学救国、实业救国、佛教、基督教救国等，形形色色，五花八门。在认真地阅读了《向导》《新青年》《国民党第一次全国代表大会宣言》，以及民主革命先驱孙中山的一些著作后，他渐渐地悟出了一条道理：只有打倒军阀，中国才会有出路；要救中国，必须进行革命；要革命，就必须有革命党，即由立志革命者加入革命政党，带领全国民众进行革命斗争。当时，孙中山实行联俄、联共、扶助农工三大政策，并在苏联和中国共产党的帮助下，着手改组国民党，实行国共合作。黄克诚认为，国民党“一大”宣言不错，孙中山的一些主张很顺乎民心。于是，他就去寻找尚处于秘密状态的国民党，并于1924年冬在由共产党人贺恕等主持的衡阳党部加入了国民党。
加入国民党后，黄克诚手不释卷，潜心钻研介绍马列主义著作的杂志，终于悟出一条道理：孙中山的国民革命思想是不彻底的，不可能从根本上解决中国的社会问题。而人类社会问题和中国社会问题的根本解决，只能仿效苏联走社会主义道路，即实行彻底的无产阶级革命。于是，黄克诚最终选定了马克思主义无产阶级革命的道路，决心去寻找中国共产党。
黄克诚把自己的认识和想法告诉了志同道合的好友黄庭芳，两人不谋而合。1925年，中国共产党还处于秘密活动阶段。黄克诚从学潮及其他群众运动断定，其中肯定有共产党的领导。但究竟谁是呢？黄克诚和黄庭芳小心翼翼地苦苦寻找。10月的一天，黄庭芳激动地告诉黄克诚：“我找到共产党的关系了！”其实，最近一段时间，党组织也正对他们进行考察，所以黄克诚他们的入党申请一提出，很快就获得了批准。
1925年秋，从广州返回湖南的毛泽东建议派一些党团骨干到广州去学习，培养工农运动的领导人。中共湘南区委决定，派刚刚入党的黄克诚和黄庭芳等人前往。1926年1月，一路辗转、一路风尘的黄克诚来到了广州。
广州果然名不虚传。这里的革命气氛要比湖南浓得多。在广州，可以公开宣传国民党和共产党的主张，可以把革命的旗帜高高举起来。黄克诚到广州不几天，就仿佛深深地溶进了这浓郁的革命气氛中。
1926年春，他进了中国国民党政治讲习班，并领到了一支枪，跨入了军人的行列。
过了不久，他被派到唐生智的第八军担任政治指导员和政治教官。
从1926年7月到1927年4月，黄克诚随北伐军转战衡阳、长沙、岳阳、汉口、孝感、武昌、信阳、漯河、郑州等地。黄克诚以跨党党员的身份，在广大官兵和群众中做了大量的宣传鼓动工作，鼓舞了部队的士气。作战时，黄克诚也总是身先士卒，冲锋在前，与第一线的官兵打成一片，因而深受下级官兵的信任和拥护。
在北伐战争如火如荼进行的时候，蒋介石、汪精卫等人的反革命面目开始暴露出来。
4月12日，蒋介石在上海发动了震惊中外的“四一二”反革命事变。
5月21日，湖南军阀何键部第三十三团团长许克祥在长沙发动“马日事变”，大肆屠杀革命者。
7月15日，汪精卫也撕下了自己的假面具，公开背叛革命，国共合作破裂。在“宁可错杀一千，不可使一个漏网”的口号下，到处充满着白色恐怖。
面对反动派的嚣张气焰，黄克诚极为震惊和愤慨。原来对唐生智和旧军队存有的一丝幻想荡然无存了。这时，共产党在北伐军中的组织几乎陷于瘫痪，黄克诚急切地想得到党组织的指示，望眼欲穿，但总不见有人同他联系。虽然第四集团军的国民党右派还没有对共产党人下毒手，但黄克诚似乎已经听到了霍霍的磨刀声。
10月份，黄克诚决定离开芜湖的唐生智部，自己去找党组织。
在北伐军这一年多的时间里，黄克诚以其正直的为人、朴实的作风与许多官兵建立了深厚的友情。他想先用一两天时间告告别，同时也做好了应变的准备。这天夜里，皎洁的月光透过窗户洒进屋里，黄克诚把手枪压在枕头下面，和衣躺在床上，在朦胧中进入了梦乡。
突然，一阵轻轻的叩门声把黄克诚惊醒。他不答话，轻轻摸出手枪，带上眼镜，蹑手蹑脚地走到门后，轻声问：“谁？”
“我，刘川。”黄克诚知道，刘川是国民党员，但思想很进步。
“快开门吧！”门外的声音很急促。
黄克诚从门缝朝外看去，月光下，门外一片寂静，他把门开了条缝，刘川一偏身子挤了进来：“老黄，你快走吧！”
黄克诚问：“怎么了？”
“要清党了，团里刚开了会，今天下半夜行动，命令我来抓你。我怎么能抓你呢！咱们是共患难过的朋友，先来报个信，你快收拾一下走吧！”
黄克诚握住刘川的手：“谢谢你了，老刘。”
刘川说：“还谢什么，咱们后会有期。”说着，他一偏身子，又从门缝挤了出去。
刘川走后，黄克诚收拾一下，离开了部队。上哪儿去呢？他走在洒满月光的小路上，心里不住地思索着。
11月，黄克诚回到了家乡永兴县，开始从事地下革命活动。
大革命失败后，全国处于革命低潮。湘南各县在“马日事变”后，革命力量遭到严重摧残，大批共产党员、共青团员和革命群众被国民党反动派屠杀，党的基层组织被破坏，少数幸免的党、团员和革命积极分子，由于环境所迫，不得不隐蔽起来，不敢公开露面了。
12月的一天，黄克诚到县城去，走在街上，突然有人在身后拍了他肩膀一下，一回头，他不禁叫出声来：“邝振兴！”
邝振兴是黄克诚在衡阳三师时的同学，也是永兴旅衡学友互助社的成员，并且加入了中国共产党。
黄克诚亲热地拉住他的手：“振兴，我可真想你呀！你现在怎么样？找个地方好好摆摆。”
正巧，街边有一个小茶馆，两人走进去，要了一壶茶，一碟瓜子，坐在一张吱吱嘎嘎快要散了架的桌边。邝振兴倒上一杯茶，放到黄克诚面前，叹了一口气：“唉，咱永兴旅衡同学，走的走，死的死，碰上一个熟人可真难啊！听说你随军北伐了，怎么回来的？”
茶馆门口，走过一队荷枪实弹的国民党兵，刺刀尖在阳光下闪着光。突然，响起一阵急促的哨音，踏在石板路上的齐步变成了嘈杂的跑步，接着，一个破锣嗓子吼道：“大伙儿都不准动，听候检查！”
黄克诚与邝振兴对视一眼，都从对方的眸子里看到了镇定。两人接着喝茶。
咯咯的皮鞋声进了茶馆，几个黄衣士兵闯了进来。那个破锣嗓子看来是个小头目，手里提着一支驳壳枪，站在那张破桌子前：“你们两个，干什么的？”
邝振兴站起来：“我是县立高等小学的教员。”
黄克诚也站起来：“我是种田的。”
“哼！”破锣嗓子从鼻子里发出声音来，“一个教员，一个泥腿子，你们怎么混到一起了？”
邝振兴说：“我们在衡阳三师是同学。”
“念过师范？那你怎么不教书啊！”破锣嗓子用手指指黄克诚。
“是啊！我正想找个事做呢，老总能帮忙吗？”黄克诚马上接过话茬儿。
破锣嗓子鼻子都气歪了：“你他妈是我老丈人，我还帮你的忙？晦气！走！”说罢，领着士兵，转身走了。
这时，茶馆门口响起一阵嘶哑的喊声：“还我儿子！还我儿子！”一个瘦骨伶仃的老太婆，在石板路上艰难地爬着，喊着，膝盖磨破了，在路上留下一条殷红的血迹，满头白发乱蓬蓬的，把她的脸衬得更黑更瘦。
邝振兴难过地说：“她的儿子是官庄农协的委员长，被杀后剁了三截，装在筐里游街示众，老太太疯了。她就这么一个儿子！”
黄克诚的拳头攥得紧紧的，从牙缝里挤出一句：“许克祥这个王八蛋！”
邝振兴看着黄克诚说：“看得出来，老同学，你没有变。”
“那你变了吗？”黄克诚反问。
两人心照不宣，都笑了。
这次见面以后，黄克诚和邝振兴开始联络更多的人，很快他们找到了李卜成、何宝成、黄平、刘木等人，这些人都是永兴旅街学友互助社的成员，都是黄克诚的老相识。不久，黄克诚又在县城找到了向大复。向大复在街上开了个照相馆，但这是掩护，实际上，是湖南省委派他来主持永兴党的工作的。向大复刚到永兴不久，正苦于找不到几个同志，看到黄克诚带着上级的介绍信找上门来，兴奋极了。
黄克诚也非常高兴，他又与党组织接上了头，再不是断了线的风筝了。他和向大复等人又发展了李卜成、尹子韶、刘木、何宝成、刘明初等人加入了党组织，永兴党的力量开始壮大起来。
岁末的一天夜里，县城附近的白头狮宝塔。永兴县的全体党员集中在这里，召开一次非常重要的会议。向大复首先传达了中央临时政治局扩大会议的决议，决议号召全党组织武装暴动，夺取政权，实行土地革命，建立工农革命军。
传达完决议，一个工人装束的青年便站起来，急切地说：“我同意这个决议，应当马上举行暴动，为死难的同志们报仇。”
有人附和说：“我也赞成。同志的血绝不能白流，要让反动派也看看颜色！”
宝塔里很黑，黄克诚看不清同志们的面孔，只见几个红红的烟头在一闪一闪，但他知道，大多数人赞同马上暴动。他扶扶眼镜，打破了短时间的沉默：“第一，同志们的血不能白流；第二，要组织暴动，这没问题。可是，我看现在时机还不成熟，连‘暴徒’我们也没联络上几个，只有这几个党员，手无寸铁，马上去贴标语，喊口号，攻县城，后果是什么？”
黄克诚知道，同志们对国民党反动派恨得咬牙切齿，恨不得一个早晨就把他们扫除干净。就是他自己，又何尝不想早一天真刀真枪地同敌人干呢！可是，回家乡这段时间，他作过周密的调查，知道还不具备马上暴动的条件，硬拼是要吃亏的。想到这儿，他接着说：“右倾，我们要反对，可是，不从实际出发的盲动，我们也要反对。我们要好好清清自己的家底，看看有多少人、有多少枪，也要好好看看敌人的势力，孙子兵法说，知己知彼，百战不殆嘛！”有人问：“那毛泽东领导的秋收起义呢？他们是蛮干吗？不是成功了吗！”
黄克诚耐心地说：“秋收起义的成功，有成功的原因。他们有党领导的军队作骨干，有农民的普遍发动，又有一个很好的时机，我们有什么呢？”向大复一直听着大家的争论，没有说话。这时他提出了一个问题：“湘南特委指示我们暴动，我们要不要执行？”这的确是个问题，大家顿时沉默起来。
黄克诚沉吟片刻，打破了寂静：“我看这样，可以先围绕暴动做准备工作，指定负责人，发动群众，寻找武器，等时机成熟，我们再揭竿而起。”尹子韶一拍手：“我同意这个观点。”尹子韶在县立高等小学当过地理和体育教员，曾经是黄克诚的老师，他十分器重自己的这个学生。他接着说：“我看，就叫黄克诚和向大复一起负责暴动的准备。”
这样，形成了永兴党的一个重要决定：伺机暴动，由向大复负责江右即永兴县东部地区，黄克诚负责江左即永兴县西部地区。1928年农历正月的一天，李卜成兴冲冲地跑来找黄克诚：“告诉你一个大好消息，工农革命军的队伍占领宜章城了！”“真的？”黄克诚问。“骗你是这个。”李卜成的右手作乌龟状，“听说，是个漂亮仗呢！”
“你听谁说的？”
“一个挑盐的。他告诉我，坪石来了工农革命军，为首的姓朱，打败了白军。盐平时卖9到10块钱一担，现在工农革命军用1块钱一担卖给农民。”原来，朱德和陈毅率领南昌起义的部队，千里转战，历尽艰险，到了湘南。他们决定实行湘南暴动的计划，第一个目标，是攻占宜章。
