黄埔军校是“陆军军官学校”（后称中央军事政治学校）的简称，因校址设在广州郊区黄埔长洲岛而得名。1923年，张申府从欧洲回国到黄埔军校任政治部副主任，曾应时任军校总党代表廖仲恺和政治部主任戴季陶之托开出15人名单，推荐周恩来、周佛海、恽代英、赵世炎、高语罕、沈雁冰、欧阳继修（阳翰笙）等到黄埔军校任职。
1926年1月8日，邓演达被任命为黄埔军校教育长。1月9日，陈立夫被任命为军校秘书。1月19日，蒋介石被任命为改组后的中央军事政治学校校长，熊雄为政治部主任，语罕为政治主任教官兼入伍生部少将党代表。邓演达虽不是共产党，但是与语罕在德国时感情颇佳，堪称密友。
黄埔军校第一、二、三期学生都是当时各地的热血青年直接投考进来的。到了第三期学生快毕业的时候，军校为打牢军事教育的基础，便在本校两团学生之外，设立入伍生部。凡考取军官学校的，先须到入伍生部受基本军事训练，经过一定时期，始得入黄埔本校受训。
入伍生部的编制是一个师的组织，包括三个团。部长是方鼎英中将【注释1】，司令部设在广州长堤。语罕每个星期大概有三天要到部里办公，其他时间在军校为学生讲授政治学概论。周恩来讲国内外形势，恽代英讲社会进化史和青年学生运动。每次语罕来黄埔讲课，或是离开黄埔，邓演达都亲自安排船只接送。
邓演达性格刚强，为人正直，崇尚苏联式的军事和政治教育，惯常穿着长马靴，无论操课抑或平时，总是昂首挺胸，精神饱满，显示出标准军人气概。凡举行全体师生大会，无论时间长短，他挺直的身板和坐姿自始至终无半点变化，在师生中享有很高的威信。
语罕此时还是共产党黄埔党团的书记，后由恽代英继任。他们俩也是老朋友，都曾在安徽教育界做过事情。1921年，恽代英曾有《致泽民、语罕的一封信》，刊登在语罕主办的《芜湖》半月刊上。
此时国内革命形势高涨，广东地区急需大批干部。特别是为准备北伐，中共中央考虑进一步加强黄埔军校中党的领导力量。语罕和恽代英先后作为政治总教官广揽人才。譬如黄克谦从日本回国参加完国民党二大后，就接到语罕和恽代英的邀请：“克谦君台鉴：盼见电速来广州，就任军校政治教官，如能命驾不胜荣幸。”【注释2】
“由于很多青年学生过去读过语罕的《白话书信》，只要提到他的大名，无论识与未识，都是敬重的。再加上他口若悬河，讲得通俗、风趣，因而受到大家的普遍敬重。”【注释3】
在讲授政治学概论时，语罕仍提倡白话文。“他说白话文要成为革命事业的宣传工具，要求普及，用到革命生活一切领域中去。有一次他很风趣地说，‘同学们都是风华正茂的青年，也许百分之七八十都是没有对象的未婚者，以我在学生时代的经验，用文言文写爱情信，不如用白话文写爱情信，这是最能表达内心情感的，诸位努力写吧……’逗得大家捧腹大笑。另一次讲课中，他突然发问，‘谁读过冰心女士的《寄小读者》？如读过的话，请举手’。他的话刚落，举手的几乎占了全体学生的三分之二。高含笑地说，很好，《寄小读者》这部书，不只是一部新文学作品，也是一部极好的白话文范本。中国古典文学作品，最好的白话文范本是《红楼梦》、《水浒传》以及其他称为十才子的书。”【注释4】
语罕在军校中不仅得到学生的敬重，就是其他教员也非常喜欢同他交往。他的安徽同乡、时任入伍生队总队长的张治中，同语罕私交就非常好。
早在上海大学时，张治中就非常喜欢听语罕的课。“他在上大教授西方革命史，每周五次，每次两小时，既无课本，也无讲义，往往旁征博引，无所不谈。学生以其渊博动听，而时常满堂。”【注释5】
语罕同邓演达、恽代英、张治中由于言论和态度偏左，国民党右派视他们为“红色教官”、“赤色分子”，称他们为“黄埔四凶”。
【注释1】方鼎英：《我在军校的经历》，载《第一次国共合作时期的黄埔军校》，第72页。
【注释2】韦町：《世上有真情——黄松龄与杨淑贞》，红旗出版社1995年版，第83页。
【注释3】张卫强：《早期最受欢迎的教官高语罕》，载《黄埔》2004年第5期。
【注释4】文强：《我在黄埔军校的见闻》，载《第一次国共合作时期的黄埔军校》，第335页。
【注释5】尹家民：《蒋介石与“黄埔四凶”》，第46页。
