范筑先是鲁西北著名的爱国人士，时任国民党山东省第六专区督察专员兼聊城县长、保安司令，曾在冯玉祥的西北军当过师长。在徐向前开进冀南之前，中共山东省委就已经派张霖之与他联系，建立了统一战线关系，并先后派去张维翰、张郁光、张承先、齐燕铭、袁仲贤、任仲夷、朱穆之等数10名共产党员，在该部工作。徐向前来冀南时，则把联合范筑先，将冀南与鲁西北的抗日力量连成一片，作为八路军推进冀南的任务之一。
6月中旬的一天，朱穆之陪同范筑先来到冀南，徐向前特地组织了盛大的欢迎会。徐向前在会上致词说："范司令是山东的抗战老人，他曾坚决拒绝了韩复榘叫他退到黄河南的命令，团结了鲁西北的广大民众，组织了抗日武装，建立了鲁西北抗日根据地。范司令这样的年纪，为了保卫民族的生存，不辞辛苦与敌人艰苦斗争的精神，是值得我们学习的。今后我们两个抗日根据地，要亲密的团结，加强联防，合力打击共同的敌人。"听到徐向前这一番热情洋溢的讲话，范老先生心情异常激动。他在讲话中慷慨陈词，说："我们过去是孤军作战，现在来了八路军，有了依靠，今后不再孤军奋斗了。我们要亲密配合，共同作战，保卫神圣国土。"欢迎大会上，人们为两位抗战将领的精彩讲话热烈鼓掌欢呼，口号声此起彼伏，气氛热烈而感人。
次日，徐向前和宋任穷、陈再道、刘志坚等人同范老先生正式会晤，开诚布公，交换意见。双方达成了互通情报，八路军帮助范部培训干部，冀南归八路军驻防和鲁西北归范部驻防，以及互不收编对方防区的杂色武装等协议。晚上，范老先生兴致勃勃，与徐向前剪烛夜话，谈得非常投机。范表示对坚持鲁西北抗战很有信心，并向徐向前请教游击战的方法，徐向前便向他讲了这方面的战术和发动群众的问题。
范筑先果然不负人民和八路军的重望，最后，当聊城遭到日寇侵略时，范老先生誓与聊城共存亡，壮烈殉国。
冀南打开局面后，中央又调徐向前到山东任八路军第一纵队司令员。山东敌后存在着敌、顽、我之间复杂的三角斗争关系，如何应付这种复杂的关系，也就成为战争指导者在用兵上要认真对待的一个大问题。徐向前十分注意把党的统一战线方针和策略贯彻到军事斗争的实践中去，区别对待各种政治势力，巧妙地利用矛盾，争取对我有利条件。面对山东顽固派接连发动对八路军进攻的严重事件，在打击顽固派的同时，徐向前非常重视争取和团结中间力量。于学忠是驻扎在沂蒙山区的国民党鲁苏战区总司令。他原是东北军张学良的部下，与蒋介石有矛盾，又不愿与蒋割断关系；不反对八路军抗日救国，但又怕八路军发展壮大；在八路军和国民党之间持中立态度。对于这种中间派，徐向前认为是可以争取的力量。于是他亲自出面，与于学忠谈判，争取说服他与共产党、八路军真诚地合作抗日。在谈判过程中，围绕政权问题，双方针锋相对，争论了两个多小时。徐向前提出共产党要在根据地内建立政权，于学忠不赞成。经徐向前有理、有节地反复解释，于不得不同意八路军可以在根据地内搞政权，但又说要"合乎法律"。意思是要经过省政府核准与委任。尽管最后未取得一致意见，但因考虑到于学忠是我们的争取对象，因此在谈话中徐向前始终注意掌握分寸，留有余地，求同存异，避免把关系搞僵。这次接触后，徐向前在向毛泽东等领导人的报告中这样评价于学忠：一般问题经解释后，尚不坏，于仍站在第三者的立场，但思想太旧，与沈鸿烈有矛盾。
由于徐向前对于学忠的团结和争取，使其在八路军和国民党顽固派之间保持了中立立场。面对八路军到处建立抗日民主政权，于学忠睁一只眼闭一只眼，因而与其避免了更多的磨擦，对山东抗日根据地的建立和巩固起了重要作用。1940年，毛泽东给徐向前通报消息说："重庆来电称，山东方面于学忠始终没一电来攻击和告发我们，顽方颇不满，最近似加强对于之压力，故有小磨擦云。于已成东北军之孤臣孽子，处境艰困。对于应极力争取，于我有利。"
为了争取山西地方实力派阎锡山的抗战，徐向前根据党中央和毛泽东的指示，在洛川会议后，跟随周恩来在岭口、太原、大同等地，参加了中国共产党同阎锡山的谈判等活动。在谈判前，徐向前协助周恩来作了大量的准备工作。徐向前与阎锡山是山西五台同乡，很清楚阎锡山的历史。他向周恩来提供了阎的一些情况，认为，阎锡山对付共产党的手腕，不亚于蒋介石。周恩来很重视徐向前的意见，在谈判中，否定了阎锡山要一二九师在忻口正面堵击敌人的意见，表示只能在敌侧后协同游击。
在此期间，徐向前曾随同周恩来到大同与编在阎锡山的第二战区的傅作义作过长谈，帮助阎锡山疏通关系，争取他与阎的配合，搞好大同会战。经过做工作，傅表示拥护民族统一战线主张，坚决抗战，拥护阎锡山的统一调动，同时，在阎锡山的要求下，徐向前还与周恩来、彭德怀一夜之间草拟了第二战区作战计划，使阎锡山对共产党人不得不另眼相看。
这次同阎锡山的谈判，主要有三个内容：一是坚持国共合作，共同抗日；二是八路军进入山西后的作战地域和方针问题；三是八路军的薪饷和装备补充问题。在谈判中，周恩来、徐向前对阎锡山的"联共"态度及"守士抗战"主张，给予了积极的评价。经反复商谈，阎锡山同意成立第二战区民族革命战争总动员会，进行动员民众的工作，并答应为八路军开赴晋察冀抗日前线提供方便，以及解决后勤供应问题。
徐向前回到久别的山西后，利用他和阎锡山的五台同乡关系，努力多做统战工作。他和周恩来一样，经常夜以继日地工作，会见各界人士，深入群众，利用一切机会宣传共产党的抗日主张。太原国民师范是徐向前的母校，他曾陪同周恩来去作过有关团结起来，结成坚固的抗日民族统一战线问题的讲演，而且一讲就是几个小时，台下的群众始终不肯离去，于是，他们的演讲直到深夜，在群众中产生了深刻的影响。徐向前还曾经应老同学武尚仁、郑季翘的邀请，到太原教育公会自省堂给一批平津流亡学生演讲。他向学生介绍了共产党的抗日救国纲领，回答了他们提出的问题。徐向前说："要做好抗日工作，首先要有夺取抗战胜利的信心。不论在任何情况下，坚定不移，毫不动摇。没有这一条，就谈不上做好抗日工作。其次，要有过艰苦生活的准备。胜利一定属于我们，但胜利是靠流血流汗、艰苦奋斗得来。万事开头难，要知难而进，不能碰到困难就打退堂鼓。第三，最重要的，就是要宣传民众，组织民众，武装民众。山西省地广人多，山高林密，把群众发动起来，我方到处是营垒，是战场，是打击日寇的生力军，就能陷敌于灭顶之灾。离开了民众，只身奋斗，将一事无成。"青年们听了，都很受启发。
山西省政府主席赵戴文，是徐向前在太原国民师范读书时的校长，此人当过南京国民政府的内政部长，是阎锡山的得力助手。他听说徐向前回到了太原，专门约见叙旧，徐向前也欣然前往。赵问徐向前："万一太原失守怎么办？"徐向前说："万一守不住，就要事先炸掉小钢厂、军工厂之类的工业设施，不能留给日本人。要组织民众，坚壁清野，把日寇困守在太原城内，逐步消耗和消灭他们。"赵点头赞同，事后，还向阎锡山转述了这个意见。赵戴文当时兼任山西省总动员实施委员会副主任，针对这一点，徐向前还着重谈了组织群众、武装群众的问题。他说："现在虽然从省到村都成立了动员委员会，立了方案、章程，但实际上是采取抓夫、摊派的形式，强迫群众挖战壕、抬伤员、运送军需品，这不叫组织群众，也不符合动员委员会的要求。"徐向前向他介绍了红军的经验，说："组织群众，要有真正的思想动员，要把群众武装起来，让他们自己保卫自己。"赵戴文表示赞成这个意见，后来果真搞了一些"人民武装自卫队"。太原、临汾沦陷后，这些"自卫队"有相当一部分转到八路军中，成了坚持抗战的人民武装力量。
此后，徐向前又根据八路军总部的指示，离太原去五台山区，派一个工作组去阎锡山的军队做统战工作(当时，五台山地区也有从雁门关、平型关一线撤下来的阎军)。当时正值阎锡山准备打忻口战役。徐向前在小豆村、分怀镇、东冶镇等地，陆续会见了杨爱源、李俊功、田世俊、金宪章等阎军军官，讲了些抗日道理和带兵经验。在小豆村，他与国民党第六集团军总司令杨爱源讨论了雁北局势。他对杨爱源说："你们最好不要用那种死守阵地的消极打法，还是打游击战，打到敌人侧翼和后方去"。又说："敌军锐气不可怕，可怕的是自己部队没士气。部队还是要有政治工作，多讲一些"大日本皇军"可以战胜的道理，把官兵的士气振奋起来。"杨爱源点头称是，说："希望你们到山上走一走，也给弟兄们讲一讲。"
徐向前除了会见阎军一些师团长官外，还注意做下级军官的工作，举行下级军官谈话会、演讲会，分析战争形势，介绍游击战争的战略战术，讲发动民众抗战，树立抗战必胜的信心。阎锡山部队的军官们很愿意听徐向前演讲，有的当场表示要向八路军学习，多打几个像平型关那样的胜仗。
太原失陷后，蒋介石怕日军向河南推进，派汤恩伯率三十一集团军支援山西。徐向前奉命率八路军三八六旅配合汤恩伯部，在和顺西部山区截击由正太路南进之敌，开展游击战争。在此期间，徐向前对汤恩伯也做了不少统战工作。汤恩伯是蒋介石的嫡系，其军队纪律败坏，刚开进山西，老百姓就尝到了苦头，怨声四起，阎锡山也抱怨他。同时，由于太原失陷后国民党军队士气低落，汤率部进到榆社即裹足不前。在榆社同汤恩伯会商协同作战事宜的谈判中，徐向前和刘伯承一方面向汤指明脱离了群众，便无法坚持抗战，八路军正是由于纪律严明，军民关系密切，才能屡屡克敌制胜；另一方面劝汤不要退往黄河以南，鼓励他从大局着眼，共同支撑山西的抗战局面。随后，徐向前又和赖际发同汤交谈了两个多小时，希望他认真考虑中共方面的意见，与八路军互相配合，搞好山西抗战。汤恩伯表示愿意携手合作，同舟共济。但又说，要服从军令，上面如果让撤，也没办法。结果没过多久，他便率部跑到河南去了。
抗战前后徐向前对国民党上层人士卓有成效的统战工作，对八路军在冀南、山东开辟和扩大抗日游击根据地，坚持游击战争，起到了重要的保证作用。
三、建立两面政权
坚持独立自主的敌后游击战争，巩固和发展抗日根据地，离不开建立抗日民主政权。徐向前非常注重建立和发展抗日民主政权。在建立政权的过程中，又十分注重建立两面政权。
在徐向前到山东之前，山东地区曾一度受王明"一切经过统一战线"主张的影响，在建立政权等问题上未能坚定地贯彻独立自主方针。中共中央指出：山东方面过去退让太多，如接受取消北海行政公署及北海银行；未能于省府、县长西逃时普遍委任自己的县长；有些已委任的，复接受沈鸿烈命令撤销；秦启荣形同汉奸，多次向我进攻，未能给予有效还击。如上述情形不加改变，山东创造根据地与坚持抗战是要受挫折的。
徐向前到山东后的一个突出感觉，就是政权建立的不够。当时各县政权还在国民党手里，它们大多听从于学忠、沈鸿烈的指挥，而不把八路军放在眼里，不仅不供应八路军粮食、衣物等，还威胁群众，限制群众同八路军接触。它们鱼肉乡里，作威作福，利用苛捐杂税压榨老百姓。有的还与日寇、汉奸暗中勾结，袭击八路军。由于没有自己的政权，八路军不能顺利地筹粮筹款，几万部队的穿衣、吃饭、医药装备供给等问题很难解决，发动群众也如行云流水一样，扎不下根基。部队在的时候，把群众发动起来；部队一走，群众就散了。因此，即使山东的游击战争有较好的基础，但仍谈不上抗日根据地的巩固。
为了建立抗日民主政权，徐向前首先同国民党苏鲁司令于学忠进行了谈判，明白告诉于学忠，共产党要在根据地内建立政权。尽管于不十分赞成，但在徐有理、有节的斗争下，也只好勉强同意，只是提出要"合乎法律"，要经省政府批准。徐向前不管那么多，先建起来再说。他认为把政权建立起来，批不批准就由不得他了。
