邢澍一面大力建设文化教育基础设施，一面在社会公益事业建设方面也投入了大量心血，取得了良好的社会效果。以下从三个方面加以阐述。
其一：修建留婴堂。邢澍认为“好生者，天地之大德，保赤者，帝王之仁心”（《留婴堂碑记》）。过去，长兴民众曾送孩子到湖州府育婴堂，但家境困难的人苦于路途远涉，仍不免遗弃伤生。邢澍的前任曾在县城宜春门，募征民房作为育婴堂，因经费短缺，方兴旋废。邢澍任职长兴后，听闻无人收养的孤儿和无力抚养的婴孩或弃或亡，惨痛的现实触动了邢澍的内心伤痛，勾起了他对自己儿时苦难生活的回忆。面对现实，他作为一县父母官，内心愧疚焦虑。他感叹道：“父母生之，为民父母者不能使之自育，而又不能代为育之，于心安乎？ ”（《留婴堂碑记》）邢澍决意倡建留婴堂。
嘉庆七年（1802年），他捐俸倡导，孝廉朱适等乡伸捐款2200两作经费，光禄寺署正朱黻升捐出嘉会门内6间房舍，稍加修葺作为留婴堂。邢澍亲自主持，“详议条规，通详立案”（《留婴堂碑记》），制定管理条例，开堂育婴，择媪分哺。开堂后，邢澍又捐廉俸，补充留婴堂的经费。留婴堂开办，在社会上引起了很大反响，邢澍本人也比较满意，认为自己完成了一项“上扬圣世育物之仁，下殖兆姓生灵之命”（《留婴堂碑记》）的光辉事业。
其二：建造桥梁，浚导渡津。长兴地处江南水乡，位于太湖西岸，水道纵横交错。境内有廿字河、箬溪水、四安水、笤溪水穿城而过。县署前廿字河上原建有程氏桥，宋初名广利桥，明万历间知县熊明遇重修后，到邢澍时已经历了200余年，杠梁侵损，形势欹危。嘉庆六年（1810年）秋，邢澍考绩归来，捐俸倡举，绅士耆民共同吁请，“愿以城厢市房本年租金捐一月之半，其租户亦捐半月以成此举”（《重建平政桥记》）。于是，邢澍派县尉为工程监督，以当地名宿负责管理修建。民众纷纷捐资出工，八月动工，十一月建成。因管理严格，工程顺利进展非常，“事不烦而民为扰”，邢澍称赞此举是平政之道，欣然名之为平政桥。
次年，邢澍又倡导修建了丰乐桥，原桥系明嘉靖间县令著名的唐宋派散文家归有光创建，在县城便名仓前，跨箬溪水、四安水和笤溪水。因在八卦中以震卦象征龙和东方，地形家谓龙自震方而来，所以桥建成后，归有光命名为震龙，俗称仓桥。由于年久失修，损圮严重，嘉庆七年九月邢澍捐资重建，经过三个月的奋力修建，终于告成。邢澍高兴地说：“予既乐其岁物之丰成，而民亦知所以安，此丰年之乐也。”（《重建丰乐桥记》）桥建成后，绅士耆旧纷纷吁请更名，邢澍命名丰乐桥。
长兴濒临太湖，入湖之水口有近40处，风起浪涌，屡有船舶陷于蛟窟。明嘉靖时，邑人联合掘凿山趾，开通了自长兴县坍湀至徐娄的里河，并筑石塘以捍卫湖水冲突侵袭。舟行里河，如过枕席之上，平稳自如。至嘉庆间，石塘港逾260余年，沙石淤积，难以畅通，直接影响了长兴交通经济的发展。邢澍亲临石塘港勘察后，慨然捐俸，清理港道，并躬身到工地解决问题，不到两个月工程完竣，里河重新畅行无阻，过往商旅无不交口称赞。
其三：保护森林，重视消防。邢澍具有积极的环境保护意识和消防意识，具有人与自然和谐共处的思想理念。长兴县境名山环簇，有顾渚山、金莲山、弁山、子山、五峰山等，山山相连，林木茂盛。由于管理不严，地方顽民凿山开窑，伐木烧炭，谋取暴利，长期得不到根治。邢澍到任不久，白石山护龙庵主持丁元荐立即上书邢澍，反映白石山自然生态遭到破坏的情况。邢澍率领官员亲自到白石山实地察看，了解详情。面对惨景，他痛心疾首，即刻派人抓捕毁山者处以重罚。他又担心嗜利之徒，日久而故智复萌，亲撰《白石山碑记》，树碑永禁，警示民众，只许上山采樵，不得开山烧凿，“并以告后之莅斯土者”，必须严加管束。在邢澍重力治理下，长兴县境毁坏森林破坏生态的事件终被禁止。
邢澍是一位很有远见的封建官吏，他看到长兴虽为水乡，但居民稠密，火患频繁。为了减少火灾给民众带来的损失，嘉庆七年（1802年），他亲手组建了一支消防队，捐俸购置了消防用具铁挠钩、粗拉钩、绳索、钅郎头、大云梯、烧笼、水缸等，又从各役中挑选了80 名精干者充为火兵，同目兵一起训练，轮班值日，日夜整装待命。这支火兵，为保护民众生命财产做出了巨大贡献。邢澍撰写了《救火记》一文，记述了组建火兵的过程和火兵的功绩。
三、邢澍的政治思想
邢佺山先生的政治思想核心，正如他自己所说“以平为法守”（《重建平政桥记》），具体而言，就是和谐发展的思想，体现在农耕生产与文化教育并举，事不烦而民不扰，严惩犯罪，确保一方平安。这些思想渊源于孟子所倡导的以民为本的王道思想和道家所提倡的无为而治的政治思想。
其一：农耕生产与文化教育并举的政治思想。孟子在谈到自己的王道思想时说：“百亩之田，勿夺其时，八口之家可以无饥矣。谨庠序之教，申之以孝悌之义，颁白者不负戴于道路矣。”（《孟子·梁惠王上》）俗话说民以食为天，邢澍身为一县父母官，始终非常重视农业生产，他认为农业和教育具有同样重要的社会意义，都关系到国家命运的兴衰。在他的思想认识中，神农氏和孔夫子、农民和士大夫享有同等的人格品德地位。他说：“自古风教系乎士，而富庶系乎农”，“孔子以德教天下，神农氏以功养天下”（《重修先农坛记》）。在编纂《长兴县志》时，将“水利”、“物产”单独立卷，都反映了邢澍对农业生产的重视。
为了劝民农耕，让人们更清楚地认识农业生产的重要性，每年春天，佺山先生都亲临先农坛祭祀神农氏炎帝，并在嘉庆十年（1805年）四月又重新修缮了长兴先农坛，率百官举行隆重的祭祀大典。“以御田祖，以祈廿雨”（《诗经·甫田》），祈求神农除灾兴利，恩泽黎民。邢澍对农业的重视，对农民的同情和崇敬，一方面源于他所接受的以民为本的儒家传统思想教育，一方面和他出身贫民家庭有密切关系，尽管他是统治阶级的一个分子，但他的血管中流淌着农民的血液。他以平等的执政理念看待农民，恰恰反映了旧时代士大夫修身养性的高贵品格和人格魅力，个人修养往往和阶级、地位、身份没有直接的必然联系。“仓廪实而知礼节”，邢澍在大力发展农业生产，解决民众衣食住行的同时，也注重文化教育事业的建设，其目的就是为了推行君臣父子之道和孝悌之义，教化一县民风，以实现“颁白者不负戴于道路”的政治理想。
其二：事不烦而民不扰的政治思想。邢澍在《重建平政桥记》中说：“事不烦而民不扰，堪垂永久，是亦平政之道也。”无论兴学建校，还是修城造桥，疏导河流，邢澍都事先精打细算，悉心安排，严加管理，禁绝因建设而加重民众负担，耽误耕作稼穑时机。他曾在《重建丰乐桥记》中曾有细致论述：“自下车来八载于兹矣，其间修举废坠，上自庙祀，远逮湖溇，修城浚隍，凡有益于斯民者，莫不以次兴复。董其成者，皆各悉心办理，未尝劳民之力，朘民之财”。这是邢澍的肺腑之言。凡有益于民众的事，他都量力而行，悉心办理，从不因为谋福于民而又伤民之力，损民之财。
他以民为本不干扰民众生活的平政思想还表现在生活俭朴，反对奢华铺排方面。佺山先生出行简装，从不前呼后拥，惊扰民众，对普通百姓也和蔼可亲，百姓平常相见，从行装上根本看不出他是一县父母官和学富五车的学者。钱大昕《题佺山松林读书图》称赞他“竹马儿童走相识，不知官是读书人”，真实地反映了邢澍自奉简约的人生态度。
其三：严惩犯罪，确保一方平安。邢澍在大力发展文化教育、生产经济的同时，为了确保社会的稳定，保护人民的生命财产，严厉打击危害社会的犯罪活动，他“善治大狱，发奸擿伏，皆神效”（《甘肃新通志》）。光绪间《永康县志》卷14《艺文志》引王崇《上谷中虚书》曰：“永康民间疾苦，惟钱粮盗贼二者最大。”民众被强盗所苦，官员却口口声声称颂治安良好，人民安居乐业。邢澍到任后，“遇盗贼，必置重典”，（《永康县志·邢澍列传》）对市井无赖、地方恶少，具有名籍者，“有犯必痛惩之，不少贷”。在邢澍严厉打击之下，时间不久，永康县“鼠窃屏迹，几于道不拾遗”，治安状况大为好转。邢澍又针对永康“贿赂多于强劫”（《永康县志·艺文志》）的官场风气，痛下决心，对官匪勾结者，更是严惩不贷。多年积累的案件一一审理结案，官员闲散拖沓索贿的恶风，得到有效遏制，整个永康“风气为之一变”（《永康县志·邢澍列传》），面貌焕然一新。强有力的专政措施，良好的社会治安环境，为人民生活提供了良好的保障。
