钱氏乃嘉道年间木渎望族，有良田千顷，祖产殷富，三兄弟钱炎、钱照、钱煦均以诗名，号称“渎上三诗人”，平素好结交文人雅士，诗酒风流，引为快事，却不乐仕进，无意功名。明清之交的木渎，筑园成风，先后有王心一的秀野园、徐政的玺园、徐白的潬上书屋、徐枋的涧上草堂、叶燮的己畦、汪琬的尧峰山庄、吴泰来的遂初园、吴士缙的南宅草堂、王咸中的石坞山房、毕沅的灵岩山馆、徐士元的虹饮山房，还有萧萧斋、怡云山庄、采娱阁、啖蔗轩、环山阁、怡园、盘隐草堂，等等。钱氏兄弟眼热心痒，也有了效仿先贤、起屋筑园之意。
嘉庆十八年（1813$），老大钱炎字杏圃，从歙人汪某手中购得斜桥之西的小隐园，此园本为明朝李氏废圃，多老树奇石，钱炎接手后，疏池叠石，构亭建榭，更名潜园，又名桂隐园。
继老大之后，老三钱煦字千舟，又于潜园之西百步余，觅得薛氏旧圃十余亩，重新葺之，凿池筑亭，种竹莳花，憩息其中，起名“息园”，一时题咏颇盛。
仲弟钱照在弟兄三人中性格最为忠厚沉稳，其诗歌成就也最高。钱照喜爱清静，嫌斜桥之西环境喧嚣有余，幽静不足，因为斜桥毗连木渎中市，是吴西有名的活码头，水运繁忙，商旅如织，而息园紧挨的虹桥，又是著名的木渎麻市所在，四乡八镇的农人都来这里交易，麻业早市异常兴盛。钱照在香溪河两岸寻觅多年，一直没有找到中意的地块，直到钱炎造园十五年后的道光八年（1828$），终于在香溪河王家桥北堍购得沈德潜竹啸轩旧居。沈归愚乃乾嘉诗坛领袖，深得乾隆宠幸，衣锦归乡后，即在苏州城下塘阔家头巷口建教忠堂，木渎的旧居就很少去了。沈的子孙极不成材（据台湾史学家高阳《高宗乾隆》所载），沈德潜索性将木渎旧宅赠给了外孙章日照，由其处理。后来，日照又把旧宅传给了儿子章寿五，但终因家道中落，无力修治，只得任其坍塌破败。章寿五与钱照同为木渎诗人，经常诗酒唱和，钱照见前辈诗人的旧居日渐残颓，不堪寓目，心中不忍，便化了五千两银子，从章寿五手中购下了这座寥芜已久的旧宅院。
钱照买下竹啸轩后，即行抢修，所幸那座明代遗物楠木大厅的廊庑梁柱甚为完整，稍事修缮便重现昔日气派。又在园中增葺“眺农楼”、“延青阁”诸胜，筑假山，引清流，内擅幽栖之胜，外窥田野四季景色，逍遥自得。从他的《眺农楼》诗中可以看出钱照的性情和诗风，很有些范成大田园诗的意境。
数声牧笛响西东，稼穑艰难到眼中。
一代桑麻相掩映，天开图画是豳风。
钱照爱书，一处书香飘溢的书斋自是不可或缺的，好在沈德潜那座接待过乾隆皇帝的友于书屋还在，只是屋漏梁倾，岌岌可危。伫立残垣断壁之间，可见那株古广玉兰浓荫滴翠，一片生机，时值仲春，千葩万蕊，满园花光，钱照见了，自是唏嘘不已。书屋在当年秋天便重葺一新，钱照特地去了趟苏州经史巷，请吴县状元、时已辞官归乡正执掌紫阳书院的石韫玉老先生题写斋名：友于书屋。
新园落成于次年三月既望，因钱照字端溪，便取名为“端园”。此时，正值园中新栽的牡丹花盛开，姚黄魏紫，繁艳娇妍，钱照便在园中设宴，遍请渎上诗家，曲水流觞，即景赋诗。钱照一人竟一气呵成写下了三十首诗，而且全部采用了苏东坡的《北台》诗韵。
每年清明，钱照都要开园放春，吸引了远近的不少游者，文人墨客更是联翩而至，端园很快闻名吴中。一日，杭州诗人龚自珍从湖州坐船遍游太湖名胜，由洞庭东山径往木渎，游览端园，写下了“妙构极自然，意非人意造”的揄美之句，传为佳话。诗人袁景澜举家踏青郊游，曾慕名赴端园一游，作诗一首纪念：“暖风吹散雨帘纤，园以端名结构严。篑覆庭山蹲虎豹，门喧村市集鱼盐。亭台此地宜鸣屟，杨柳今朝记插檐。令节携家寻胜赏，踏青泥湿绣鞋尖。”
钱氏兄弟咫尺三园在渎上风光了几十年，钱端溪俨然渎川诗坛领袖，整日与友人在园中诗酒唱和，怡然自乐。他还亲手绘制了“端园十八景”，分别题咏，合编于他的《端园诗抄》之中。
花落花开，冬去春来，转眼已是咸丰十年（1860%）的春天，虽说一样的姹紫嫣红，莺歌燕舞，但人们眼中只有恐慌没有春光，心头像笼上了一片浓重的乌云。“长毛要打过来哉！”这个令人心悚的消息已经传了几年，眼看着太平军真的到了家门口，镇上的居民开始骚乱不安，纷纷带上值钱的东西，有的去太湖东山、西山的亲戚家避难，有的逃往上海英法租界寻求庇护。钱家老三遣散家仆，收拾起金银细软，携妻挈儿，也匆匆去了上海；老大钱炎已于前年去世，老妻李氏把两个未成年的儿女托给了三弟钱煦，自己却死活不愿离开潜园。
钱端溪也没有离开木渎，他实在是割舍不下这座端园，这里的亭榭楼台，山水草木，对他而言就像是自己的亲人骨肉一样，要他离开端园就等于要了他的命。再者，他已年过六旬，对生死早已看得很透。
太平军攻占苏州城后，很快派兵进驻木渎这座吴西的著名商埠，四月十三日夜，一把大火烧了位于斜桥堍的吴县县丞衙署，火借风势，竟越过斜桥，向西蔓延。这时的木渎只剩下一些老弱病残留守，几成空镇，哪有人来救火，一夜之间，大火烧毁了大半条西街，潜园和息园无一幸免，成了灰烬。六月初，太平军又焚烧了镇郊范家场至沈巷、吴巷等十三个村。年底，又将灵岩山寺焚毁殆尽。如今木渎斜桥西还有“老园上”的地名，即潜园、息园故址所在。
望着灵岩山顶燃起的冲天大火，钱端溪尽管万般痛心，也只能无奈地蜗居在端园之内，默默地为这座仅存的名园祈祷。也许是上苍显灵，端园终于平安度过了这场劫难。可是，钱端溪饱受惊吓加上忧虑过度，竟一病不起，于第二年初春撒手归西。由于连年战火和天灾，苏南社会经济每况愈下，民不聊生，大量农田抛荒，无人耕种。钱家虽有良田，却只能眼睁睁地看着它被野草吞噬，成为一片荒芜。钱家儿女靠变卖园中的家具和字画勉强度日。可怜一代名园，几成废圃。
第三代主人严国馨和他的羡园
严国馨造四季花园是要让好风水在轮回中传承
钱家在咸丰兵火之后，家道式微，子孙仅靠变卖家产度日，并无其他生计，但是，端园毕竟名园风采，山石累累，池水粼粼，亭榭花木崇丽而幽雅，故仍有不少文人雅士慕名而来，发怀古追远之幽情，有的还贪其清静，借寓一年半载不等，在此著书立说。这对钱家来说倒也是一笔额外收入，聊以贴补家用。
俗话说“坐吃山空”，到了光绪二十七年（1901$）的大年夜，钱家的子孙卖完了园内最后一件值钱器物，总算勉强过了一个新年。看着家中四壁空空，再无值钱的东西可以变卖，钱氏寻思：看来祖上留下的这座江南名园自己是无力支撑下去了，与其让它一天天残败荒圮，倒不如趁早寻个好买主转让出去，这样，祖宅名园不致毁废，自己也可以凭这笔转让金置一处临街店铺，做些小本生意，勉以度日。这个念头钱氏想了很久，但迟迟下不了决心：毕竟这是祖上留下的基业，自己不能将它光大，任其荒芜，已是大逆，如今竟要变卖祖宅，这实在是件有辱祖宗颜面的事。
年后不久，钱氏就去西街拜访严国馨，把自己思虑多日的打算和盘托出。他找严国馨倒不是看中他是木渎首富，出手比别人阔绰大方。论财富，木渎的富人不少；若论品性操行，为人处事，严先生可谓鹤立鸡群，有口皆碑。把祖上遗园交给严先生，钱氏比较放心。
听了钱氏一番打算，严国馨正中下怀。当年，老父严徵祥携母亲朱氏从东山来木渎经商，吃尽千辛万苦，积劳成疾，一病归西，临终前留下遗嘱：由二儿国馨继承其业。严国馨奉父遗命举家迁往木渎，苦心经营数十春秋，终于发迹，成为一方豪富。严家自国馨迁居木渎至今一直居住在西街老宅，当时，四个儿子年幼，挤在一起尚能勉强，如今儿孙满堂，几十号人同住一个屋檐下，婆媳妯娌间就难免有些摩擦。自己年逾六旬，生意场上渐感力不从心，该是让孩子们分家独立的时候了。严国馨计划把自己经营的产业交给四个儿子打理，自己则另构一处宅园，奉母颐养，安享晚年。如今，钱家愿意出让这座江南名园，自己乐得顺水推舟，做个人情。
端园转让以二十万两银子成交。钱家得了这笔巨款，便在西街口购得一处临街门面，后有三开间一厅一楼，中间隔以天井，呈前店后宅格局。有了本钱，钱家做起了南北杂货生意，虽是初入商海，但有严国馨经常光顾点拨，钱氏做生意渐渐入门，在邻近四乡八镇一带有了名气，几年下来，获利不菲。严钱二家遂成世交。后来，钱氏举家迁往上海，解放前又去了香港，至今与严家有来往。
严国馨买下端园，即聘请著名的香山帮巨匠姚承祖率良工进行重葺，在保留原有的友于书屋和延青阁等建筑的基础上，严国馨特地吩咐姚大师设计了一个春夏秋冬四季花园的格局，以乾隆玉兰树作为春园的主景区，一路向北向东，根据地形特点，配以不同的植物和建筑特色，突出不同的季节主题，历经夏秋冬三个季节，再折回春景区，让人在方寸之间体悟出天地之博大、岁月之幽深，游走片刻恰似走过了人生四季，又像是一种轮回，循环往复。严国馨分明是要让好风水在这样的轮回中代代相传，生生不息。严国馨的要求仿佛一道哲学命题，而姚承祖更像一位出色的有思想的艺术家，他用炉火纯青的造园艺术手段来完美诠释这样的哲学主题。不到两年时间，一座融哲学和艺术于一体的江南名园诞生了。后世的建筑学家不约而同地用了这样的词汇来褒奖这座园林：“虽处山林，而斯园结构之精，不让城市。”
严国馨在这几年里，生意达到巅峰阶段，一顺百顺，喜事接踵。端园修复工程举行竣工大礼，恰逢苏州知府亲自送来朝廷旌表母亲朱氏赐建百岁坊的圣旨，还有一块“贞寿之门”的御匾。朱太夫人今年高寿九十八，上年秋天，严国馨遵例加闰计算以百岁提请苏州府台予以嘉奖。此刻，严国馨率全家众人跪地接旨，在一片喜庆热烈的鼓乐和鞭炮声中，金龙镶边的御匾高挂在大堂正梁之上，街坊邻居蜂拥而至，一睹严府的荣耀和风光。
在庆功宴会上，严国馨请老母亲朱太夫人为园子更名，老太太想：这座园子历史上出过许多名人，心生羡慕，便脱口说道：“我看就叫羡园吧。”后来，严国馨专门托人请了皇帝的老师、常熟人翁同龢题写园名，为名园增色不少。
羡园的年轻主人严家淦
保佑严家的不仅是四季花园的风水
孟子说过：“君子之泽，五世而斩”，“泽”是指一个人的功名事业对后代的影响，“斩”是指断了，没法再继承，也就是我们平时所说的“富不过三代”的意思。即便如此，从古至今又有哪个人不希望自己的财富能代代相传下去呢，严国馨自然也不能免俗。但是，保佑严家除了好的风水，还有另外一个原因。
严国馨是光绪年间木渎首富，虽为商人，但素以儒雅著称，并无半点奸猾习气，为人急公好义，乐于相助，喜欢舞文弄墨，莳花栽草。用现在的话说就是典型的“儒商”。因为有了良好家风的熏陶，才使其家运昌盛，后辈中名人迭出，光耀乡里。
严家淦就是其中杰出的一位。
清光绪三十一年（1905%）九月二十五日，严家淦出生于羡园。小家淦自幼聪慧，祖父严国馨对其十分钟爱，四岁时，便将他送往好友、光绪举人王镜若家中，亲自教授。六岁时，即入木渎公立两等小学堂（即现木渎实验小学前身）学习，校园中那几株由家淦当年亲手种植的银杏树，如今已成参天大树。
严家淦在木渎小学堂上完四年级，即随全家迁往苏州包衙前，入读私立桃坞中学小学部；十二岁时，考入桃坞中学，后升入苏州东吴大学附中。期间，曾与谢大任等人，共同发起并创办了义务学校，招收学生主要是附近要求入学而又没有经济能力的穷苦孩子，以扫盲为主，附带教授国文、算术和音乐等基础知识。严家淦虽然年少，即已表现出关心民生的责任感及高超的组织活动能力。
