曼殊5岁那年，黄氏、大陈氏仍连年生女，未得男孩；封建宗法思想严重的苏杰生遂打破种种顾虑，公开承认了他的家籍，将其由外祖父所起的日本名字“宗之助”改为“亚戬”，并拟于近期携其返国。
当苏杰生将这一打算告诉河合氏姐妹时，她们始而感到愕然，继而又难免相对落泪。
经过一番难堪的沉默后，还是河合仙先开了口：
“既然苏家承认了那个孩子的家籍，只好让他回去了，我只希望苏家能够待他……好！”说到这里，河合仙已经泣不成声。
“姐，待他长大成人后，只让他始终认你为亲妈……”若子又转身望着苏杰生，泣声道：“希望苏先生……也能够严守……”
没等若子说完，苏杰生便接着话茬说：
“请你们放心，为了孩子，我也一定会严守我们的协定。”
在说上述这番话的时候，苏杰生的眼睛总是闪闪烁烁的，因为他从心里觉得对不住她们姐妹俩；他所结下的这一“孽缘”，已给他和眼前的这两个女人造成了太多的意想不到的痛苦。想到这里，他神色黯然地掏出一张支票，塞给若子，低语道：
“我，我实在对不住你们姐妹，这点钱就留给你们吧！”说罢，便怀着无尽的内疚，匆匆走开了。
就在曼殊6岁那年，苏杰生将其带回广东老家——白鹤港。
这是位于广东省香山县的一个小村镇（今更名为沥溪，在珠海市前山镇南溪乡），苏家就在这个镇子的一条小巷内。这个当时尚不足百户的小镇，南距澳门仅20余里，地处山坳，前临小溪，俯视澄明，游鳞可掬，使人悠然而生濠濮间想。信步盘桓，但见松柏蓊郁，修篁滴翠，更有许多不知名的野花点缀其间，天趣自成。而那浓荫如盖的龙眼树，则以其硕大的树冠引来阵阵清风，给南国炎热的天气带来惬怀的凉意。每当夕阳西下，一群又一群楚楚可观的白鹤，麇集于柳荫水涯，竞相伸展着颀长柔软的曲颈，优雅地起舞，那时缓时急的清唳，应和着松涛竹韵和淙淙的流水声，将劳累了一天的村民摇入梦境……
以这样一处景色幽绝的所在，作为童年生活的摇篮，确也不乏诗意；但曼殊却正是在此初尝世味的炎凉的。
作为孩童，曼殊这时处于最自然的状态中。他来到这个世界，仿佛就是为了看、听、触摸和歌唱；没有机心，没有任何功利的盘算。他留意身边的一切，在他幼小的心灵里，装满了对世界的关切与热爱——童年美好的记忆之所以会远远超过长大后记忆的贮存量，其秘密尽在于此。
可是，生活却未向曼殊——这个仅有6岁的孩童，呈现出玫瑰色的笑容。
在这个古风悠然的江南小镇，时间似乎有意停下了脚步；其浑朴幽雅之状宛若一首颇耐讽咏的小令，唯独缺乏一点新奇和刺激。
而随着曼殊这个“异客”的到来，人们的好奇心和“窥探欲”似乎一下子被调动起来。
