蛟湖村河畔大樟树林边原有一幢数百年的髙大古屋，称为“大厝”。世世代代的蛟湖人对其都非常敬重，因为相传是龟山公居住过的房子。解放初期其大厅柱子上还有多幅合柱木联，直止1968年才完全塌毁。该处至今还有地基、天井、大石板。过去蛟湖村的老人经常会指着该古屋说，这就是龟山公小时居住过和读书过的房子。六十多岁的人还记忆尤新，解放初期村里办小学，有的老人还会到学校里给学生们讲龟山公的故事。讲龟山公小时候非常聪明，读书用功，七八岁就会吟诗写文章。讲“程门立雪”，“教太子书”，“福建山无米地无租”等故事。同时还讲了一个故事：龟山公小时在蛟湖读书时，私塾里每逢过节日时都会给学生们分果子吃，龟山也同样分得一份。龟山说：“我长大后要把果子分给全省的人吃”。这让老师和村里人都感到这个小孩不平常。
蛟湖村数百年来世代相传的故事根据《杨时集》中的《陈居士传》和《杨氏墓志铭》、吴福瑞先生著作《杨时与将乐》、以及各地《杨氏族谱》记载有下面几点可靠依据：
一、杨时的外祖父是蛟湖村当时名士陈选。将乐光明乡上地村遹公后裔于元大德11年（1307年）编修的《杨氏族谱》中所载：杨时父亲埴公妣本邑陈选公之女、京公之妹。白莲大里村黄潭祖教村、万全杏溪村、安仁福山村、延平鸠上村、延平玉地村、浙江乐清石马村、顺昌漠武村、明溪龙湖村等地的杨氏族谱均有记载埴公妣本邑陈选公之女，封硕人，再封荣德大君，陈夫人生二子，杨时、杨曦。陈夫人早殁，继妣廖孺人，亦封硕人。
陈选是读书人，为人“含德稳厚”、“忠信愿悫”、不求闻达，不随便与人交往，但不论是什么人有事找他，他都尽心尽力地帮人解决困难，“无长幼，必尽诚敬”。他有一朋友病危，临终前交给他一份重金，等到这个朋友的小孩子长大懂事时，陈选把这份重金原原本本交还给朋友的儿子，而他朋友这个儿子和其他人事先一点也不知道此事。
大观元年丁亥（1107年），杨时官余杭县任时为其过世的外公陈选写了《陈居士传》，左司谏陈瓘、侍郎（邹浩），御史游定夫，宰相李纲，宝文阁侍制朱熹均在《陈居士传》后载文，对陈选的盛德赞叹不已。据明万历《将乐县志•人物志》及明弘治《将乐县志•人物•烈女•义士》载：“陈选，字舜举、蛟湖人”。“读书尚气节，遭（北）宋末，隐居耕樵以为业”。
陈选公卒后葬距蛟湖十多里的肖坊村后山上。明嘉靖拾伍年由钦差巡抚福建监察御史白贲、钦差提督学校福建按察司佥事江以达、延平府同知沈大楠、推官欧应期、邵武府同知徐庭杰、将乐知县谢德仁、主簿杨豫、署儒学教谕事举人萧睗重修立碑。碑高一米多，碑背面是陈居士子孙勒名。该墓现已被盗贼破坏，墓碑部分已破碎，斜立欲倾。蛟湖杨时纪念堂理事会已与陈选公后裔协商，准备共同重修。
二、杨时的舅母杨夫人
宣和元年乙亥（1119）杨时任国宁观，寓毗陵（常州），六月十七日，其舅母杨氏八十九岁病逝于将乐，其子陈涛（字子通，杨时表兄）写信给杨时，请求给其母亲撰写墓志铭。杨时在《杨氏墓志铭》中写道：“…子通、予之外兄弟也，吾母与其父京皆居士讳选之子。居士、予昔为之传者，盖隐德君子也。吾母与其兄（陈京）少孤，友爱异甚…比其亡（杨时生母）而予尚幼，夫人（指其舅母杨氏）抚存之视犹子也，今欲志其墓，舍予其谁宜？乃叙而铭之”“铭曰：富而寿，福所先兮。攸好德，力足贤兮。志诸幽，永弗谖兮”。该文中杨时深沉地表露出他对其外公、母舅和舅母的深切怀念之情。这也说明了杨时幼时丧母，曾由其舅母抚养过。
三、根据乾隆庚寅年三山裔孙、进士、内阁中书、侯补知府鸿彬所写《将乐蛟湖杨氏族谱叙》载：“……公生子五，长迪、次逈、三遹、四适、五造。而三遹素耽山水品竹莳花，考其斋记尝有言曰：斯地，吾父读书处也。后嫡孙谦公始迁蛟湖，延至孙旺公，豪俊过人，积德累功，子孙蕃衍……”（斯地，是指蛟湖，遹公喜爱蛟湖的山水）。这就印证了蛟湖数百年来世代相传杨时在蛟湖居住和读书的故事的真实性。
四、宋髙宗建炎三年乙酉（129）杨时写了《祭陈立道》“予戏，以吾外祖之德，其后未有显者，汝幼而聪颖，笃行疆学，年弱冠已策名于荐书，意其大吾外氏之门者必汝也，遽止于此，何其痛耶…”这篇祭文，杨时称其为吾外祖之族后，可见陈立道是蛟湖陈选之族人。
五、建炎四年甲寅年杨时八十二岁，为其表哥蛟湖陈涛（子通）写了《祭陈子通》文。
六、宣和二年庚子（1120年）杨时任国宁观寓毗陵时，应昆山县令梁泽民（将乐蛟湖人）之请，为其父梁明道写了《梁明道墓志铭》：“致和八年七月戊戌，梁候卒于其子昆山令之官舍。越明年，其孤欲扶柩归于其乡，以宣和二年八月十六日葬于蛟湖山之源”。“梁侯讳伯臣，字明道，南剑将乐人也”。“明道资孝广，事其亲能尽力，抚诸弟无间言，母夫人得末疾余三十年，未尝斯须去其侧,晨兴奉盥，馈待汤剂，必躬服其劳，终其身不懈”。“其遇人无疏戚，必尽诚意。岁饥有告急者，虽扫庾赈之不吝，后虽自窭，弗顾也，人有称贷或负之弗偿，悉焚券不问。其胸中洞然，无纤毫芥蒂，皆此类也”。“积善之极，于后必蕃。蛟湖之丘，其归永安”。
明万历《将乐县志•人物志》载：“梁明道（伯臣），宋将乐蛟湖人”。 “明道母得目疾，晨兴奉盥，馈饲汤剂，必躬其劳，终其身。亲亡，哀毁几不胜丧。子泽民，令昆山，有惠爱，邑人欣载之”。
七、绍兴三年癸丑（1133年）杨时八十一岁，写了《与梁兼济》书信。信中向当时任福建文臣提刑的蛟湖人梁兼济陈述了60年前榷（专卖）酒法罢除的原因及如果再行榷酒的危害性，体现了杨时对民生疾苦的关心。梁兼济，即蛟湖梁明道之子梁泽民，大观三年乙丑进士，官至宣义郎，昆山令，福建文臣提刑。为官有惠政。杨时八十二岁时还与梁兼济同游玉华洞，并写了著名的《游玉华洞》诗句。现在玉华洞口上面还可看到有“龟山梁兼济…游…”刻石字迹、说明杨时与蛟湖名贤梁明道、梁兼济等人交往密切。
杨时的成长除了其父亲、母亲、祖母的教育外，杨时的外公陈选与抚养疼爱他的舅母杨氏对他也是有较大影响的。蛟湖的山山水水、淳朴的民风与杨时的一生和他髙尚的道德风貌是有着千丝万缕的联系的。
杨时的岳父余适，字永叔，进士，四十二岁即过世。其妻（杨时的岳母）廖氏后君百有二日也相继去世。无子，只有一个女儿即杨时余夫人。因此杨时的子孙后来没有外祖父外祖母、母舅亲戚家可去，而蛟湖
村杨时的舅母家即成为他们经常来往、关系密切的亲戚家。后来遹公的嫡孙谦公会选择到蛟湖居家也是有以上原因的。遹公的后裔后来在蛟湖繁衍昌盛，元明清时蛟湖杨姓名贤辈出，簪缨不绝，当时称蛟湖杨姓为钜族。明清时泰宁、将乐的名士萧勋，施鸿漠，又成氏砚田其踞等人曾写有《题赠杨龟山先生梓里南湖（即蛟湖）八景》诗句。其中一首：
龙蟠白石山犹古，蛟卧清潭水不幽。
烟雨浮洲推胜地，沧波古渡挽中流。
太平夜月光禅寺，新屹秋云映画楼。
雪霁黄山寒气满，晴晖谢陇绿阴稠。
蛟湖是杨时幼年居住和读书处，也是他子孙的聚居地。
《陈居士传》诸公跋附
陈选，南剑州将乐人，世以豪赀为乡闾大姓。其为人忠信愿悫，不妄与人交。晨兴，正冠修容，坐堂上，夫妇相对如宾。非庆吊未尝出门，虽连墙，有经时不见其面者。间有所之，必筮而后往。家人俟其归，其迹可数也。平居恂恂，人莫见其喜怒，闺门之内雍如也。其遇人，无长幼，必尽诚敬，虽横逆有恶声至，如弗闻。视其容貌泊然，若无足芥蒂者，以故人亦信之。后虽有喜侵暴者，不敢犯也。卒年四十六。
龟山杨某曰：“予尝读《沈公笔谈》，见其所载杜生事。沈公自谓时方有军事，至夜未卧，罢甚，僚属有谈杜生者，闻之，不觉肃然，忘其劳。考公之所为，于杜生几可无悔矣。非其中有所养，讵能若是哉？惜公之亡，予尚幼，未能究知其所有，故不得而备论之也。当是时，陋郊小邑，无缙绅先生，明道德之归以觉斯人，又无高世之士，含德隐耀，相与薰陶浸灌，辅成其美。此予所深嗟而屡叹之也。然观其襟度夷旷，不可污挠，盖有非学之所能至者。世之薄夫浅子，一有戾已，仅如毛发，则悻悻然见于颜面，必反之而后已，其视公为如何？故特为之论著，以示其子孙，使知先世所以遗己者，在此不在彼也。”
公少时有故人将亡，子尚幼，以白金数镒委之者。比其子壮，公召与之。其子矍然谢之，初弗知也。盖其信义足以托孤如此。然此在公为不足书者，而邑人以是多公。故并述之，附于其末。
一
中立先生所撰《陈居士传》，予兄孙渐得其本，自余杭来四明，出以示予。先生言行信于天下，所以深嗟而屡叹之者，虽晦于今，后当显白。异时尚论之士，可不考欤？予与居士同乡，而以不得见之为恨。为写此传以畀其子孙，使刻而藏之，以成先生论述之志。大观二年十一月二十二日，沙县陈瓘书。
二
居士本无求知于人，人自知之。宗子博士杨公中立又为之传，以行于世。所以风劝来者，盖不但一乡而已也。大观四年十一月二十日，晋陵邹浩既篆其前已，因书此以见意云。
三
昔杨子云称蜀人之贤，以李仲元为畏人。想见其人，信顺之气积于中而畅于外，盖黄叔度之流，惟以生于远方，不闻于中原。士大夫独因雄书而名载于后世。今陈居士含德隐厚，沉冥于七闽之下，邑未有能知之者。吾友中立为发其蕴以诏其子孙，吾知其与仲元俱不朽矣。此于名教岂小补哉？政和二年孟夏中澣，建安游酢书。
四
予尝爱范晔作《黄叔度传》，初无言行可见之迹，后之识者，想望其人如不可及。今观中立先生传陈居士，其文亦然。居士处于僻远，虽无卓然显白于世者，既得佳传，又得邹、陈二公为之书篆，且跋其后，以垂不朽。读者想望其人，当与叔度齐驱而并驾云。宣和二年仲夏，梁溪李纲书。
五
熹少读《龟山先生文集》，固已想见居士之为人，今得邓生淘所携墨本观之，又见了翁、道乡、游察院、李丞相、张侍郎诸辈称述之盛如此，不胜慨叹。
夫居士之为人，盖子夏所谓“虽曰未学，吾必谓之学者”，先生犹叹其莫有开导而辅成之者。吾侪小人，资本薄恶，其可不汲汲于学问，以矫厉而切磋之耶？因敬书其后，既以自警，且以示诸同志者。
淳熙庚子季春，新安朱熹书于南康郡舍之拙斋。
《杨时集》642-645页 福建人民出版社 1993年10月版
《杨氏墓志铭》
陈涛子通将葬其母夫人，不远千里以书属予铭。子通，予之外兄弟也。吾母与其父京皆居士讳选之子。居士，予昔为之传者，盖隐德君子也。其夫妇俱蚕世，吾母与其兄少孤，友爱异甚。其为人严恭俨恪，不妄嬉笑，静慎有父风。夫人尊事之，每顺适其意，无少忤者。比其亡，而予尚幼，夫人抚存之，视犹子也。今欲志其墓，舍予其谁宜？乃叙而铭之。
夫人杨氏，将乐人也。祖讳思，父讳苗，世为田家。夫人年十六归于陈氏。其事舅姑，以孝闻，事其夫，尽妇顺。晨昏奉甘旨，必身亲之，不少懈。辑睦中外，无间言。夫亡，励其子以学，卒克有立。宣和元年六月十七日以疾终于正寝，享年八十有九。子男二人：长曰渤，次曰涛。女二人：长适进士黄宁与长子，皆先夫人卒。次适进士孙昇。孙三人：曰致柔，曰致虚，曰宗虞。女孙一人。以是年十月九日葬于城南阳坑之原。铭曰：“富而寿，福所先兮。攸好德，力足贤兮。志诸幽，永弗谖兮。”
《杨时集》711-712页 福建人民出版社 1993年10月版
《游玉华洞》
苍藤秀木绕空庭，叠石层峦拥画屏。
混沌凿开幽窍远，巨灵分破两峰青。
云藏野色春长在，风入衣襟酒易醒。
采玉遗踪无处问，拟投簪绂学仙经。
（注：此诗摩崖石刻字迹已漫漶不清，但仍可看到“龟山梁兼济……游……绍……甲寅……十五日”等字样。
注：《杨时与将乐》一书作者吴福瑞先生，大学文化，系原将乐县委组织部部长，三明市梅列区区委常委宣宣传部部长，将乐县人大常委会副主任，现为将乐县客家联谊会顾问，中华对联文化研究院研究员，中国楹联学会会员，福建省诗词学会会员，对将乐县社会历史、山川人物及将乐县革命史、党史等方面进行多年的深入调查研究，查阅了大量的史料，考证客观，治学严谨，诗文联赋，文笔酣美，博学多才，意境高远，已出版《将乐拾萃》、《杨时——将乐之光》、《杨时与将乐》、《万木霜天红烂漫——将乐苏区斗争纪实》《对联杂谈》、《将乐古代旅游诗词图选》等专著十多部。对保护蛟湖杨氏宗祠和革命旧址甚为关心，曾多次到蛟湖考察和指导。中华楹联学会名誉会长常江先生赠吴福瑞先生贺联：教范千秋，师尊百世，目高四海，脊挺九州。
