宋时,潘钥家族在丽水太平里浯溪（今太平乡吾古村）定居，以儒传家，代代相传。自南宋至元、明，人才辈出。

潘叔豹，字仲虎,南宋淳熙八年（1181）进士，任四川万州知州。潘叔豹与魏了翁为“道义交”。魏了翁是南宋后期著名的理学家和进步的思想家，具有重民思想,关心民众的疾苦,提出改良社会方案,是一位热心实践儒家政治理想的思想家和社会改良者。潘叔豹是他的忠实追随者。叔豹在万州任上有过“僧窖地匿民妇,叔豹发其奸置诸法”的记载，或许是将理学“三纲”“五常”付诸实践的事例。其子杞，是南宋嘉定元年(1208)进士,官至太府寺丞(掌管钱谷金帛货币)。后来，潘叔豹一支渐无名湮没,其兄潘叔瑞一支接踵兴起。叔瑞之孙潘厚,南宋嘉熙二年(1238)太学奏名。“太学”是全国最高学府,对于屡考不第的考生,允许他们在遇到皇帝策试时，报名参加附试，叫特奏名。他做过吴江县丞(县令之佐官)，于宝祐三年(1255)去世。潘厚之子应发,字子是、嵛处，号菊巢,人称“大潘”,聪明好学,读书过目不忘,为文援笔立就。努力争取功名，胸怀抱负，志在匡济天下。南宋咸淳三年(1267)乡试中举，著有《菊巢笔志》3卷。于咸淳八年(1272)英年早逝，卒年四十。

潘应发之子潘弼 (1259-1316),字良辅，号宜山，人称“小潘”。父亲去世之时潘弼尚年幼，母亲项氏是泰州教授之女，贤慧善良，含辛茹苦扶养潘叔豹画像子女成人。潘弼从小机敏过人，学习用功。起初，母亲让他跟从外兄林江读书，林江曾经跟从应发学习，就把从潘弼父亲那儿学来的知识还授给潘弼。潘弼也非常刻苦，三年业成,文章语出惊人。后来林江为了潘弼的深造，又把他送到朱先生处。当时那里已有很多优秀的学生，潘弼虽是后来者却表现突出。潘弼做事有义举,有公心,乡邻失火,潘弼捐钱粮周济;夏秋青黄不接之时,百姓断粮,潘弼开仓赈济,众人无不交口称赞。元至元十五年(1278),潘弼以自身的博学出任婺州丽泽书院山长。整顿教规，严肃学风。潘弼讲课严谨，深入浅出，师生均心悦诚服。元代前期没有设科取士，用人实行铨选制度，高级职位中有相当部分被怯薛（大汗周围常备的护卫军组织）出身的世勋子孙所占据,一般汉人儒生入仕格例，无不阶县学官而升。潘弼“后游京师，授赣州教授（学官）”。一次机会潘弼由教官选广东廉访司管勾架阁兼照磨（管勾，其职为掌架阁库的档案典藏;照磨，肃政廉访司中负责监察的官员），“纠弹百官非违，刷磨诸司文案”（《元典章》）。元朝的监察制度及对监察官吏的管理比较完善，在言谏国家决策、纠察官吏善恶和安定社会生活秩序等方面，发挥了较为重要的作用。潘弼“廉律己，发奸摘伏如神,为势要所忌。”（清雍正《处州府志》）潘弼在任内做过最强硬的事，其中一件是调查广东副元帅案件。当时，侗、苗、黎、壮等少数民族聚居的地方,盗寇作乱，广东副元帅纵容包庇他们，廉访司的官员均不敢过问。潘弼到任后，严格执法，将其狼狈为奸的事实全都揭露出来。潘弼还向御史台弹劾幕长（即副元帅）多件不法的事,请求立即罢免。监察司了解潘弼的为人，采纳了他的建言。潘弼还豁免了德庆路（今广东德庆县）农民拖欠的粮赋30000石。潘弼不讲情面,刚直无私，秉公办事,使副元帅记恨在心，便唆使一些无赖诬蔑陷害潘弼，于是潘弼被行省和御史台停职。大德十年（1306）潘弼起任赣州教授。皇庆二年（1313）任龙兴路司狱。当时龙兴有一些僧侣以非法手段谋利，朝廷派来的使者佟公，知悉潘弼是御史台的旧属，就命他惩治那些支持不法僧人谋利害民的官吏，共查出800余人，全都在罢除名单之内。就在这时,佟公被免官,此事因此作罢。龙兴路的官员就捏造事由诬陷潘弼，唆使那些关押的人联名上书弹劾他。潘弼非常气愤,不能进食，抑郁而死，终年58岁。（《潘氏族谱》）潘弼去世后的墓志铭是由他的女婿、进士林定老所写，著名书法家、翰林学士赵孟頫手书。

潘弼的孙辈中有两位为地方志书所载，即尧心和尧夫。

潘尧心（1325—1374），字伯济，从小稳重,才思敏捷，一点即通,他的叔父喜欢他的聪明，出资让他进府学。在他的外兄林彬祖（后中了进士）门下学习《诗》、《书》二经。明洪武六年（1373）,明太祖诏征天下儒才,尧心作为明经秀才被选入。太祖召见时,见他容貌魁伟俊杰,超凡脱俗，非常惊喜,赐坐命食。说，让百姓们都看看你吧！即授承事郎（文散阶）、王府录事（掌总录文簿）,太祖还赐以银带衣帽一袭,穿戴起来更是英气逼人，皇帝称他为“美髯翁”。第二年春升为监察御史。四月，改任河南按察司佥事。尧心有才学，著有《巢云集》30卷。

潘尧夫，字季雍，尧心堂兄，他聪明博学,尤长书法。元末天下大乱,山寇抢掠，尧夫“出私财募丁壮,守御乡里多其功”。明初，镇帅授官予他,他以侍奉双亲为由推辞了。与尧心积极进取的态度相反,尧夫自号“无知老子”,不愿做官，过着隐居的生活，直至去世。

（唐乐平）