嘉定九年（1216年）四月，黄榦因病回到建阳考亭。消息传出，诸生从学于竹林精舍者云集。黄榦在此撰写了《竹林精舍祠堂》讲义，并开始草撰《朱文公行状》，讲述朱熹生平。

黄榦在福州、建阳、湖北汉阳等地创建有多所书院，先后在七所书院、五所府县官办儒学授课讲学。仅在建阳一地，他就先后创建了两所书院，即潭溪书院和环峰书院。朱熹逝世后，这两所书院和考亭书院都成了黄榦秉拂讲学、教书育人的教育基地和学术殿堂。

环峰书院原名环峰精舍，草创于南宋嘉定九年（1216年）。

这年四月，黄榦离任湖北汉阳知军后回到建阳。闰七月，在考亭书院当年朱熹为其建造的寓舍旁建草堂三间，名“环峰精舍”。他说：“吾早岁唯师是从，师以别墅畀我，我今始能为屋三间，名以‘环峰’，乃吾考察院祖居山名也。”“察院”系指黄榦的父亲黄瑀，宋高宗时曾任监察御史，故有此称。由此可见，精舍之得名是为了纪念其福州寓所有山名“环峰”。

嘉熙年间（1237—1240），宋理宗为表彰理学，敕令中书舍人李忠转谕建安令邓质择地重建。于是，环峰精舍从考亭迁至县坊西清巷。迁址的原因是环峰精舍原址实际上是在考亭书院的一侧，这样，大书院内又有一所小书院，黄榦的光辉难免就会被朱熹所掩盖，如此实不足以凸显黄榦传道卫统、弘扬朱子学的功绩，于是就有了择地重建之举。宋理宗时，为表彰朱子理学的功绩，曾御赐重修了一批由朱熹考亭学派人物在各地创建的书院，一般都只是在原址上修修补补。而耗费巨资择地重新建造，仅黄榦环峰精舍一家，故此可称特例。也正是如此，可见黄榦在当时的学术界的地位非同一般，甚至引起了皇帝的高度重视。

淳祐四年（1244年），新书院建成，宋理宗御书匾额“环峰书院”，此为“环峰精舍”改名为书院之始。

元至正二十二年（1362年），环峰书院毁于兵火。明正德十六年（1521年），经黄榦裔孙黄澭等提请，福建提学胡铎等批准，次年由建阳知县邵豳主持书院重建事宜。此时，因西清巷的书院旧址已建县署，拆建不便，故又将新址改在水东妙高峰之中。

与考亭沧洲胜景相比，妙高峰又别是一番景象。这里峰峦回合，雄伟秀丽，诸峰环拥之中，有一片开阔地，环峰书院就坐落在这片开阔地上，在此环顾四周，绿树成荫，竹影婆娑，山峦叠嶂，峰回路转，宛然名副其实的“环峰”。

据明嘉靖九年（1530年）礼部右给事毛宪应黄榦裔孙、时任武进县教谕的黄澭之请而撰的《环峰书院记》，新建的环峰书院中为正堂四楹，黄榦肖像居中高悬，而以门人潘柄、杨复、何基、饶鲁配祀。两侧横批，左曰“尊德”，右曰“凝道”。正堂前为屋楹四榜曰“麟凤龟龙”。又前为仪门，上书“扶植道统”四字。再前为书院大门，以宋理宗御书“环峰书院”四字揭之门额。正殿左右又各建屋四楹。门外数十步有水井一口，井上复亭，榜曰“半亩方塘”，以此象征朱子理学的源头活水。此后，从明末至有清一代，书院虽有多次重修，但其建构大体不变，今存书院遗址中，除了上文提到的书院古道之外，还有半亩方塘井一口，井水清冽甘甜，附近居民至今仍在饮用。黄榦又命长子黄辂、三子黄輹定居于此，世代繁衍生息，后来发展为建阳的一个大姓。