考亭书院开课一段时间后，朝廷下旨召朱熹任焕章阁待制兼侍讲，专门为宁宗皇帝讲解经史。朱熹赴任时带黄榦入京，向皇帝奏补女婿为“迪功郎”，补授监浙江台州酒库，开始了仕宦生涯。这一年，黄榦刚满43岁，正是一个人生命中谱写宏阔雄壮的交响乐章的阶段。
即使这样，黄榦还一再推辞，认为“居官未足以行志，而枉费心力于簿书米盐之间，孰若隐居山林讲学问道之为乐哉！”在黄榦看来，如果“平日居正位，行大道，则得失、利害、祸福皆不足以动其心”。时人皆以“其进退浩然，非爵禄之所能羁縻也”。最后，在诸人的劝说下，黄榦也考虑到将来一家老小的生计问题，便应允了下来。
据《勉斋集·年谱》载：“时黄榦以恩荫补将仕郎。次年（1195年）四月授迪功郎监台州户部酒库；五月，朱熹赴湖南潭州任荆湖南路安抚使，黄榦随行；十一月，朱熹奉祠居家，黄榦自京还，留朱熹之侧。”
然而，世事难料，一切都不能一帆风顺。朱熹作为皇帝的老师，讲解理学仅46天后，即被罢去官职，重新回到建阳考亭讲学著述，从此真正息影山林。
庆元元年（1195年），外戚韩侂胄为了排除异己，将心性耿直的忠臣贬谪。朱熹对他的做法极为不满，上疏斥言窃柄之失，触韩之忌，韩侂胄指使党徒攻击、污蔑朱熹，公然宣布朱子学为“伪学”，朱熹的门生为“逆党”，主张斩朱熹之首，以绝朱子学。《宋史·黄榦传》载，朱熹晚年政治上受迫害，他的学说被打成“伪学”，身体也受到很大摧残。
“伪学逆党”案，又叫庆元党禁，禁的是“伪学逆党”，有名有姓载于史册的总共59人，其实远远不止这个数。“逆党”之党首，史书上说的有赵汝愚、留正、周必大、王蔺四位，首中之首，当推赵汝愚。“伪学”就是说的程朱理学，其代表人物或精神领袖便是朱熹。
可以说，庆元党禁是朱熹进入暮年的政治生活上的重大挫折。他虽被削去秘阁修撰的官职，被夺去了武夷冲佑观的俸禄，但他无怨无悔，仍倾全力先后完成了《仪礼经通解传》《伪学篇》和《韩文考异》等著作。
庆元党禁发生期间，朝廷权贵对理学掀起了一场史所罕见的残酷清算，理学遭到无情的打击，朱熹被诬为“伪学之首”。朱熹自身难保，门生更是岌岌可危，坐牢的坐牢，流放的流放，从学者无奈改换门庭，或弃朱熹而去。对此黄榦在《答曾伯玉借长编二首》诗作中表达了他的情感。
其一
白露下百草，迅商薄修林。
幽人起长怀，感此节物深。
揽衣自徘徊，抚剑还悲吟。
丈夫各有志，莫作儿曹心。
涉远当疾趋，畏景须就阴。
愿言理轻车，去上南山岑。
其二
祥麟踣鲁郊，孔袂何涟涟。
伤哉经济心，付与文字传。
马公述孔志，托意为编年。
是非一以判，纤悉不复捐。
闻君卧丘壑，茧手磨丹铅。
愿言得其解，努力希圣贤。
曾伯玉，史无留名，应该是朱熹门生，在险恶的环境中，在官府的打击下，他不敢追随朱熹，选择了远遁、隐居，临行前找到同门黄榦告别，黄榦遂以此诗相送。
第一首，入眼即是凄清的秋天景色，衬托了作者心中的萧瑟之意。秋天的露水浸透各种花木，迅疾的西风把茂密的树木都削薄了，可见那一番秋意，草木凋零，落叶纷纷。在这样浓重的秋色中，幽居的诗人怎能不引发无限忧思？他披衣起身，来回走动，字里行间可以感受到作者情绪波动，他抚着腰间的佩剑，感慨良多：大丈夫各有志向，无须做儿女态。诗句的最后表现了黄榦对同门的深厚情谊，他切切叮嘱：走远路当急速前进，遇到艰难的处境就要躲起来，希望你驾着轻快的车子，去到南山隐居起来。
第二首，麒麟是中国古代神话传说中的祥兽，有时用来比喻才能杰出、德才兼备的人。鲁国是姬姓“宗邦”，诸侯“望国”，故“周之最亲莫如鲁，而鲁所宜翼戴者莫如周”。鲁国成为典型周礼的保存者和实施者，世人称“周礼尽在鲁矣”。麒麟主太平，瑞兽麒麟在鲁国的郊外跌倒了，暗喻道统衰微，一代儒宗在血雨腥风中陨落，孔子能不涕泪涟涟？
第二首诗流露出的是，面对现实，黄榦只能把自己无法实现的经世济民宏愿，都托付于这文字中。“马公”是老百姓祭祀的神仙名字，这里应该暗指朱熹。朱熹病重，但平生所学后继有人，亦深感快慰，他将所著《礼书》底本托付黄榦，并留手书：
“吾道之托在此，吾无憾矣！”曾伯玉归隐，依然会做些勘校文字的工作，这是让黄榦颇为欣慰的地方，他殷切希望曾伯玉能有所得，效法圣人，终将有所作为。
全诗弥漫着悲伤和无力的情绪，却不曾放弃希望。黄榦的诗和他的性格一样朴素自然，沉静若水。读诗犹如读人，黄榦的高士形象扑面而来。
在朱熹艰难时期，黄榦义无反顾地紧随朱熹身边，继续收徒讲学。黄榦说：“先生去国，侂胄势益张。鄙夫佥人迎合其意，以学为伪。谓贪黩放肆乃人真情，廉洁好礼者，皆伪也。科举取士，稍涉经训者，悉见排黜；文章议论，根于义理者，并行除销；六经语孟，悉为世之大禁，猾胥、贱隶、顽钝之徒，往往引用。”他又说：“侂胄志气骄溢……几危宗社，而生灵涂炭矣。”一针见血地揭露了韩侂胄一众奸党的险恶用心和卑劣行径，表明了黄榦坚定地支持朱熹的立场和态度。
在这期间，黄榦十分努力地学习和传播朱熹的学术思想，他发现朱熹的思想体系在提倡“礼”的基础上，更加重视“理”，强调“天理”是自然的根本，要求“人欲”应该服从“天理”。而孔孟思想体系中虽然也重视“理”，但是却更为注重“礼”，强调教化的功能。黄榦认为，朱熹的“理学”思想与孔孟儒家思想其实是一脉相承的。黄榦认真研究了“四书”“五经”，从《大学》出发，佐证和完善朱熹的理学论述，使得朱熹的理学思想真正是对孔孟儒学的发展。
“庆元党禁”伊始，朱熹的友人、丞相赵汝愚受到贬谪并被迫害致死。朱熹的《四书集注》等一批理学书籍遭到禁毁。赵汝愚已死，朱熹成为韩党进一步搏击邀功的对象。接着，监察御史沈继祖列举了朱熹“不忠、不孝、不仁、不义、不恭、不谦”六大罪状，还捏造了朱熹“诱引尼姑，以为宠妾”的谣言。于是，朱熹受到落职罢祠的不公正处理。
朱熹学派的许多人因之受到牵连，或坐牢或流放。风声日紧之时，朝中甚至有人发出将朱熹问斩的叫嚣。此时，朱熹本人虽对此泰然处之，但作为朱熹的爱徒和女婿的黄榦，却不能不为恩师、岳父的安危深感担忧。
庆元二年（1196年），黄榦秘密地在建阳莒口河坝建造了一间草堂，以备情况危急之时可作为隐退著书之地，这便是潭溪精舍。
潭溪书院原名潭溪精舍，地处崇泰里莒口（今建阳市莒口镇）河坝。潭溪的得名，源于崇安（今武夷山）五夫里有一条小溪，名潭溪。黄榦从南宋淳熙三年（1176年）拜师之日起，一直在潭溪之畔的五夫紫阳书堂内从学于朱熹。碧波荡漾、奔流不息的潭溪水录下了他“夜不设榻，衣不解带，常通宵达旦”而日夜苦读的身影。
朱熹在建阳隐居山林期间，黄榦往来于福州、建阳两地。庆元三年（1197年）春，朱熹为黄榦“筑室于考亭新居之旁”。《续集》卷一《答黄直卿》书云：“闻欲迁居此来，甚慰，不知定在何日也。”《文集》卷六四《答巩仲至》云：“直卿久不得书，闻有徙家之兴，此固所欲，但于渠聚徒之计，则恐失之便，无以为生，亦须细商量耳。”之后，由于种种原因，黄榦一直拖延至庆元五年十一月才搬到考亭新居。