南宋积弱已久，已是日薄西山。黄榦一心忧国忧民，但当时掌管本路诸州军事官员、身负指挥重任的制置使李珏却无所作为，“幕府书馆皆轻儇浮靡之士，将帅偏裨，人心不附，所向无功。流移满道，而诸司长吏张宴无虚日”。黄榦此时正在积极筑城备战，看在眼里急在心里，他痛心疾首，奋笔疾书，写信劝谏李珏，力论史弥远擅权，边备废弛，百姓受祸。但李珏不采纳黄榦“用两淮之人，食两淮之粟，守两淮之地”的建议，又不听黄榦赏功罚罪的面议。那时，“榦知不足与共事，归自维扬，再辞和州之命，仍乞祠，闭合谢客不与”。但黄榦仍然写信劝谏李珏，云：
浮光敌退已两月，安丰已一月，盱眙亦将两旬，不知吾所措置者何事，所施行者何策。边备之弛，又甚于前，日复一日，恬不知惧，恐其祸又不止今春矣。
向者轻信人言，为泗上之役，丧师万人。良将劲卒，精兵利器，不战而沦于泗水；黄团老幼，俘虏杀戮五六千人；盱眙东西数百里，莽为丘墟。安丰、浮光之事，大率类此。切意千乘言旋，必痛自咎责，出宿于外，大戒于国，曰：“此吾之罪也，有能箴吾失者，疾入谏。”日与僚属及四方贤士讨论条画，以为后图。今归已五日矣，但闻请总领、运使至玉麟堂赏牡丹，用妓乐；又闻总领、运使请宴亦然，又闻宴僚属亦然。邦人诸军闻之，岂不痛愤。且视牡丹之红艳，岂不思边庭之流血；视管弦之啁啾，岂不思老幼之哀号；视栋宇之宏丽，岂不思士卒之暴露；视饮馔之丰美，岂不思流民之冻馁。敌国深侵，宇内骚动，主上食不甘味，听朝不怡；大臣忧惧，不知所出。尚书岂得不朝夕忧惧，而乃如是之迂缓暇逸耶！
今浮光之报又至矣，金欲以十六县之众，四月攻浮光，侵五关，且以一县五千人为率，则当有八万人攻浮光，以万人刈吾麦，以五万人攻吾关。吾之守关不过五六百人，岂能当万人之众哉？则关之不可守决矣。五关失守，则蕲、黄决不可保，蕲、黄不保，则江南危。
尚书闻此亦已数日，乃不闻有所施行，何耶？
这封信写得十分精彩激切！《宋史》中全录。
不久，光州、黄州、蕲州相继失守，完全像黄榦所说的。四个“视”和“岂不思”，充分表露出他对当权者吃喝玩乐的痛恨，对战士流血牺牲、百姓哀号冻馁的痛心，对当权者不采取措施而万分焦急。万般无奈之下，黄榦只好于嘉定十一年（1218年）六月辞官回乡。
监察御史李楠害怕其入见“必直言边事，以悟上意”，“遂奏罢之”。十一月旨下，令黄榦主管冲佑观。
可想而知，这时期的黄榦在官场中处处受到当权者的排挤、陷害和毁谤，他在愤怒中写了《谗人》一诗。
监谤兆周蹙，偶语挤秦亡。
古风下刺上，国步安且强。
靖康发深痛，熙丰启余殃。
惜哉天子明，未免谗者伤。
谗者亦何为，君子名愈彰。
诗中的大意说，周厉王暴虐成性，不容百姓议论自己的得失，于是周朝的国势日渐局促；秦朝政令繁苛，相聚议论或者窃窃私语就被判重罪，所以秦国很快就灭亡了。古代史官采集地方民歌民谣，把百姓讽喻的诗歌传达给执政者，统治者善于纳谏，纠错改过，国家的命运就会安康富足强大。靖康之难发人深省。这是熙丰年间（1068—1085）遗留下的祸患，日积月累造成的。只可惜呀，天子虽然圣明，但自己也免不了被人陷害损伤。这里是反话正说，皇帝不辨忠佞，所以自己被中伤、被诽谤。为什么要陷害他人呢？这样只能使君子的名声愈加彰显。
虽然黄榦官场受挫，但他还是坦然受之，浊者自浊，清者自清，君子的名声不会因此而受损。
然而，黄榦对不思战备、心图侥幸之辈深恶痛绝，后来在《复陈师复守丞》书中指出：“此间世俗，皆以为丙午、辛巳、丙寅敌之犯淮，皆不到此，故士大夫之愚者，亦全不以为意。”但人心不附和，所做的不能建立功业，黄榦以衰病辞。这时，朱熹的小儿子朱在以大理寺正知南康军，扩建了庐山白鹿洞书院，使朱熹初步建成的白鹿洞书院得以完成，规模宏大。黄榦写了《南康军新修白鹿书院记》：“……榦顷从先生游，承观书院之始，后三十有八年，复睹书院之成，既悲往哲之不复见，又喜贤侯之善继其志。”
白鹿洞书院位于江西庐山五老峰南麓，与湖南长沙的岳麓书院、河南商丘的应天书院、河南登封的嵩阳书院，合称为“中国四大书院”。
史料记载，唐贞元年间（785—804），洛阳人李渤与其兄李涉在此隐居读书，李渤养一头白鹿“自娱”，鹿通人性，跟随出入，人称“神鹿”。这里本没有洞，因地势低凹，俯视似洞，称之为“白鹿洞”。后李渤为官江州（今江西省九江市）刺史，为纪念他青年时代在此读过书，广植花木，建亭、台、楼、阁以张其事。
南唐李氏朝廷，在此办“庐山国学”又称“白鹿国学”，与金陵秦淮河畔国子监齐名，学者争相往之。
北宋初年，宋太宗重视书院教育，御赐《九经》等书于书院，因有朝廷重视，书院得以发展。南宋淳熙六年（1179年），朱熹知南康军（今江西省九江市星子县），率百官造访书院，当时书院残垣断墙，杂草丛生。朱熹非常惋惜，责令官员修复白鹿洞书院，并自任洞主，制定教规，延聘教师，招收生员，划拨田产，苦心经营。当时著名的哲学家陆象山也来到白鹿洞书院讲过学。朱熹制定的《白鹿洞书院揭示》（又称《白鹿洞书院教规》）影响后世几百年，其办学的模式为后世效仿，传至日本、韩国及东南亚一带，白鹿洞书院誉享海外。