黄榦此次奉祠，作为朝廷而言并非出于政治上的原因，自然不会令其长期闲着。黄榦主管冲佑观一年后，又于嘉定十年（1217年）二月被授予安庆知府。黄榦力辞不允后，四月才到任上。
安庆，不是一座普通的城市。中国古代城池无数，但修筑城池过程能记入正史的则不多。而安庆，就是这为数不多中的一个。
但安庆筑城过程载入史册，并非因为城，而是因为人，这个人，就是时任安庆知府的黄榦。
时金兵一路南下攻破光山，大肆烧杀抢掠、残害百姓。安庆距离光山近在咫尺，危在旦夕，城内百姓提心吊胆，惶惶不可终日。为安抚民心，为了守土有责，黄榦提出“以备战守”的策略，并制定修建安庆城的计划。
黄榦顺着皖河而至皖江，登临盛唐山后，北望山，南眺水，真真切切感受到郭璞“此地宜城”的用心。经过数十天的详细考察，最终圈定以盛唐山为中心，向北、向东、向西，利用起伏丘陵地势，依山修筑“九里十三步”城池之墙。这其实也是一种无奈之举，经济窘迫，时间紧迫，只能借助山体的斜度与高度，或在外侧垒砌，或山顶加筑，达到省时、省工、省料的目的。
新筑城池要奏报朝廷批准。于是，黄榦连夜写好奏折，派人马不停蹄地送往临安。但是，金人南侵消息不断传来，且离安庆越来越近。而安庆，虽离临安城不远，但一来一回，没有十天半个月是不可能的。于是，黄榦当机立断，没有等到朝廷的批复，自己便先动手修了起来。
安庆新城正式动工修筑，此时的天气，已经有些热了，参与筑城的民工，基本都是赤膊上阵。这之中，也包括黄榦本人。
黄榦是一介书生。但在筑城过程中，却是劳心劳力，全程参与。动工之前，他不仅要计算需要多少材料、多少工费，还要计算整个工程的进度。由于金人的威胁就在眼前，时间相当紧迫，为了节省时间，黄榦将城池工程分为12段，自己带人先集中修筑一段，然后根据费时费工情况，将其余11段分发给下属官员完成。
修筑城池是件大事，况且是出于安民的需要，因此黄榦的提议得到百姓的拥护，都主动参加进来。而且黄榦筑城用工也十分科学，虽说总共动用了2万兵与民，但真正上工地的，只有5000人左右，每3个月轮一次岗。夏季筑城，又热又累，黄榦也不要求强干，每天安排午休1个小时，每月则安排休息6天，虽然轮休但是不空岗。即便秋凉，这种福利还保留有一半。
这期间，最累的当然还是黄榦本人：安庆府的大事小事，他必须管；有人到衙门敲鼓鸣冤，他必须受理；上面来人下面来人，该他出面的还要出面；夏秋两季，病害易发，还要与僚佐讨论防治之策；筑城进展如何，出现问题怎么解决，这也少不了他。最关键的，再忙再累，也不能松懈教育，所以，晚间稍有空闲，他便去书院讲论经史，此间他还著有《安庆郡学讲义》等。
在黄榦的运筹帷幄下，城池前前后后仅用8个月便修筑完成，安庆城被紧紧包裹起来，百姓有了安全的依靠。完工这天，大家兴高采烈，户户张灯结彩，百姓扶老携幼登上城墙，往来不断。这时，有一位老婆婆，由两个儿子抬着，带着一众孙辈，专程到府衙致谢。老婆婆紧紧地握着黄榦的手说：“老妇之来，为一郡生灵谢耳！太守之赐非所冀也！”
两年之后，金兵又大举南下，攻破了黄州、沙窝等各个关隘，接着又由东往西进攻，河南东部以及安徽等地的百姓为躲避战火，流离失所。唯独安庆凭依城墙之险坚守如故，泰然自若。金兵难以攻破，安庆城里的百姓生活安定如故，无战火之忧。
没过多久，安庆接着又是一个多月的大雨，巨大的洪水席卷而来，大水一直淹到城墙半腰，但坚固的安庆城屹然无虑，全城百姓的生命和财产安全得到保护，安庆百姓对黄榦更加感激不尽。这些事迹都记录在《宋史》中。
安庆新城南至宜城渡，北至柏子桥，西到万松山，东到石家塘，整个城池呈四方之形。地方史籍称之为“九里十三步”。
今天，安庆人民仍然敬佩黄榦的长远目光，由他规划出的安庆城池版图，延续了700余年，直到民国时期，才有小范围的改动。
黄榦用智慧和实干开创了安庆城的历史，使之有了“万里长江此封喉，吴楚分疆第一州”之美誉及“八省通津”的美称。因此，黄榦又有“安庆城之父”一说。
一波落下，一波又起。
城池筑成后不久，又逢大旱。持续一个多月的烈日高照，热浪袭人，不见降雨。农民靠挑池塘、小溪之水播种的庄稼苗眼看着将要旱死，而池塘、小溪里面的流水也日渐干涸。当地老百姓个个唉声叹气，甚至有些百姓开始打理行李，准备外出逃荒。
黄榦也是心急万分，可是又没有什么办法。他经常带着下属去视察旱情，操劳于村墟，奔波于田间。看着将要枯死的整地禾苗，黄榦禁不住潸然泪下。
然而，旱风照例趁机肆虐，都到四五月天了，农田还是一片枯黄。抬头望去，天空依然还是烈日高悬。农民们盼雨盼得都快疯了，到处都可以看到跪地祈雨的人群。此时此刻，当年父亲知永春县时的情景，浮现在眼前，黄榦心中充满了焦虑。于是他决定像他父亲当年那样——祈雨。也许是心诚则灵，也许是真到了该降雨的时候了，黄榦一番求雨仪式后，雨真的落了下来。黄榦欣喜万分，写下《喜雨二首》。
其一
云霓天外起层层，毕月相随彻夜横。
费得天公能几力，数州愁苦变歌声。
其二
睡觉歌声古道旁，有人中夜揽衣裳。
床头斗酒聊自酌，不为书窗一夜凉。
尽管祈雨带有传奇色彩，但黄榦深怀爱民之心，恪守为民之责，善谋利民之策，多办惠民之事，从此传为佳话。