武义县城古称武阳镇，现名壶山镇，是座青山绿水环抱的山城，北依壶山南麓，南有熟溪绕流，东是程王处广宽的绿野，西靠牛尾巴山之隅，地形东西长，南北狭，总面积8.66平方公里，海拨67—72米之间，自然降坡度5米，具有良好的自然地理环境。

武义自唐天授二年（公元691年）置县，经五代十国至宋朝始建县城，迄今有1295年历史。清嘉庆《武义县志》载，宋绍兴年间，县城周围长一里一百八十步。明崇祯十三年，造城墙，周围十里八步，九门，即镇东门、来远门、文兴门、上水门、下水门、接龙门、永丰门、迎恩门、水洞门。尔后，清康熙、乾隆年间均予修建。清末，周围城墙改建六门：即东门、西门、北门、大南门、小南门、永丰门。县城附近名胜古迹尤多：东有鸣阳楼、东岳宫，南有熟溪桥、江山殿，西有城隍庙、法云寺，北有禹王庙、北岭洞、发宝象龙塔。

鸣阳楼：明朝正德年间县丞潘棠建，悬钟其上，以警民之昏晓。鸣阳楼的下面是八素门，相传古代有八个秀士被官府迫害，身着素服逃出此门，故名八素门。

东岳宫：原名天齐宫，宋乾道四年扩建，改名东岳宫，现为熟溪小学校址，尚残留东西两厢佛座18间。

熟溪桥：宋开禧三年主簿石宗玉发起建造，百姓为纪念石主簿，取名石公桥。明隆庆年间改名熟溪桥。

城隍庙：建于明洪武五年，清康熙二十七年烧毁，嘉庆三年重修。现已拆除，为武义一中宿舍。

法云寺：又名西寺，建于宋大中祥符元年，十年内乱中拆毁，现残存正殿。

禹王庙：解放初为武义汽车站，于1964年新建车站时拆除。

北岭洞：清乾隆十七年重建，有石拱洞门一座，是过去县城至金华的交通要道，行人到此，常在洞中休息，夏季凉风拂拂，入洞来心旷神怡。

发宝象龙塔：塔名含义“人财两旺”。建于明朝万历年间，六面七层，高30余米，内筑有台阶，可盘登而上。

旧县城的街道是鹅卵石砌成，街面狭窄，坎坷不平，雨天积水成潭，行人叫苦不绝，两旁房屋低矮简陋。街道：有东西走向的直街，五圣堂弄通向汽车站的北街，祝宅巷通向小南门的横街三条，和一些小巷，到处是堵头卡口，交通阻塞。解放后，县城不断更新扩建，新建的工人文化宫、邮电大楼、武阳楼、溪南商场、医药公司、中医院、电影院、办公大楼及居民宿舍等，拨地而起，栉枇林立。同时扩大城区，纳入城郊的下王宅、溪南汤两村，扩建了壶山街、解放街，新建溪南街、熟溪南北两路、城东路、新兴路等，都铺筑水泥路面，还新建壶山桥、解放桥、江山桥、劳动桥等，沟通南北往来。

县城是全县交通枢纽，城内有两个汽车站，客车可直达金华、义乌、永康、松阳、杭州及本县各乡镇，每天有上百次班车开往省内和县境各地。拟建的金（华）温（州）铁路将通过武义县城。