境内宋元间遗迹，除志乘所载，多无考。明清时宅第、园林、书院、牌坊、坟墓等，尚有故址可寻。
观澜楼 原址在水阁周村方家自然村，元耆士方恭故宅。元代余姚州判叶恒筑海塘时曾寓此，作《观澜楼记》。
护龙宅 原址在水阁周村，系周兰畹故宅。元末明初，信国公汤和为征方国珍及备倭，两次经过水阁周，村人周兰畹致千金助军饷。汤和视察村后莲塘，以为卑狭，不足御海，命军士加固。于是踵筑数日，遂成大阜若山，汤和又书“护龙宅”三个大字，勒石表之。
谢太傅宅 俗称阁老府，遗址在西大街社区万安桥西，始建于明弘治年间。前有柱国坊，正堂称葆光堂，葆光堂后有颐益堂，左有寿春堂，右有贻秋堂，颐益堂后有保誉楼，名称皆取自“纶言”（古代帝王诏令的代称）。该宅于嘉靖三十二年（1553）毁于倭患，复建后再毁于清咸丰年间太平天国战火。清同治三年（1864），重修葆光堂，每年春节挂谢迁上三世、下四世共八代十二对考妣神像，供子孙瞻仰。20世纪80年代，葆光堂被拆，2003年于汝湖公园内易地重建。
状元第 原址在大学士第西，由谢莹旧宅拓建。
侍郎第 原址在状元第西，明吏部左侍郎谢丕故宅。嘉靖三十二年毁于倭患，堂名俱佚。北为钦纶阁，宅西有堂，园称西园。谢丕常与吕改等好友于园中吟诗饮酒。
世恩第 原址在侍郎第西、大方伯第北，明吏部左侍郎谢丕建。面汝湖为门，门前建有状元坊和探花坊。其内即西堂，与侍郎第相连。长廊曲槛，右通左达；林木之荫，直接湖隈。有槐廊、柳塘、水阁、荷亭，明邑人倪宗正感叹道：“谢家门馆似山林者也。”
沧浪亭 原址在三门堰西。明正德初年，武选司员外郎谢迪因受兄谢迁牵连，被迫致仕家居，辟池塘于汝湖畔。嘉靖中，谢迪继子谢亘建亭于其上，环以石岸，三面皆水，题名“沧浪亭”。亭成，谢亘卒。谢丕铭之曰：“新亭翼翼，风景无边，濯缨人远，空护云烟。”
醉梦窝 原址在万安桥西。明中期，大学士吕本之父吕改曾以医隐于泗门，自号醉梦居士，名其住处为“醉梦窝”。
少傅第 原址在四门市东，明胶州同知谢垔建。第内有锦香阁、德和楼。
光禄第 原址在万安桥东，明两淮盐运使运判、太仆寺丞谢一鹏故宅。前庆延堂，中焕纶楼，北有双清馆、四美轩。
豸史故居 原址在西石山，明御史诸演故居。
诸理斋新居 原址在镇南村沙堰。嘉靖十二年（1533），诸燮自第十堡迁此建书屋，名“东山别业”。门前有联：“卜居且度壬辰岁，登第还需甲午科。”
锦衣世宅 原址在万安桥东。明代谢迁族孙谢一斋世袭锦衣官，建宅第于此，其堂称“荣锦堂”。清康熙初年毁。
昌古斋 原址在第十堡，上虞倪元璐题额。明崇祯九年（1636），诸生诸来聘倡古学，集里中同志汪伯蟠、魏圣水、陈象六、谢天益、诸耿衣讲学于此，以云间（古松江府别称）陈子龙为文宗。清康熙十三年（1674），黄宗羲避乱泗门，曾讲学于此。
半草堂 原址在第十堡诸理斋旧居北，明诸生诸来聘读书处。清康熙十三年，黄宗羲携全家避乱泗门时寓此。
会元第 原址在万安桥东。清顺治十六年（1659）武会元谢文故宅。堂有匾曰“紫宸近侍”。
蕉雨轩 旧址在第四门汝湖边，清谢起龙著书处。植蕉数棵，匾称“蕉雨”。内黄张允煓、临山陈古民均作有《蕉雨轩记》。
余荫居 原址在大方伯第东庑，清谢家兰读书处。谢家兰系谢迪十三世孙，世居于此，额题“余荫”。
史教谕花园 原址在后塘河社区开原桥西北（今荣属厂址），元代昌国教谕史其希别墅。教谕祖茔在桥东，因辟园、建书院于此。清初时花园已废，里中父老犹称史家花园。
三留园 又名日涉园，原址在侍郎第北，明谢丕建。园有亭，匾题“成趣”。又有池，跨小桥其上，旁叠怪石成假山。驯仙鹤、梅花鹿各一只。南为寿萱堂，以奉嗣母陆太淑人。园产橘，小而甘，剖之，香雾沁人，称“谢橘”。又产半斤桃，亦有名。
水阁原 址在侍郎第西，明谢丕建。面湖而轩，石柱雕栏，凡二十间，为谢丕游宴之所。
笔架山 原址在后塘河谢氏宗祠前，系人工堆积而成的三个小土包。山上植树意为“毛笔”。附近河泊中又有寓意文房四宝中的墨、砚、纸。一个圆形小岛象征“墨”，河泊则象征白纸，“砚”是一个通年不涸的深水槽。
恩荣第 原址在西街百岁坊，其堂称寿萱堂，为明陆太淑人故宅。清代，百岁傅儒人之孙谢盈若之妻景氏，雍正癸卯（1723）以节孝被旌。自陆太淑人至此，已被旌三次，绍兴知府汪德馨书“恩荣第”三字悬于门首。
谢氏义学 原址在济美桥西，明谢丕建。谢迁题额“东山书院”。时谢迁家居，喜接后进，谢丕尤加意奖掖，如刑部郎邹绚、苑马寺卿胡安、侍御徐九皋以及同里诸燮，皆一时隽才。吕改寓四门时，亦命其子吕本就学东山书院。
丛桂书院 原址在丛桂桥南，明谢丕建。院内栽桂成林，因名。
茹烈士旌门 原址在大义桥孔长官庙东，宋孝廉茹瑷居此，宋亡死于国难。明洪武时，立石旌表其门。崇祯年间，谢起龙之先高祖营寿坟，发土得片石，题“一门三烈”，下书“宋乡贡茹瑷、妻倪氏、妹茹莹”，旁依稀有“洪武”年号。
“淳厚里”坊 原址在后塘河社区后石洞、“乐善好施”坊西。四柱三间，南北向跨大通路。南宋德佑二年（1276），谢长二奉寿和太皇太后诏避乱泗门，以淳厚德化一方，故称其地为“淳厚里”。明嘉靖初，有司闻于朝，建坊表之。毁于1965年。
柱国坊 原址在阁老府前，东西向跨道路。坊高8米，宽7.5米。四柱三间，中间两柱石狮护柱，旁边两柱擂鼓石护脚。坊额上“柱国坊”三个大字为谢迁长子谢正所书，旁落款“大明正德十三年十二月吉日立”。坊额对上檐下嵌有蟠龙直书“圣旨”牌。毁于1965年。
状元坊 旧址在湖边路白象弄口南侧，东西向跨湖边路。坊高5米，宽4米，两柱单间，擂鼓石护脚。坊额横梁上自右至左镌刻“明成化乙未科一甲第一名状元谢迁”。毁于1965年。
探花坊 旧址在湖边路，距状元坊北40米，东西向跨湖边路。坊高5米，宽4米。两柱单间，擂鼓石护脚。坊额横梁上自右至左镌刻“明弘治乙丑科一甲第三名探花谢丕”。毁于1965年。
“东山并秀”坊 旧址在后塘河谢氏宗祠前东侧，南北向跨大通路。四柱三间。坊额题“东山并秀”，下横梁前后分署两行字，前为“赠通议大夫吏部左侍郎兼翰林院学士谢选”，后为“旌表谢选妻陆氏”。建于明嘉靖年间，毁于1965年。
“太傅流芳”坊 旧址在后塘河谢氏宗祠前西侧，南北向跨大通路。四柱三间。坊额题“太傅流芳”，下横梁前后分署两行字，前为“为四门谢氏长二府君立”，后为“赠光禄大夫柱国少傅兼太子太傅礼部尚书武英殿大学士谢原广谢莹谢恩”。建于明嘉靖年间，坊檐早年毁于龙卷风，所遗石柱毁于1965年。
贞节坊 史称“谢氏旌门”，旧址在龙舌桥谢氏龙舌房祠堂后、“东山并秀”坊东。南北向跨大通路，四柱三间。明嘉靖初，为旌表谢迁弟谢选之妻陆氏孀节而建。毁于1965年。
贞寿坊 史称“百岁旌门”，俗称百岁坊，旧址在西街。坊高3.5米，宽3.2米，两柱一间。清康熙五十二年（1713），谢兼才之妻傅氏百岁，适逢康熙皇帝万寿节，朝廷于其宅前赐建此坊。毁于1965年。
景氏节孝坊 史称“节孝旌门”，旧址在龙舌桥西北谢氏十三房祠堂前。四柱三间，四对擂鼓石护柱。正中大横梁自右至左镌刻“节孝流芳”四个大字，左右小横梁各镌刻“冰清”、“玉洁”两个大字。大横梁对上檐下嵌有蟠龙直书“圣旨”牌。清雍正元年（1723），百岁傅孺人之孙谢盈若之妻景氏以节孝被旌，雍正十三年赐建此坊。毁于1965年。
黄氏节孝坊 旧址在三门堰北50米处，东西向跨湖边路。规模、形制与景氏节孝坊类同。清道光年间，为旌表谢占龄之妻黄氏节孝赐建。毁于1965年。
徐氏节孝坊 旧址在义嘉桥北，南北向立西河沿。规模形制与景氏节孝坊类同。旌表人为清嘉庆十一年（1806）殉夫自尽的谢恒若之妻徐氏。毁于1965年。
“乐善好施”坊 旧址在后塘河东山义庄门前，南北向跨大通路。四柱三间。朝东坊额题“东山义庄”，朝西坊额题“乐善好施”，下横梁前后均刻“为清贡士谢黼平立”。建于清末，毁于1965年。
诚意学堂坊 旧址在诚意学堂内。木质四柱三间。坊额“诚意学堂”四字为堂长谢家山所书。建于清光绪三十一年（1905），民国初年毁于台风。
节孝亭旧址在大义桥东北河角里，有东西两亭，民国初年为谢取槱继妻黄氏建。东亭匾题“冰清”，西亭匾题“玉洁”。亭正中均竖大石碑，东亭碑文不详，西亭碑刻大总统冯国璋题“彤管扬芬”。毁于20世纪50年代。
四门谢氏四世祖、五世祖、六世祖合葬墓旧址在陶家堡开原桥西鹤柱根（今塘后公园内）。墓前华表于清同治年间重修，文题“谢氏四世祖五世祖六世祖墓”。毁于20世纪50年代。
周大宇墓 俗称周知县坟头，旧址在大庙周村章家桥西北。附葬妻郑氏及侧室陆氏。墓前有华表、旗杆、石桌，规模宏大。毁于20世纪50年代。
熊汝霖衣冠冢 旧址在皇封桥村河后。清乾隆年间建，毁于20世纪50年代。