黄家墙门，即黄徵义住宅，位于余姚城内管家弄100号。黄徵义为著名思想家黄宗羲第五世孙，字仲治，号平敝。从小聪颖过人，乾隆五十四年(1789)中举人，嘉庆二十四年(1819)中进士，曾任从化知县，任满以病重告归，杜门不预外事。晚号鹤石山人，著有《鹤石山房诗稿》。
黄徵义旧宅坐北朝南，沿纵轴线自南至北依次为门厅、正厅、后楼、后罩屋，通面阔均为19.55米，各分五间。门厅为楼房，通进深5.50米，穿斗式梁架结构，用五檩、三柱；正厅通进深9.75米，明间梁架结构为抬梁式，用八檩、五柱，山墙呈马鞍形，明、次间前后有廊，前廊为船棚形顶、轩梁、平梁及雀替，均雕刻精细；正厅前的庭院深5.80米，紧靠正厅明间后有座门楼，深0.95米，连石框通面阔4.20米，高达5米，砖石结构，檐下有砖雕、斗拱，门楼两翼围墙向东延伸，与后楼两侧厢屋南山墙连接；正厅后庭院深5.25米，东西两侧有单披厢屋各两间；后楼通进深12.40米，系穿斗式梁架结构，用九檩、七柱，前有廊，通达五间，廊下挑尖梁做成月梁状，屋顶为重檐硬山；后罩屋通进深8.10米。全宅通进深56.70米，庭院深深。庭院和室内均用石板错缝平铺，并有2.65米的通道。
整座建筑用材较粗壮，梁、枋、门窗装饰也较精致。旧宅基本结构尚完整，但门窗改装较多，庭院内亦搭建有小屋，显得较为拥塞。
1997年3月19日，黄家墙门由余姚市人民政府公布为市级文保单位。