祁家村位于丘陵地带。沿着溪坑公路，有座拱形小桥，小溪流水潺潺，旁依一条弯弯小路。祁家宅院建筑坐北朝南，据史料记载，此宅总占地面积1990平方米。大院前，立着一间炮楼，正面有两个一圆一方的炮洞，炮楼用浅红色的条石凿砌而成，坚不可摧的样子。整个建筑前后两进，内有天井、回廊、串楼、厢房、--、花园。
整个建筑前后两进，内有天井、回廊、串楼、厢房、--、花园。青瓦粉墙的小楼彼此相连，飞檐翘角的正门高耸在正中。站在正门前仰头细观，额题已模糊不清，东、西门的题额分别为“楼枕屿山”和“门迎湫水”的两幅字。正门对面的围墙上镶嵌着一块天然奇石“星月石”，暗红色的蛇蟠石中间一块浑圆的白圈，仿若满天寒星簇拥着一轮皎洁的月亮，侧边长长一道是遥远的银河，寓意“如月中天”。
主楼为传统木结构四合院，硬山顶穿斗式砖木结构，二层七开间带一弄，明间梁架五柱七檩，中柱落地带前后双步和前后廊，次间同明间。庭院开阔，平铺石板，左角有一水井。左右为两层厢房，硬山顶梁架穿斗结构。其后则是狭长的大跨院，称后院，也称小姐楼，名曰“顺雨楼”。向左、右各行十几步，可以穿过小门，进入主楼两边的厢房。厢房有九个明堂，九个跨院，门上方亦各有扇形字刻，一字一句，散发着浓郁的耕读传家文化思想，承载着悠悠的古趣诗韵。厢房前也有狭长的大跨院，供长工、佣人居住。在后院的两侧各建有耳房，用墙与小姐楼隔开。最后面是花园，依稀可见往日花木锦簇、盆景迥异的情形。
整个建筑群落布局严谨，围墙高耸，气势恢宏，显得稳实牢固，封闭性极强，是一个安全、宁静、舒适的居住处所。建筑四周筑有高高围墙和影壁，东南角建有炮楼，呈方形，攒尖式顶，高近十米，四周建有瞭望孔和射击孔，如警惕的眼睛，炯炯有神。建筑的整体设计，可感受到明显的防卫意识，这不但证明了它是一座自卫式的民宅，从一个侧面反映出清晚期至民国初年社会处于动荡的状态。
土改时，祁文豹故居被分给祁家后人及当地百姓居住。不久，当时的葛岙乡人民政府把主楼作为政府办公场所；现在它成了海游镇葛岙片的办公用房。
祁文豹故居建筑，荟萃了浙东古代民间建筑的基本风格，展现了浙东晚清古建筑中的特色。整个建筑既有遍及南方民宅中的马头墙，又有建在前后瓦檐上的骑瓦风火墙；既有一进两厢的结构，又有庭园式、院墙式等风格迥异的居屋。建筑构件中的枋檩雀替，藻井花窗，雕刻有寓意吉祥如意的鳌鱼、蝙蝠、麒麟、奔鹿、走兽，以及栩栩如生的人物造型，宅院中的雕花石磉子、雕花窗、彩绘、升斗等再现了当时高超的技艺。宅院内融灰雕、石雕、木雕艺术于一体，表现了当时艺人非凡的绘画、雕刻技艺。