巫公祠位于雅集亭之右，旧时祀商相巫咸及其子巫贤。据邑志载，宋庆元间邑人在虞山之青龙岗掘土得一古碑，-“商相巫咸冢”五个古字，县令孙应时遂建其祠于言子祠之夹室。
明嘉靖八年（1529年），知县胡凤请于巡抚、都御史陈祥，提学章衮，始正式檄文建殿及飨堂各四楹于虞山致道观西侧，立石门，表曰：“商贤相巫公祠”，并置司春秋致祭。国子监祭酒、邑人陈寰撰记。明季，被练兵官占为公署。
清顺治十年（1653年），王梦鼎、邵灯等将祠改建于昭明太子读书台之左侧，钱谦益撰记，旋废。康熙二十五年（1686年），知县杨振藻以宾汤门外东庄废庙改祠，迁巫咸木主祀之，后亦废。乾隆九年（1744年），储粮道觉罗雅尔哈善重建于游文书院旁，并撰记，同祀巫咸巫贤父子。陶贞一亦撰记。乾隆四十一年（1776年），移祀于游文书院之西厅。咸丰十年（1860年）毁。光绪二十九年（1903年）复建于院后山麓。
建国后又毁，1985年市园林管理处斥资5.6万元重建于今址，现辟为公园茶室。