自古名山佛占多。桂峰山，海拔1034米，是吕田境内的一座名山，也是从化流溪河的发源地之一。 传说很久很久以前，有几个云游四海的高僧，路过吕田，就上桂峰山，受到当地村民盛情款待，奉上当地盛产的黄豆和豆腐。高僧说：“黄豆、豆腐食无数，四处不及桂峰好。”
高僧详细考察，发现桂峰山空气好、水质好、土质好，还是石灰岩地带，加上豆种不同，长出来的黄豆粒小皮青。高僧赞曰：“真乃精品也，善哉，善哉！”高僧继续考察制豆腐的工具和制作方法，发现当地人家是把黄豆放在青色的花岗岩石磨中手磨。高僧又问：“山上不见青岩，此青石磨何来？”当地人说：“有一天电闪雷鸣，1，轰轰巨响，山岩裂开，极深处露出青石，十分光洁，后来用绳索将石工放下去开采，制成石磨，磨出来的豆浆特别鲜滑，制成豆腐特别滑嫩，且不易破碎。”高僧叹曰：“奇哉！奇哉！”
桂峰水流出吕田河，吕田墟周围的村庄也家家学会了磨豆腐，桂峰豆腐便发展成吕田豆腐了。