「中国大返し」の際に、秀吉が逃げ込んで難を逃れたという逸話などがあり、太閤ゆかりの寺として有名です。敵に囲まれた秀吉は、急いで髪をそり落とし、僧に化けて寺の僧と一緒に台所で味噌をすり、追っ手の目を欺いたという伝説があり、そのすり鉢とすりこ木が今も寺に残っているそうです。