通称猿寺と呼ばれる同寺に、杉田玄白の墓があります。杉田玄白（1733〜1817）は江戸中期のオランダ外科医で、蘭学の祖。前野良沢、中川淳庵、桂川甫周と4年の歳月をかけオランダの解剖書を翻訳し、「解体新書」を刊行しました。その時の苦心の思い出を文化12年（1815）83歳の時「蘭学事始」に書いています。栄閑院は、通称『猿寺』と呼ばれ、寛永の頃（1624〜1643）、猿回しに扮した泥棒が寺に逃げ込み、住職に改心させられ猿を置いて諸国行脚に旅立ち、人に慣れた猿は寺の人気者になったことに由来します。（港区観光協会より引用）