小林麻耶、市川海老蔵一家からも「気持ちが悪い」「大事な孫に近づかないで」と出入り禁止にされていた