В 1610-1612 году была построена деревянная церковь, что на Козьем болоте - молельная церковь патриарха Гермогена, -которой он дал имя своего небесного покровителя - святого Ермолая. Так появилось название переулка. В 1682 году при патриархе Иоакиме была выстроена каменная Ермолаевская церковь. Позже храм стал обыкновенным приходским. В 1929 году церковь была закрыта, в 1932 снесена. Находилась она на месте небольшого бульвара между домами 21 и 23.В 1961 году переулок был переименован в улицу Жолтовского в честь известного советского архитектора. В 1994 году переулку возвращено историческое название. На пересечении Ермолаевского переулка и Малой Бронной находятся памятник И.А.Крылову и Патриаршие пруды