Караванная улица соединяет площадь Бепинского с Невским проспектом. Она была проложена в первой половине XVIII века как дорога от Летнего дворца императрицы Елизаветы Петровны (сегодня на его месте Михайловский (Инженерный) замок) к Невской перспективе. Дорога не имела официального названия, но горожане называли её Садовой, видимо потому, что по обе стороны проезда росли высокие берёзы, пересаженные сюда с Адмиралтейского луга в 1745 году.
Тогда на этой улице на месте нынешнего дома 12, находился Слоновый двор, который затем был переведен в район Литовского канала. Погонщики слонов остались на прежнем месте. Свои жилые постройки они называли “караван-сараем”. В 1919 году Караванную улицу переименовали. Ей дали имя организатора военных политических учебных заведений Красной Армии Николая Гурьевича Толмачева (1895-1919). Прежнее историческое название Караванная было возращено улиц в 1991 году.