Памятник установлен в небольшом сквере у дома на пересечении улицы Забелина и Старосадского переулка, где жил брат поэта. Бывая в Москве, Мандельштам всегда у него останавливался.

В 1934 году Мандельштам был арестован и сослан в город Чердынь Пермской области, после чего жил в Воронеже на вольном поселении. В 38-ом — еще один арест и пересыльный лагерь уже под Владивостоком. Там поэт заболел тифом и умер в больничном бараке.

16 июля 2000 года Мандельштамовское общество обратилось в Московскую городскую Думу с предложением поставить великому поэту памятник в Москве.

24 октября 2000 года Комиссия по монументальному искусству при Московской городской Думе одобрила идею сооружения памятника поэту и внесла предложение в Перечень предложений о возведении произведений монументально-декоративного искусства городского значения, который был утвержден постановлением Московской городской Думы  27 июня 2001 года.

Соорудили памятник скульпторы Дмитрий Шаховский, Елена Мунц и архитектор Александр Бродский. Монумент создавался на народные деньги, по подписке.

Депутат Мосгордумы поэт Евгений Бунимович сказал на церемонии  откытия: "Мандельштам поистине трагическая фигура. Я надеюсь, что этот памятник станет новой Меккой литературной Москвы, одним из мест притяжения для любителей поэзии".