Назван в XVIII веке по существовавшей здесь дворцовой Ружейной (Станошной) слободе XVII века, где жили мастера Оружейной палаты, изготовлявшие деревянные станки — подставки для ружей.
Ружейный переулок начинается на Садовом кольце от внешней стороны Смоленского бульвара напротив Глазовского переулка, проходит на запад, слева на него выходит Земледельческий переулок, заканчивается на улице Плющиха немного южнее 4-го Ростовского переулка. Вдоль правой стороны переулка расположен сквер.