Административно находится в Шевченковском районе. Берёт начало от станции метро «Исторический музей», заканчивается зданием ХАТОБа. На улице находятся Харьковская областная филармония, гимназия № 6. Между Рымарской и Сумской улицами располагается здание Харьковского государственного академического украинского драматического театра имени Т. Г. Шевченко.
Название улица получила от живших на улице в XVII веке римарей или лымарей, занимавшихся изготовлением кожаных изделий, в частности конской упряжи.
В 1920 году на Рымарской жил Ф. Э. Дзержинский, в честь которого позже был назван весь Дзержинский район (работал он в здании ВЧК на Мироносицкой улице, 2). Также в 1925—1930 годах на Рымарской жил известный украинский советский писатель Микола Хвылевой (укр. Микола Хвильовий).
В 2009 году были вырублены все деревья для дальнейшего расширения улицы. Улица была расширена более чем на один метр с каждой стороны. В результате в некоторых местах тротуары стали настолько узки, что на них не могут разминуться три человека.