Родился 23 июня 1909 года в Быхове. Мать — Фейга-Мира Лазоревна Гинзбург. Отец — Абрам Исаакович Гинзбург.
Работал в Днепропетровске заместителем директора оборонного завода. В Днепропетровске у Наума Абрамовича были жена Нина Яковлевна и дочь Инна.
В годы Великой Отечественной войны воевал на 4 Украинском фронте в составе 301 стрелковой дивизии в звании старшего лейтенанта. В марте 1942 года и в декабре 1943 года Гинзбург был контужен. Вернувшись после войны в Днепропетровск Наум Абрамович узнаёт, что жену и дочь расстреляли немцы в 1942 году. Их могилу найти не удаётся. Гинзбург переезжает в Сталино (теперь Донецк).
Гинзбург решает вылепить надгробие для жены и дочери и начинает заниматься скульптурой. В 1952 году он становится членом Сталинского товарищества художников и скульпторов.
В течение 25 лет Гинзбург работал над памятником жене и дочери. Этот памятник был установлен на Мушкетовском кладбище, на могиле матери скульптора в 1972 году. Скульптурная композиция состоит из лиц матери, отца, жены и дочери скульптора. Работники музея еврейского наследия Донбасса считают этот памятник первым в Донецке памятником жертвам Холокоста[1].
Первой скульптурой Гинзбурга был горельеф по мотивам картины Ильи Репина «Запорожцы пишут письмо турецкому султану». Было выполнено порядка шестидесяти копий этого горельефа.