Сын сестры Давида, Саруии, он рано стал сподвижником своего дяди — по всей вероятности, ещё во время изгнаннической жизни Давида. За взятие Иерусалима получил достоинство главного военачальника, которое и сохранял в течение всего царствования Давида. В Библии представлен как верный царю, но в то же время независимый человек, в армии пользующийся большим влиянием, чем сам царь, и способный на любое преступление. Во время восстания Авессалома, Иоав остался верен Давиду; ему же было поручено исчисление народа (2Цар. 24)[2].
Близость его к царю проявилась в известном деле Урии, положившем чёрное пятно на имя обоих — как царя, так и военачальника (2Цар. 11). До крайности честолюбивый, Иоав не терпел около себя соперников, которых отстранял, не останавливаясь даже перед коварным убийством, как в отношении Авенира и Амессая (2Цар. 3). Давид, передавая своё царство Соломону, дал ему поэтому совет казнить Иоава (...не отпустить седины его мирно в преисподнюю) (3Цар. 2:5-6). Воспользовавшись заговором Адонии, в котором оказался замешанным и Иоав, молодой царь приказал казнить его (3Цар. 2)[2].
В соответствии с мнением средневекового теолога раввина Хая Гаона именно Иоав сын Саруии упоминается в Паралипоменоне в качестве «Иоава, родоначальника долины плотников»[3], и Иоав упоминается в источниках по имени своей материи Саруии, а не, как обычно принято, по имени своего отца Сераии сына Кеназа, благодаря царскому родству своей матери[1].