Ави Шварц родился в Бухаресте , Румыния , в 1938 году. Его семья занималась алмазным бизнесом. Художественные ценности он впитывал с ранних лет дома, где стены были украшены картинами из богатой коллекции произведений искусства его отца. Реальность портретов и пейзажей тогда считалась классической, и Ави стремился ей подражать. Его возможность представилась во время Второй мировой войны, когда Бухарест бомбили, и он и его семья были вынуждены оставаться дома в течение длительного периода времени. В те дни он копировал картины, которые видел перед собой.
В 1947 году его семье удалось покинуть Румынию и иммигрировать в Израиль в 1948 году через Париж. Здесь их встретил его дед, Моисей Джозефсон, первый президент Израильской алмазной биржи , иммигрировавший в Палестину перед войной.
В юности он учился в средней школе «Шалва» в Тель-Авиве и при поддержке родителей поступил в Институт Авни (колледж искусства и дизайна). Он был там самым молодым учеником и гордился тем, что успешно сдал вступительные экзамены.Институтом Авни тогда руководил Моше Мокади , а среди его преподавателей были Ехезкель Штрейхман , Авигдор Стемацкий и Марсель Янко .
В этот период преобладающее художественное восприятие в Институте Авни склонялось к абстрактному искусству и находилось в поиске нового, модернистского и космополитического языка выражения. Это противоречило «старому искусству Бецалеля », «туристическим картинам» и реализму, имитирующему то, что видел глаз. В институте Авни Ави познакомился с абстрактным экспрессионизмом , с подходом, который рассматривал искусство как интуитивное средство выражения чувств, отражающее фантазию и подсознание .и т. д. Согласно этому взгляду, реалистическая живопись достигла своего апогея и, таким образом, подошла к концу. Процесс обучения в институте состоял из основных, первичных указаний на уроке, упора на домашнюю работу - работу методом проб и ошибок, а затем на критику в классе. Шварц плохо относился ни к этим методам, ни к художественному языку Стеймацкого или Штрейхмана и Янко, которые принадлежали к группе под названием « Новые горизонты ». По его словам, он искал «настоящую вещь», фигуративную живопись. Это отсутствие общения между ним и его учителями привело к «засушливому периоду», во время которого он перестал рисовать.
Когда разразилась Синайская кампания , Ави бросил институт Авни и свою среднюю школу и поступил на службу в армию, ЦАХАЛ . Позже он женился на Нурит, сдал вступительные экзамены и некоторое время изучал историю в Тель-Авивском университете . Чтобы заработать на жизнь, он занимался шлифовкой алмазов, а позже руководил кафедрой алмазов, драгоценных камней и металлообработки в школе ОРТ в Рамат-Гане .
Снова начал рисовать только в 30 лет, когда познакомился с художником Цви Шорром , который сказал ему, что «мир не абстрактен , и ни одна картина не должна быть абстрактной — рисуй мир таким, каким ты его видишь». Цви Шор знакомился с современным искусством и французским экспрессионизмом и даже некоторое время жил в Париже. Несмотря на это, его картины оставались описательными и реалистичными, выполненными импрессионистическими движениями кисти, вдохновленными картинами Эдгара Дега , Поля Сезанна и других. Ави Шварц находился под его сильным влиянием и считался «прямым учеником Цви Шора».