Олег Шаргородский начал заниматься хоккеем в родном Харькове. Первой его командой была динамовская команда Харькова. В 1988 году динамовцы завоевали путёвку в высшую лигу.
В 1994 году г привлекался в сборную России на Олимпиаду 1994 года. Здесь он отыграл 8 игр, но российская сборная осталась за чертой призёров.
После Олимпиады получил приглашение за океан. Несколько сезонов он выступал в клубах IHL. Также он пробовал свои силы в финской Лиге.
Сезон 1996/97 выступал за московских армейцев. После возвращения в Россию в 1999 году выступал в новокузнецком «Металлурге», омском «Авангарде», «Ак Барсе». Последний сезон (2003/04) играл за «Крылья Советов».
Всего за свою карьеру сыграл:
5 игр в первой лиге (СССР)
58 игр в высшей лиге (СССР)
302 игры в МХЛ и Суперлиге (Россия)
54 игры в Высшей лиге (Россия)
3 игры в первой лиге (Россия)
242 игры в ИХЛ
47 игры в СМ-Лиге