Возможно использовать различные скобки с \left и \right (при этом можно не соблюдать парность и использовать различные разделители для левой и правой скобки):
Как правило, пробелы выбираются автоматически, но иногда, если необходимо, расстояния можно регулировать вручную.