Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Для рендеринга 3D каркасных моделей см. 3D рендеринг .
Трехмерная (3D)
компьютерная графика
Activemarker2.PNG
Основы
Основное использование
похожие темы
Несколько рентгеновских томографов (с калибровкой количественной плотности минералов ) уложены друг на друга для формирования трехмерной модели.
Объем оказываемых КТ сканирование предплечья различные цветовые схемы для мышц, жира, кости, крови и

В научной визуализации и компьютерной графике , объем рендеринг представляет собой набор методов , используемых для отображения 2D проекции 3D дискретно выборки набора данных , как правило , 3D - скалярное поля .

Типичный набор 3D-данных - это группа 2D-изображений срезов, полученных с помощью сканера КТ , МРТ или MicroCT . Обычно они получаются в виде регулярного шаблона (например, один срез на каждый миллиметр) и обычно имеют регулярное количество пикселей изображения в регулярном шаблоне. Это пример регулярной объемной сетки с каждым элементом объема или вокселем, представленным одним значением, которое получается путем выборки непосредственной области, окружающей воксель.

Чтобы визуализировать 2D-проекцию набора 3D-данных, сначала необходимо определить камеру в пространстве относительно объема. Кроме того, необходимо определить прозрачность и цвет каждого вокселя. Обычно это определяется с помощью передаточной функции RGBA (для красного, зеленого, синего, альфа-канала), которая определяет значение RGBA для каждого возможного значения вокселя.

Например, объем можно просматривать, извлекая изоповерхности (поверхности с равными значениями) из объема и визуализируя их как полигональные сетки, или путем визуализации объема непосредственно как блока данных. Походные кубы алгоритм представляет собой общий метод для извлечения данных из изоповерхности объема. Прямой объемный рендеринг - это вычислительно-ресурсоемкая задача, которую можно выполнять несколькими способами.

Сфера [ править ]

Типы презентаций компьютерной томографии с двумя примерами объемной визуализации.

Объемный рендеринг отличается от томографии тонких срезов , а также обычно отличается от проекций 3D-моделей, включая проекцию максимальной интенсивности . [1] Тем не менее, технически все объемные визуализации становятся проекциями при просмотре на 2-мерном дисплее , что делает различие между проекциями и объемными визуализациями немного расплывчатым. Тем не менее, воплощения моделей объемной визуализации представляют собой сочетание, например, окраски [2] и затенения [3] для создания реалистичных и / или наблюдаемых представлений.

Прямая визуализация объема [ править ]

Модуль прямой объемной визуализации [4] [5] требует, чтобы каждое значение выборки было сопоставлено с непрозрачностью и цветом. Это делается с помощью « передаточной функции », которая может быть простой рампой, кусочно-линейной функцией или произвольной таблицей. После преобразования в значение цветовой модели RGBA (для красного, зеленого, синего, альфа-канала) полученный результат RGBA проецируется на соответствующий пиксель буфера кадра. То, как это делается, зависит от техники рендеринга.

Возможна комбинация этих техник. Например, реализация деформации сдвига может использовать оборудование текстурирования для рисования выровненных срезов в внеэкранном буфере .

Объемное лучевое литье [ править ]

Основная статья: Объемное лучевое литье
Volume Ray Casting. Мумия крокодила предоставлена ​​Музеем антропологии Фиби А. Херст, Калифорнийский университет в Беркли. Данные КТ были получены доктором Ребеккой Фариг, отделение радиологии Стэнфордского университета, с использованием определения Siemens SOMATOM, Siemens Healthcare. Изображение было визуализировано с помощью движка Fovia High Definition Volume Rendering®.

Техника объемного литья лучей может быть получена непосредственно из уравнения визуализации. Он обеспечивает результаты очень высокого качества, обычно считающееся лучшим качеством изображения. Формирование объемных лучей классифицируется как метод объемного рендеринга на основе изображений, поскольку вычисления исходят из выходного изображения, а не из входных данных объема, как в случае с методами на основе объектов. В этом методе луч генерируется для каждого желаемого пикселя изображения. Используя простую модель камеры, луч начинается в центре проекции камеры (обычно в точке глаза) и проходит через пиксель изображения на воображаемой плоскости изображения, плавающей между камерой и визуализируемым объемом. Луч обрезается по границам объема для экономии времени. Затем выборка луча производится через регулярные или адаптивные интервалы по всему объему. Данные интерполируются в каждой точке выборки, передаточная функция применяется для формирования выборки RGBA,образец накладывается на накопленный RGBA луча, и процесс повторяется до тех пор, пока луч не выйдет из объема. Цвет RGBA преобразуется в цвет RGB и помещается в соответствующий пиксель изображения. Процесс повторяется для каждого пикселя на экране, чтобы сформировать законченное изображение.

Сплаттинг [ править ]

Это техника, в которой качество меняется на скорость. Здесь каждый элемент объема разбрызгивается , как сказал Ли Вестовер, как снежный ком, на поверхность обзора в заднем порядке. Эти знаки визуализируются как диски, свойства которых (цвет и прозрачность) меняются диаметрально нормальным ( гауссовским ) образом. Плоские диски и диски с другими типами распределения свойств также используются в зависимости от приложения. [6] [7]

Деформация сдвига [ править ]

Пример рендеринга черепа мыши (CT) с использованием алгоритма деформации сдвига

Подход смещения деформации к объемному рендерингу был разработан Кэмероном и Андриллом, популяризирован Филиппом Лакрутом и Марком Левуа . [8] В этом методе преобразование просмотра преобразуется таким образом, что ближайшая грань объема становится осью, выровненной с закадровым буфером данных изображения с фиксированным масштабом от вокселей до пикселей. Затем объем визуализируется в этот буфер с использованием гораздо более подходящего выравнивания памяти и фиксированных коэффициентов масштабирования и смешивания. После рендеринга всех срезов объема буфер затем деформируется в желаемую ориентацию и масштабируется на отображаемом изображении.

Этот метод относительно быстр в программном обеспечении за счет менее точной выборки и потенциально худшего качества изображения по сравнению с литьем лучей. Существуют накладные расходы на память для хранения нескольких копий тома из-за возможности иметь тома, выровненные по оси. Эти накладные расходы можно уменьшить, используя кодирование длин серий .

Объемный рендеринг на основе текстур [ править ]

Объемная визуализация головы трупа с использованием сопоставления текстур с выравниванием по виду и диффузного отражения

Многие системы трехмерной графики используют наложение текстур для применения изображений или текстур к геометрическим объектам. Графические карты для обычных ПК быстро обрабатывают текстуру и могут эффективно визуализировать срезы трехмерного объема с возможностью взаимодействия в реальном времени. Графические процессоры для рабочих станций еще быстрее и являются основой для большей части визуализации объемов производства, используемой в области медицинской визуализации , нефтегазовой отрасли и других рынках (2007). Раньше специальные системы наложения трехмерных текстур использовались в таких графических системах, как Silicon Graphics InfiniteReality , графический ускоритель HP Visualize FX и другие. Этот метод был впервые описан Билл Хиббард и Дэйв Сантек. [9]

Эти срезы могут быть выровнены по объему и визуализированы под углом к ​​зрителю, или выровнены по плоскости просмотра и взяты из невыровненных срезов через объем. Для второго метода требуется графическая аппаратная поддержка 3D-текстур.

Текстурирование с выравниванием по объему дает изображения приемлемого качества, хотя часто наблюдается заметный переход при повороте объема.

Объемный рендеринг с аппаратным ускорением [ править ]

Из-за чрезвычайно параллельной природы прямого объемного рендеринга аппаратное обеспечение объемного рендеринга специального назначения было обширной темой исследований, прежде чем объемный рендеринг на GPU стал достаточно быстрым. Наиболее широко цитируются технология реального времени луча литья системы VolumePro, разработанная Ханспетера Пфистер и учеными Mitsubishi Electric Research Laboratories , [10] , который использовал высокую пропускную способность памяти и грубую силу , чтобы сделать с помощью алгоритма луча литья. Технология была передана TeraRecon, Inc., и было произведено и продано два поколения ASIC. VP1000 [11] был выпущен в 2002 году, а VP2000 [12] - в 2007 году.

Недавно использованная техника для ускорения традиционных алгоритмов объемного рендеринга, таких как ray-casting, - это использование современных видеокарт. Начав с программируемых пиксельных шейдеров , люди осознали силу параллельных операций над несколькими пикселями и начали выполнять универсальные вычисления на графических процессорах (GPGPU). В пиксельных шейдеров способны считывать и записывать случайным образом из видеопамяти и выполнять некоторые основные математические и логические расчеты. Эти процессоры SIMD использовались для выполнения общих вычислений, таких как рендеринг полигонов и обработка сигналов. В последних поколениях графических процессоров пиксельные шейдеры теперь могут работать как MIMD.процессоры (теперь с возможностью независимого ветвления), использующие до 1 ГБ памяти текстур с форматами с плавающей запятой. С такой мощностью практически любой алгоритм с шагами, которые могут выполняться параллельно, например, объемное моделирование лучей или томографическая реконструкция , может выполняться с огромным ускорением. Программируемые пиксельные шейдеры можно использовать для моделирования изменений характеристик освещения, тени, отражения, цвета излучения и т. Д. Такие симуляции могут быть написаны с использованием языков затенения высокого уровня .

Методы оптимизации [ править ]

Основная цель оптимизации - пропустить как можно большую часть объема. Типичный набор медицинских данных может иметь размер 1 ГБ. Для рендеринга со скоростью 30 кадров / с требуется чрезвычайно быстрая шина памяти. Пропуск вокселей означает, что нужно обрабатывать меньше информации.

Пропуск пустого места [ править ]

Часто система объемного рендеринга имеет систему для определения областей объема, не содержащих видимого материала. Эту информацию можно использовать, чтобы избежать рендеринга этих прозрачных областей. [13]

Раннее прекращение луча [ править ]

Этот метод используется, когда объем отображается в порядке от начала до конца. При прохождении луча через пиксель, как только будет обнаружен достаточно плотный материал, дальнейшие сэмплы не будут вносить существенного вклада в пиксель, и ими можно пренебречь.

Подразделение Octree и BSP пространства [ править ]

Использование иерархических структур, таких как октодерево и BSP- дерево, может быть очень полезным как для сжатия объемных данных, так и для оптимизации скорости процесса объемного литья лучей.

Сегментация объема [ править ]

Сегментация объема включает автоматическое удаление кости, такое как используется на правом изображении в этой КТ-ангиографии .
Объем сегментация 3D-оказанной КТ в грудной клетке : Передняя грудная стенка, дыхательные пути и легочные сосуды передних к корню легкого, были в цифровом виде удалены для того , чтобы визуализировать грудное содержание:
- синие : легочные артерии
- красные : легочные вены (а также брюшная стенка )
- желтый : средостение
- фиолетовый : диафрагма

Сегментация изображения - это ручная или автоматическая процедура, которая может использоваться для разделения больших частей объема, которые кажутся неинтересными перед рендерингом, количество вычислений, которые должны быть выполнены с помощью преобразования лучей или смешивания текстур, может быть значительно уменьшено. Это сокращение может быть от O (n) до O (log n) для n последовательно индексированных вокселей. Объемная сегментация также дает значительные преимущества в производительности для других алгоритмов трассировки лучей . Сегментация объема впоследствии может быть использована для выделения интересующих структур.

Представление с множественным и адаптивным разрешением [ править ]

Представляя менее интересные области объема в более грубом разрешении, можно уменьшить накладные расходы на ввод данных. При ближайшем рассмотрении данные в этих областях могут быть заполнены либо чтением из памяти или диска, либо интерполяцией . Объем с более грубым разрешением передискретизируется до меньшего размера так же, как 2D-изображение MIP-карты создается из оригинала. Эти меньшие объемы также используются сами по себе при повороте объема в новую ориентацию.

Предварительно интегрированный объемный рендеринг [ править ]

Предварительно интегрированный объемный рендеринг [14] - это метод, который может уменьшить количество артефактов выборки путем предварительного вычисления большей части требуемых данных. Это особенно полезно в приложениях с аппаратным ускорением [15] [16], потому что это улучшает качество без большого влияния на производительность. В отличие от большинства других оптимизаций, здесь не пропускаются воксели. Скорее он уменьшает количество выборок, необходимых для точного отображения области вокселей. Идея состоит в том, чтобы визуализировать интервалы между сэмплами, а не сами сэмплы. Этот метод позволяет улавливать быстро меняющийся материал, например переход от мышцы к кости, с гораздо меньшими затратами.

Создание сетки на основе изображений [ править ]

Создание сетки на основе изображений - это автоматизированный процесс создания компьютерных моделей из данных трехмерных изображений (таких как МРТ , КТ , промышленная компьютерная томография или микротомография ) для вычислительного анализа и проектирования, например, CAD, CFD и FEA.

Временное повторное использование вокселей [ править ]

Для полного представления дисплея требуется отображать только один воксель на пиксель (передний) (хотя для сглаживания изображения можно использовать больше), если требуется анимация, передние воксели, которые должны отображаться, могут быть кэшированы, а их расположение относительно камеры можно пересчитывать по мере ее движения. Там, где отображаемые воксели становятся слишком далеко друг от друга, чтобы покрыть все пиксели, новые передние воксели могут быть найдены с помощью преобразования лучей или подобного, а если два вокселя находятся в одном пикселе, передний может быть сохранен.

Список сопутствующего программного обеспечения [ править ]

Открытый исходный код
  • 3D Slicer - программный комплекс для научной визуализации и анализа изображений
  • ClearVolume - библиотека трехмерной визуализации в реальном времени на основе графического процессора, разработанная для объемных световых микроскопов высшего класса.
  • ParaView - кроссплатформенное приложение для анализа и визуализации больших данных. Пользователи ParaView могут быстро создавать визуализации для анализа своих данных с использованием качественных и количественных методов. ParaView построен на VTK (см. Ниже).
  • Studierfenster (StudierFenster) - бесплатная некоммерческая онлайн-платформа Open Science для обработки медицинских изображений (MIP) на основе клиент / сервер.
  • Vaa3D - платформа объемного рендеринга и анализа изображений 3D, 4D и 5D для гигабайт и терабайт больших изображений (на основе OpenGL), особенно в области микроскопических изображений. Также кроссплатформенный с версиями Mac, Windows и Linux. Включите комплексный интерфейс плагинов и 100 плагинов для анализа изображений. Также визуализируйте несколько типов объектов поверхности.
  • VisIt - кроссплатформенный интерактивный инструмент параллельной визуализации и графического анализа для просмотра научных данных.
  • Объемная картография - программное обеспечение с открытым исходным кодом, используемое для восстановления свитка Эн-Геди .
  • Voreen - кроссплатформенная среда быстрой разработки приложений для интерактивной визуализации и анализа многомодальных наборов объемных данных. Он предоставляет методы объемного рендеринга и анализа данных на основе графического процессора
  • VTK - универсальный набор инструментов C ++ для обработки данных, визуализации, трехмерного взаимодействия, вычислительной геометрии, с привязками Python и Java. Также VTK.js предоставляет реализацию JavaScript.
Коммерческий
  • Ambivu 3D Workstation - рабочая станция для медицинской визуализации, которая предлагает ряд режимов объемной визуализации (на основе OpenGL)
  • Amira - программное обеспечение для трехмерной визуализации и анализа для ученых и исследователей (в области наук о жизни и биомедицины)
  • Imaris - научный программный модуль, который предоставляет все необходимые функции для управления данными, визуализации, анализа, сегментации и интерпретации наборов данных 3D и 4D микроскопии.
  • MeVisLab - кроссплатформенное программное обеспечение для обработки и визуализации медицинских изображений (на основе OpenGL и Open Inventor)
  • Open Inventor - трехмерный API высокого уровня для разработки программного обеспечения для трехмерной графики (C ++, .NET, Java)
  • ScanIP - обработки изображений и изображений на основе сетки платформы , которая может отображать данные сканирования (МРТ, КТ, Micro-CT ...) в 3D непосредственно после импорта.
Пример мозга мухи, визуализированный с помощью моделей поверхности его отсеков с помощью Vaa3D
  • tomviz - платформа трехмерной визуализации для ученых и исследователей, которая может использовать скрипты Python для расширенной обработки трехмерных данных.
  • VoluMedic - программа для нарезки и рендеринга объема

См. Также [ править ]

  • Изоповерхность , поверхность, которая представляет точки постоянного значения (например, давления, температуры, скорости, плотности) в объеме пространства.
  • Визуализация потока , метод визуализации векторных полей
  • Объемная сетка , многоугольное представление внутреннего объема объекта.

Ссылки [ править ]

  1. ^ Фишман, Эллиот К .; Ней, Дерек Р .; Хит, Дэвид Дж .; Корл, Франк М .; Хортон, Карен М .; Джонсон, Памела Т. (2006). «Объемная визуализация по сравнению с проекцией максимальной интенсивности в КТ-ангиографии: что лучше всего работает, когда и почему» . RadioGraphics . 26 (3): 905–922. DOI : 10,1148 / rg.263055186 . ISSN  0271-5333 . PMID  16702462 .
  2. ^ Сильверштейн, Джонатан С .; Парсад, Найджел М .; Цирлин, Виктор (2008). «Автоматическое создание перцепционной цветовой карты для реалистичной визуализации объема» . Журнал биомедицинской информатики . 41 (6): 927–935. DOI : 10.1016 / j.jbi.2008.02.008 . ISSN 1532-0464 . PMC 2651027 . PMID 18430609 .   
  3. ^ Page 185 в Лейф Коббелт (2006). Видение, моделирование и визуализация 2006: Материалы, 22-24 ноября . IOS Press. ISBN 9783898380812.
  4. ^ Марк Левый, «Отображение поверхностей от объема данных», IEEE CG & A, май 1988. Архив бумаги
  5. ^ Дребин, Роберт А .; Карпентер, Лорен; Ханрахан, Пэт (1988). «Объемный рендеринг». ACM SIGGRAPH Компьютерная графика . 22 (4): 65. DOI : 10,1145 / 378456,378484 . Дребин, Роберт А .; Карпентер, Лорен; Ханрахан, Пэт (1988). Материалы 15-й ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH '88 . п. 65. DOI : 10,1145 / +54852,378484 . ISBN 978-0897912754.
  6. ^ Уэстовер, Ли Алан (июль 1991). «SPLATTING: параллельный алгоритм объемного рендеринга с прямой связью» (PDF) . Проверено 28 июня 2012 года .
  7. ^ Хуанг, Цзянь (весна 2002 г.). «Сплаттинг» (PPT) . Проверено 5 августа 2011 года .
  8. ^ Lacroute, Филипп; Левой, Марк (1994-01-01). Быстрый объемный рендеринг с использованием факторизации трансформации просмотра . Материалы 21-й ежегодной конференции по компьютерной графике и интерактивным методам . СИГГРАФ '94. Нью-Йорк, Нью-Йорк, США: ACM. С. 451–458. CiteSeerX 10.1.1.75.7117 . DOI : 10.1145 / 192161.192283 . ISBN  978-0897916677.
  9. ^ Hibbard В., Сантек Д., "Интерактивность является ключевым" , Chapel Hill Практикум по объему визуализации , Университет Северной Каролины, ЧапелХилл, 1989, стр. 39-43.
  10. ^ Пфистер, Ханспетер; Харденберг, Ян; Knittel, Джим; Лауэр, Хью; Зайлер, Ларри (1999). Система Ray Casting в реальном времени VolumePro . Материалы 26-й ежегодной конференции по компьютерной графике и интерактивным методам - ​​SIGGRAPH '99 . п. 251. CiteSeerX 10.1.1.471.9205 . DOI : 10.1145 / 311535.311563 . ISBN  978-0201485608.
  11. ^ Ву, Инь; Бхатия, Вишал; Лауэр, Хью; Зайлер, Ларри (2003). Объемный рендеринг лучевого литья в порядке сдвига изображения . Proceeding I3D '03 Proceedings of the 2003 Symposium on Interactive 3D Graphics . п. 152. DOI : 10,1145 / 641480,641510 . ISBN 978-1581136456.
  12. ^ TeraRecon. «Объявление о продукте» . healthimaging.com . Проверено 27 августа 2018 .
  13. ^ Шербонди А., Хьюстон М., Напел С .: Быстрая сегментация объема с одновременной визуализацией с использованием программируемого графического оборудования. В Proceedings of IEEE Visualization (2003), стр. 171–176.
  14. ^ Макс Н., Ханрахан П., Кроуфис Р.: Согласованность по площади и объему для эффективной визуализации трехмерных скалярных функций . В компьютерной графике (семинар в Сан-Диего по объемной визуализации, 1990), т. 24. С. 27–33.
  15. ^ Энгель, Клаус; Краус, Мартин; Эртл, Томас (2001). Высококачественный предварительно интегрированный объемный рендеринг с аппаратным ускорением пиксельного затенения . Материалы семинара ACM SIGGRAPH / EUROGRAPHICS по графическому оборудованию - HWWS '01 . п. 9. CiteSeerX 10.1.1.458.1814 . DOI : 10.1145 / 383507.383515 . ISBN  978-1581134070.
  16. ^ Лум Э., Уилсон Б., Ма К.: Высококачественное освещение и эффективная предварительная интеграция для объемной визуализации . ВсимпозиумеEurographics / IEEE по визуализации 2004.

Дальнейшее чтение [ править ]

  • М. Икиц, Дж. Книсс, А. Лефон и К. Хансен: методы объемной визуализации . В: GPU Gems , Chapter 39 (онлайн-версия в зоне разработчиков Nvidia).
  • Объемная визуализация, Учебное пособие по основам объемной визуализации от доктора философии Омер Дженгиз ЧЕЛЕБИ
  • Бартольд Лихтенбельт, Рэнди Крейн, Шаз Накви, Введение в объемную визуализацию (профессиональные книги Hewlett-Packard), компания Hewlett-Packard 1998.
  • Peng H., Ruan, Z, Long, F, Simpson, JH, Myers, EW: V3D обеспечивает трехмерную визуализацию в реальном времени и количественный анализ крупномасштабных наборов данных биологических изображений. Nature Biotechnology, 2010 doi : 10.1038 / nbt.1612 Объемная визуализация больших данных изображений высокой размерности .
  • Даниэль Вайскопф (2006). Методы интерактивной визуализации на основе графического процессора . Springer Science & Business Media. ISBN 978-3-540-33263-3.