Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску

Суперсэмплинг глубокого обучения ( DLSS ) - это технология масштабирования изображения, разработанная Nvidia и предназначенная исключительно для видеокарт Nvidia для использования в режиме реального времени в некоторых видеоиграх, с использованием глубокого обучения для повышения разрешения изображений с более низким разрешением до более высокого разрешения для отображения на более высоких экранах. разрешение компьютерных мониторов. Nvidia утверждает, что эта технология повышает качество изображений до качества, аналогичного качеству рендеринга изображения в более высоком разрешении, но с меньшим количеством вычислений, выполняемых видеокартой, что позволяет использовать более высокие графические настройки и частоту кадров для данного разрешения. [1] Nvidia утверждает, что «DLSS 2.0 предлагает качество изображения, сопоставимое с собственным разрешением». [2]

С декабря 2020 года эта технология доступна исключительно на графических процессорах серий GeForce RTX 20 и GeForce RTX 30 .

История [ править ]

Nvidia рекламировала DLSS как ключевую функцию графических процессоров серии GeForce RTX 20, когда они были запущены в сентябре 2018 года. [3] В то время результаты были ограничены несколькими видеоиграми (а именно Battlefield V [4] и Metro Exodus ), потому что Алгоритм нужно было обучать специально для каждой игры, в которой он применялся, и результаты обычно были не так хороши, как простое масштабирование разрешения. [5] [6]

В 2019 году система управления видеоиграми поставлялась с трассировкой лучей и улучшенной версией DLSS, в которой не использовались тензорные ядра. [7] [8]

В апреле 2020 года Nvidia анонсировала и поставила с версией драйвера 445.75 улучшенную версию DLSS под названием DLSS 2.0, которая была доступна для нескольких существующих игр, включая Control и Wolfenstein: Youngblood , и будет доступна позже для будущих игр. На этот раз Nvidia заявила, что снова использует тензорные ядра и что ИИ не нужно специально обучать для каждой игры. [3] [9]

Побочным эффектом DLSS 2.0 является то, что он, кажется, не очень хорошо работает с методами сглаживания , такими как MSAA или TSAA , и на производительность очень негативно влияет, если эти методы включены поверх DLSS. [10]

По состоянию на апрель 2020 года DLSS 2.0 все еще должен быть включен разработчиками игр для каждой игры .

История выпусков [ править ]

РелизДата выпускаОсобенности
1.0Февраль 2019 г.Первая версия, использующая ИИ и специально обученная для определенных игр, включая Battlefield V и Metro Exodus [4]
2.0 (первая итерация)Август 2019 г.Первая версия 2.0, также упоминаемая как версия 1.9, с использованием приблизительного ИИ незавершенной версии 2.0, работающей на ядрах шейдеров CUDA и специально адаптированной для Control [7] [3] [11]
2.0 (вторая итерация)Апрель 2020 г.Вторая версия 2.0, снова с использованием тензорных ядер и общего обучения [12]

Алгоритм [ править ]

DLSS 1.0 [ править ]

Nvidia объяснила, что DLSS 1.0 работает для каждого целевого игрового изображения, создавая «идеальный кадр» с использованием традиционной суперсэмплинга , а затем обучая нейронную сеть на этих результирующих изображениях. На втором этапе модель была обучена распознавать входные данные с псевдонимом в исходном результате. [13] [14]

DLSS 2.0 [ править ]

DLSS 2.0 работает следующим образом: [15]

  • Нейронная сеть обучается Nvidia , используя «идеальные» образы видеоигр сверхвысоким разрешением на суперкомпьютерах и изображений с низким разрешением одних и тех же игр. Результат сохраняется в драйвере видеокарты . Говорят, что Nvidia использует серверы DGX-1 для обучения сети. [16]
  • Нейронная сеть, хранящаяся в драйвере, сравнивает фактическое изображение низкого разрешения с эталонным и дает результат с полным высоким разрешением. Входными данными, используемыми обученной нейронной сетью, являются изображения с псевдонимом низкого разрешения, визуализируемые игровым движком , и векторы движения низкого разрешения из тех же изображений, также генерируемые игровым движком. Векторы движения сообщают сети, в каком направлении объекты в сцене перемещаются от кадра к кадру, чтобы оценить, как будет выглядеть следующий кадр. [17]

Архитектура [ править ]

DLSS доступен только на графических процессорах серий GeForce RTX 20 и GeForce RTX 30 в специальных ускорителях искусственного интеллекта, называемых тензорными ядрами . [17] [18]

Тензорные ядра доступны с момента появления микроархитектуры графического процессора Nvidia Volta , которая впервые была использована в линейке продуктов Tesla V100 . [19] Их специфика заключается в том, что каждое тензорное ядро ​​работает с 16-битными матрицами с плавающей запятой 4 x 4 и, похоже, предназначено для использования на уровне CUDA C ++, даже на уровне компилятора . [20]

Тензорные ядра используют примитивы CUDA Warp -Level в 32 параллельных потоках, чтобы использовать преимущества своей параллельной архитектуры. [21] Деформация - это набор из 32 потоков, которые сконфигурированы для выполнения одной и той же инструкции.

См. Также [ править ]

  • Масштабирование изображения
  • Глубокое обучение
  • Суперсэмплинг
  • GeForce
  • Nvidia DGX
  • Блок обработки тензор , специализированная интегральная схема (ASIC) AI-ускорителя, разработанная Google
  • Список игр с поддержкой DLSS

Ссылки [ править ]

  1. ^ «Nvidia RTX DLSS: все, что вам нужно знать» . Цифровые тенденции . 2020-02-14 . Проверено 5 апреля 2020 . Суперсэмплинг глубокого обучения использует искусственный интеллект и машинное обучение для создания изображения, которое выглядит как изображение с более высоким разрешением, без накладных расходов на рендеринг. Алгоритм Nvidia учится на десятках тысяч визуализированных последовательностей изображений, созданных с помощью суперкомпьютера. Это тренирует алгоритм, чтобы он мог создавать такие же красивые изображения, но при этом не требуя от графической карты чрезмерной работы для этого. CS1 maint: обескураженный параметр ( ссылка )
  2. ^ «Что такое DLSS? Объяснение технологии RTX от Nvidia» . Надежные обзоры . 2021-03-23 . Проверено 30 марта 2021 .
  3. ^ a b c «Nvidia DLSS в 2020 году: потрясающие результаты» . techspot.com. 2020-02-26 . Проверено 5 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  4. ^ a b «Battlefield V DLSS протестирован: завышенные обещания, недостаточная доставка» . techspot.com. 2019-02-19 . Проверено 6 апреля 2020 . Конечно, этого следовало ожидать. DLSS никогда не собирался обеспечивать такое же качество изображения, как собственный 4K, при этом обеспечивая прирост производительности на 37%. Это была бы черная магия. Но разница в качестве при сравнении этих двух устройств почти смехотворна в том, насколько далеко DLSS от нативной презентации в этих стрессовых областях. CS1 maint: обескураженный параметр ( ссылка )
  5. ^ «AMD считает, что NVIDIA DLSS недостаточно; называет TAA и SMAA лучшими альтернативами» . techquila.co.in. 2019-02-15 . Проверено 6 апреля 2020 . Недавно две крупные игры получили поддержку NVIDIA DLSS, а именно Metro Exodus и Battlefield V. Обе эти игры поставляются с реализацией NVIDIA DXR (DirectX Raytracing), которая на данный момент поддерживается только картами GeForce RTX. DLSS позволяет играть в эти игры при более высоком разрешении с гораздо более высокой частотой кадров, хотя при этом заметно уменьшается резкость изображения. Теперь AMD сделала удар по DLSS, заявив, что традиционные методы AA, такие как SMAA и TAA, «предлагают превосходное сочетание качества изображения и производительности». CS1 maint: обескураженный параметр ( ссылка )
  6. ^ «Nvidia очень тихо сделала DLSS намного лучше» . Котаку . 2020-02-22 . Проверено 6 апреля 2020 . Преимущество для большинства людей заключается в том, что в целом DLSS дает значительное улучшение FPS. Сколько варьируется от игры к игре. В Metro Exodus скачок FPS был едва заметен и, конечно, не стоил странного удара по качеству изображения. CS1 maint: обескураженный параметр ( ссылка )
  7. ^ a b «Remedy's Control против DLSS 2.0 - масштабирование AI выходит на новый уровень» . Eurogamer . 2020-04-04 . Проверено 5 апреля 2020 . Конечно, это не первая реализация DLSS, которую мы видели в Control. Игра поставляется с достаточно приличным воспроизведением технологии, которая фактически не использует машинное обучение. CS1 maint: обескураженный параметр ( ссылка )
  8. ^ «Обновление NVIDIA DLSS 2.0 исправит большую ошибку карт Geforce RTX» . techquila.co.in. 2020-03-24 . Проверено 6 апреля 2020 . Как и было обещано, NVIDIA обновила сеть DLSS в новом обновлении Geforce, которое обеспечивает лучшее и четкое качество изображения, сохраняя при этом более высокую частоту кадров в играх с трассировкой лучей. Хотя эта функция также не использовалась в первой итерации, NVIDIA теперь уверена, что они успешно исправили все проблемы, которые были у нее раньше. CS1 maint: обескураженный параметр ( ссылка )
  9. ^ «HW News - Crysis Remastered Ray Tracing, NVIDIA DLSS 2, слухи о Ryzen 3100» . 2020-04-19 . Проверено 19 апреля 2020 . «Первоначальный DLSS требовал обучения сети искусственного интеллекта для каждой новой игры. DLSS 2.0 обучается с использованием не игрового контента, обеспечивая универсальную сеть, которая работает во всех играх. Это означает более быструю интеграцию игр и, в конечном итоге, больше игр DLSS ». CS1 maint: обескураженный параметр ( ссылка )
  10. ^ «Оценка качества и производительности NVIDIA DLSS 2.0 в Mech 5 And Control» . hothardware.com. 2020-03-27 . Проверено 7 апреля 2020 . Одним из побочных эффектов DLSS является то, что он, похоже, не очень хорошо работает с MSAA (принудительно через драйверы) или TXAA, включенным в игре. Производительность на самом деле довольно сильно упала с любым из этих методов сглаживания поверх DLSS 2.0, при этом режим качества работал примерно вдвое медленнее, чем без DLSS. CS1 maint: обескураженный параметр ( ссылка )
  11. ^ Edelsten, Андрей (30 августа 2019). «NVIDIA DLSS: контроль и не только» . nividia.com . Дата обращения 11 августа 2020 . мы разработали новый алгоритм обработки изображений, который приблизительно соответствует нашей исследовательской модели искусственного интеллекта и соответствует нашему бюджету производительности. Этот подход к обработке изображений в DLSS интегрирован в Control CS1 maint: обескураженный параметр ( ссылка )
  12. ^ "Обзор NVIDIA DLSS 2.0 с контролем - это волшебство?" . techquila.co.in. 2020-04-05 . Проверено 6 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  13. ^ «NVIDIA DLSS: ответы на ваши вопросы» . Nvidia . 2019-02-15 . Проверено 19 апреля 2020 .Команда DLSS сначала извлекает много кадров с псевдонимом из целевой игры, а затем для каждого из них мы генерируем соответствующий «идеальный кадр», используя либо суперсэмплинг, либо рендеринг с накоплением. Эти парные кадры подаются на суперкомпьютер NVIDIA. Суперкомпьютер обучает модель DLSS распознавать входные данные со сглаживанием и генерировать высококачественные сглаженные изображения, которые максимально соответствуют «идеальному кадру». Затем мы повторяем процесс, но на этот раз мы обучаем модель генерировать дополнительные пиксели, а не применять AA. Это приводит к увеличению разрешения входа. Сочетание обоих методов позволяет графическому процессору отображать полное разрешение монитора с более высокой частотой кадров. CS1 maint: обескураженный параметр ( ссылка )
  14. ^ Суперкомпьютер и искусственный интеллект будут поддерживать графические процессоры NVIDIA RTX - производительность NVIDIA RTX 2080 . Игры JAGS. 2018-08-23 . Проверено 19 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  15. ^ «Технология NVIDIA Deep Learning Super Sampling (DLSS) 2.0 - настоящая сделка» . Forbes . 2020-03-29 . Проверено 7 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  16. ^ «NVIDIA DLSS 2.0: большой скачок в рендеринге AI» . Nvidia . 2020-03-23 . Проверено 25 ноября 2020 . CS1 maint: обескураженный параметр ( ссылка )
  17. ^ a b «NVIDIA DLSS 2.0: большой скачок в рендеринге AI» . Nvidia . 2020-03-23 . Проверено 7 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  18. ^ "NVIDIA TENSOR CORES" . Nvidia . Проверено 7 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  19. ^ "О тензоры, Tensorflow, и самые последние 'Tensor Ядра от Nvidia ' " . tomshardware.com. 2017-04-11 . Проверено 8 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  20. ^ "NVIDIA Titan V Deep Learning Deep Dive: все о тензорных ядрах" . AnandTech . 2018-07-03 . Проверено 8 апреля 2020 . CS1 maint: обескураженный параметр ( ссылка )
  21. ^ «Использование примитивов уровня деформации CUDA» . Nvidia . 2018-01-15 . Проверено 8 апреля 2020 . Графические процессоры NVIDIA выполняют группы потоков, известные как деформации в режиме SIMT (одиночная инструкция, многопоточность). CS1 maint: обескураженный параметр ( ссылка )