ModelOps

ModelOps (модельные операции), по определению Gartner, «ориентирован в первую очередь на управление и управление жизненным циклом широкого спектра оперативных моделей искусственного интеллекта (ИИ) и моделей принятия решений, включая машинное обучение, графы знаний, правила, оптимизацию, лингвистические и агентно-ориентированные модели ». ^[1] «ModelOps лежит в основе любой корпоративной стратегии искусственного интеллекта». ^[2] Он управляет жизненными циклами модели для всех моделей в производстве по всему предприятию, от ввода модели в производство, затем оценки и обновления полученного приложения в соответствии с набором правил управления, включая технические и бизнес-KPI. Он предоставляет экспертам в области бизнеса возможность оценивать модели ИИ в процессе производства независимо от специалистов по данным. ^[3]

Иллюстрирует цикл ModelOps

Статья Forbes продвигала ModelOps: «По мере того, как предприятия расширяют свои инициативы в области ИИ, чтобы стать настоящей организацией корпоративного ИИ, при наличии полной функциональной аналитической возможности в центре внимания становится ModelOps, объединяющая как DataOps, так и DevOps». ^[4]

История

В опросе Gartner 2018 года 37% респондентов сообщили, что они использовали ИИ в той или иной форме; однако Gartner отметила, что предприятия все еще далеки от внедрения ИИ, сославшись на проблемы с развертыванием. ^[5] Предприятия накапливали неразвернутые, неиспользованные и неотправленные модели и развертывали их вручную, часто на уровне бизнес-единицы, что увеличивало подверженность риску всего предприятия. ^[6]Независимая аналитическая компания Forrester также затронула эту тему в отчете о поставщиках машинного обучения и прогнозной аналитики за 2018 год: «Специалисты по обработке данных регулярно жалуются, что их модели только иногда или никогда не развертываются. Большая часть проблемы - это организационный хаос в понимании того, как применять и проектировать модели в приложения. Но еще одна большая часть проблемы - это технологии. Модели не похожи на программный код, потому что им нужно управление моделями ». ^[7]

В декабре 2018 года Вальдемар Хаммер и Винод Мутусами из IBM Research AI предложили ModelOps как «модель программирования для многоразовых, платформенно-независимых и составляемых рабочих процессов ИИ» в День языков программирования IBM. ^[8] В своей презентации они отметили разницу между жизненным циклом разработки приложения, представленным DevOps , и жизненным циклом приложения ИИ. ^[9]

Целью разработки ModelOps было устранение разрыва между развертыванием модели и управлением моделью, обеспечение того, чтобы все модели работали в производственной среде с сильным управлением, согласованными с техническими и бизнес-ключевыми показателями эффективности, при одновременном управлении рисками. В своей презентации Хаммер и Мутусами описали программное решение для поэтапного развертывания с учетом ИИ и повторно используемых компонентов, которое позволит версиям модели соответствовать бизнес-приложениям и которое будет включать такие концепции модели ИИ, как мониторинг модели, обнаружение дрейфа и активное обучение. Решение также устранит противоречие между производительностью модели и ключевыми показателями эффективности бизнеса (KPI), журналами приложений и моделей, а также прокси-серверами моделей и развивающимися политиками. В предложение входили различные облачные платформы. В июне 2019 года Hummer, Muthusamy, Thomas Rausch, Parijat Dube,и Каутар Эль Маграуи представили доклад на Международной конференции IEEE 2019 года по облачной инженерии (IC2E).^[10] Документ расширил презентацию 2018 года, предложив ModelOps в качестве облачной инфраструктуры и платформы для сквозной разработки и управления жизненным циклом приложений искусственного интеллекта (AI). В резюме они заявили, что структура покажет, как можно расширить принципы управления жизненным циклом программного обеспечения, чтобы обеспечить автоматизацию, доверие, надежность, прослеживаемость, контроль качества и воспроизводимость конвейеров модели ИИ.^[11] В марте 2020 года компания ModelOp, Inc. опубликовала первое подробное руководство по методологии ModelOps. Целью данной публикации было предоставить обзор возможностей ModelOps, а также технических и организационных требований для реализации практик ModelOps.^[12]

В октябре 2020 года ModelOp запустила ModelOp.io , онлайн-центр для ресурсов ModelOps и MLOps. Параллельно с запуском этого веб-сайта ModelOp выпустила шаблон запроса предложений (RFP). Этот шаблон RFP, основанный на интервью с отраслевыми экспертами и аналитиками, был разработан с учетом функциональных требований решений ModelOps и MLOps. ^[13]

Случаи применения

Типичный вариант использования ModelOps - это сектор финансовых услуг, где сотни временных рядовмодели используются, чтобы сосредоточиться на строгих правилах предвзятости и проверяемости. В этих случаях критически важны справедливость и надежность модели, а это означает, что модели должны быть справедливыми и точными, и они должны работать надежно. ModelOps автоматизирует жизненный цикл моделей в производстве. Такая автоматизация включает в себя проектирование жизненного цикла модели, включая технические, деловые и нормативные KPI и пороговые значения, для управления и мониторинга модели во время ее работы, мониторинг моделей на предмет предвзятости и других технических и бизнес-аномалий, а также обновление модели по мере необходимости без нарушения приложения. ModelOps - диспетчер, который следит за тем, чтобы все поезда ходили вовремя и на правильном пути, обеспечивая контроль рисков, соблюдение нормативных требований и эффективность бизнеса.

Другой вариант использования - это мониторинг уровня сахара в крови диабетика на основе данных пациента в режиме реального времени. Модель, которая может прогнозировать гипогликемию, должна постоянно обновляться текущими данными, бизнес-KPI и аномалии должны постоянно отслеживаться и должны быть доступны в распределенной среде, чтобы информация была доступна на мобильном устройстве, а также передавалась в более крупную систему. Оркестровка, управление, переподготовка, мониторинг и обновление выполняются с помощью ModelOps.

Процесс ModelOps

Процесс ModelOps направлен на автоматизацию управления, управления и мониторинга моделей в производстве по всему предприятию, позволяя разработчикам ИИ и приложений легко подключать возможности жизненного цикла (такие как обнаружение смещения, устойчивость и надежность, обнаружение смещения, технические, бизнес и соответствие KPI, нормативным ограничениям и потокам утверждения) для внедрения моделей искусственного интеллекта в производство в качестве бизнес-приложений. Процесс начинается со стандартного представления моделей-кандидатов для производства, которое включает метамодель (спецификацию модели) со всеми компонентами и зависимыми частями, которые используются при построении модели, такими как данные, аппаратные и программные среды, классификаторы и т. Д. плагины кода и, что наиболее важно, ключевые показатели эффективности бизнеса и соответствия / риска.

ModelOps: эволюция MLOps

MLOps (операции машинного обучения) - это дисциплина, которая позволяет специалистам по данным и ИТ-специалистам сотрудничать и общаться при автоматизации алгоритмов машинного обучения. Он расширяет и расширяет принципы DevOps для поддержки автоматизации разработки и развертывания моделей и приложений машинного обучения. ^[14] На практике MLOps включает стандартные модели машинного обучения (ML). Однако разнообразие и использование моделей изменилось, чтобы включить модели оптимизации решений, модели оптимизации и трансформационные модели.которые добавляются в приложения. ModelOps - это эволюция MLOps, которая расширяет свои принципы, включая не только рутинное развертывание моделей машинного обучения, но также непрерывное переобучение, автоматическое обновление и синхронизированную разработку и развертывание более сложных моделей машинного обучения. ^[15] ModelOps относится к операционализации всех моделей ИИ, включая модели машинного обучения, которыми занимается MLOps. ^[16]

использованная литература

^ Бретену, Эрик. «Глоссарий Gartner» . Gartner . Проверено 16 декабря 2020 .
^ Чоудхари, Фархан. «Глоссарий Gartner» . Gartner . Проверено 6 августа 2020 .
^ Барот, Soyeb. «Основы руководства по внедрению машинного обучения» . Gartner . Проверено 6 августа 2020 .
^ Ву июня «ModelOps ключ к Enterprise AI» . Forbes . Проверено 5 февраля 2021 года .
^ «Исследование Gartner показывает, что 37 процентов организаций внедрили ИИ в той или иной форме». Отдел новостей Gartner . 2018-01-21.
^ Ву, июнь (2020), ModelOps - ключ к корпоративному ИИ. (опубликовано 31 марта 2020 г.)
^ «Мультимодальная прогнозная аналитика и решения для машинного обучения, третий квартал 2018 г.» (PDF) .
^ "День языков программирования IBM" .
^ Waldemar Hummer и Винод Muthusamy, модель программирования для многократного использования, независимого от платформы и компонуемо AI рабочих процессы, . IBM Research AI, 10 декабря 2018 г.
^ «Международная конференция IEEE по облачной инженерии (IC2E)» .
^ Хаммер, Вальдемар; Мутусами, Винод. ModelOps: облачное управление жизненным циклом для надежного и надежного ИИ . Международная конференция IEEE по облачной инженерии. Париджат Дубе, Каутар Эль Маграуи. п. 1.
^ «Основы ModelOps: лучшие практики для успеха с корпоративным ИИ» (PDF) . МодельОп . Дата обращения 7 августа 2020 .
^ "ModelOps RFP" . ModelOps: Центр ресурсов ModelOps и MLOps . Проверено 30 октября 2020 .
^ Talagala, Ниша (2018-01-30). «Почему MLOps (и не только ML) - это новый конкурентный рубеж для вашего бизнеса». AITrends .
^ «Построение ModelOps с интеллектуальной автоматизацией для облачных приложений ускоряет рост с помощью инициатив цифровой трансформации». 451 Исследования .
^ Вашистх, Шубханги; Бретену, Эрик; Чоудхари, Фархан; Заяц, Джим. «Используйте трехэтапную структуру MLOps Gartner для успешной реализации проектов машинного обучения» . Gartner . Дата обращения 7 августа 2020 .

[1] Бретену, Эрик. «Глоссарий Gartner» . Gartner . Проверено 16 декабря 2020 .

[2] Чоудхари, Фархан. «Глоссарий Gartner» . Gartner . Проверено 6 августа 2020 .

[3] Барот, Soyeb. «Основы руководства по внедрению машинного обучения» . Gartner . Проверено 6 августа 2020 .

[4] Ву июня «ModelOps ключ к Enterprise AI» . Forbes . Проверено 5 февраля 2021 года .

[5] «Исследование Gartner показывает, что 37 процентов организаций внедрили ИИ в той или иной форме». Отдел новостей Gartner . 2018-01-21.

[6] Ву, июнь (2020), ModelOps - ключ к корпоративному ИИ. (опубликовано 31 марта 2020 г.)

[7] «Мультимодальная прогнозная аналитика и решения для машинного обучения, третий квартал 2018 г.» (PDF) .

[8] "День языков программирования IBM" .

[9] Waldemar Hummer и Винод Muthusamy, модель программирования для многократного использования, независимого от платформы и компонуемо AI рабочих процессы, . IBM Research AI, 10 декабря 2018 г.

[10] «Международная конференция IEEE по облачной инженерии (IC2E)» .

[11] Хаммер, Вальдемар; Мутусами, Винод. ModelOps: облачное управление жизненным циклом для надежного и надежного ИИ . Международная конференция IEEE по облачной инженерии. Париджат Дубе, Каутар Эль Маграуи. п. 1.

[12] «Основы ModelOps: лучшие практики для успеха с корпоративным ИИ» (PDF) . МодельОп . Дата обращения 7 августа 2020 .

[13] "ModelOps RFP" . ModelOps: Центр ресурсов ModelOps и MLOps . Проверено 30 октября 2020 .

[14] Talagala, Ниша (2018-01-30). «Почему MLOps (и не только ML) - это новый конкурентный рубеж для вашего бизнеса». AITrends .

[15] «Построение ModelOps с интеллектуальной автоматизацией для облачных приложений ускоряет рост с помощью инициатив цифровой трансформации». 451 Исследования .

[16] Вашистх, Шубханги; Бретену, Эрик; Чоудхари, Фархан; Заяц, Джим. «Используйте трехэтапную структуру MLOps Gartner для успешной реализации проектов машинного обучения» . Gartner . Дата обращения 7 августа 2020 .

[1]