Алексей Ивахненко ( украинский : Олексій Григо́рович Іва́хненко ); (30 марта 1913 г. - 16 октября 2007 г.) был советским и украинским математиком, наиболее известным благодаря разработке группового метода обработки данных (GMDH), метода индуктивного статистического обучения, за который его иногда называют «отцом глубокого обучения». ". [1]
Алексей Ивахненко | |
---|---|
Родившийся | Алексей Григорович Ивахненко 30 марта 1913 г. |
Умер | 16 октября 2007 г. | (94 года)
Национальность | украинец |
Альма-матер | Ленинградский электротехнический институт ( магистр ) |
Известен | Групповой метод обработки данных , глубокое обучение , индуктивное моделирование |
Награды | Заслуженный деятель науки СССР, две Государственные премии СССР. |
Научная карьера | |
Поля | Искусственный интеллект , машинное обучение , информатика |
Учреждения | Институт кибернетики им. Глушкова великобритания , Киевский электротехнический институт , Киевский политехнический институт ( д.э.н. ) |
Тезис | Теория комбинированных систем автоматического управления электродвигателями (1954 г.) |
Известные студенты | Кунцевич В.М., Костюк В.И., Иваненко В.И., Васильев В.И., Павлов О.А. |
ранняя жизнь и образование
Алексей родился в Кобелякском , Полтавской губернии в семье учителей. [2] В 1932 году окончил электротехнический техникум в Киеве и два года проработал инженером на строительстве большой электростанции в Березниках . Затем, в 1938 году, после окончания Ленинградского электротехнического института , Ивахненко во время войны работал во Всесоюзном электротехническом институте в Москве . Там он исследовал проблемы автоматического управления в лаборатории под руководством Сергея Лебедева .
После возвращения в Киев в 1944 году он продолжил исследования в других учреждениях Украины. В том же году он получил степень доктора философии. степень, а затем, в 1954 г., получил докторскую степень. степень. В 1964 году он был назначен заведующим отделом комбинированных систем управления Института кибернетики. Одновременно работал сначала преподавателем, а с 1961 г. профессором кафедры автоматического управления и технической кибернетики Киевского политехнического института .
Исследовать
Ивахненко известен как основоположник индуктивного моделирования, научного подхода, используемого для распознавания образов и прогнозирования сложных систем. [3] Он использовал этот подход при разработке группового метода обработки данных (GMDH). В 1968 г. в журнале «Автоматика» была опубликована его статья «Групповой метод обработки данных - конкурент метода стохастической аппроксимации» [4], положившая начало новому этапу в его научной деятельности. Он руководил разработкой этого подхода с профессиональной командой математиков и инженеров в Институте кибернетики.
Групповой метод обработки данных
Метод GMDH представляет собой уникальный подход к решению проблем искусственного интеллекта и даже новую философию научных исследований , которые стали возможны с использованием современных компьютеров. [3] Исследователь может не придерживаться в точности традиционного дедуктивного способа построения моделей «от общей теории - к конкретной модели»: наблюдение за объектом, изучение его структуры, понимание принципов его действия, разработка теории и проверка модели объекта. объект. Вместо этого предлагается новый подход «от заданных данных - к общей модели»: после ввода данных исследователь выбирает класс моделей, тип генерации моделей-вариантов и устанавливает критерий выбора модели. Поскольку большая часть рутинной работы переносится на компьютер, влияние человеческого фактора на объективный результат сводится к минимуму. Фактически, этот подход можно рассматривать как одну из реализаций тезиса об искусственном интеллекте, в котором говорится, что компьютер может выступать в качестве мощного советника для людей.
Развитие GMDH состоит из синтеза идей из разных областей науки: кибернетической концепции « черного ящика » и принципа последовательного генетического отбора попарных признаков , теорем Гёделя о неполноте и принципа Габора «свободы выбора решений». [5] в Adhemar в некорректности , и Бер принцип внешних дополнений. [6]
GMDH - оригинальный метод решения задач структурно-параметрической идентификации моделей экспериментальных данных в условиях неопределенности . [7] Такая проблема возникает при построении математической модели, которая аппроксимирует неизвестный образец исследуемого объекта или процесса. [8] Он использует информацию о нем, которая неявно содержится в данных. GMDH отличается от других методов моделирования активным применением следующих принципов : автоматическое построение моделей, неубедительные решения и последовательный отбор по внешним критериям для поиска моделей оптимальной сложности. В нем использовалась оригинальная многослойная процедура автоматического построения структуры моделей, имитирующая эволюционный процесс биологического отбора с учетом попарно следующих друг за другом признаков. Такая процедура в настоящее время используется в сетях глубокого обучения . [9] Для сравнения и выбора оптимальных моделей используются два или более подмножества выборки данных. Это позволяет избежать предварительных предположений, поскольку деление выборки неявно признает различные типы неопределенности во время автоматического построения оптимальной модели.
В начале 1980-х годов Ивахненко провел органическую аналогию между проблемой построения моделей для зашумленных данных и сигнала, проходящего через канал с шумом . [10] Это позволило заложить основы теории помехоустойчивого моделирования. [7] Главный результат этой теории состоит в том, что сложность оптимальной прогнозной модели зависит от уровня неопределенности данных: чем выше этот уровень (например, из-за шума), тем проще должна быть оптимальная модель (с меньшим количеством оцененных параметров. ). Это положило начало развитию теории GMDH как индуктивного метода автоматической адаптации оптимальной сложности модели к уровню информации в нечетких данных . Поэтому GMDH часто считают оригинальной информационной технологией для извлечения знаний из экспериментальных данных .
Полученные результаты
Наряду с GMDH Ивахненко разработал следующий набор результатов:
- Новые принципы автоматического регулирования скорости вращения электродвигателей переменного тока и асинхронных электродвигателей . [11]
- Теория инвариантных систем адаптивного управления с компенсацией измеряемых возмущений. [12] Он разработал принцип косвенного измерения возмущений, названный «дифференциальной вилкой», который позже использовался на практике.
- Принцип комбинированного управления (с отрицательной обратной связью для контролируемых переменных и положительной обратной связью для контролируемых возмущений). [13] Ряд таких систем для регулирования скорости электродвигателей был реализован на практике. Тем самым доказана практическая осуществимость инвариантных условий в комбинированных системах управления, объединяющих преимущества закрытых систем управления по отклонению (высокая точность) и открытых систем (производительность).
- Непоисковые крайние регуляторы на основе распознавания ситуаций. [14]
- Принцип самообучающегося распознавания образов. Сначала это было продемонстрировано в когнитивной системе «Альфа» [8], созданной под его руководством.
- Основа для построения устройств кибернетического предсказания. [15]
- Теория самоорганизации моделей по экспериментальным данным. [16]
- Метод управления с оптимизацией прогноза. [17]
- Помехоустойчивые принципы робастного моделирования данных с шумами. [7]
- Принцип построения самоорганизующихся сетей глубокого обучения. [3]
- Создание многослойных нейронных сетей с активными нейронами, где каждый нейрон представляет собой алгоритм.
Ивахненко известен своими достижениями в теории инвариантности и теории комбинированных систем автоматического управления, которые работают по принципу компенсации измеренных возмущений. Он разработал устройства и методы адаптивного управления системами с магнитными усилителями и двигателями.
Он является автором первой украинской монографии по технической кибернетике [14], которая была опубликована во всем мире на семи языках. [18] В его исследовании дальнейшее развитие принципов комбинированного управления было связано с реализацией методов эволюционной самоорганизации , распознавания образов и прогнозирования в системах управления .
В последние годы его главное новшество - метод GMDH был разработан как метод индуктивного моделирования, прогнозирования сложных процессов и систем . Его идеи сейчас используются в сетях глубокого обучения . [19] Эффективность метода неоднократно подтверждалась при решении реальных сложных задач в области экологии , метеорологии , экономики и технологий , что способствовало повышению его популярности среди международного научного сообщества. [20] Параллельно велись разработки эволюционных алгоритмов самоорганизации в смежной области - задачах кластеризации распознавания образов. [21] Достижения в моделировании экологических процессов отражены в монографиях, [22] [10] экономические процессы - в книгах. [17] [23] Результаты исследования рекуррентных многослойных алгоритмов GMDH описаны в книгах. [16] [3]
Научная школа
С 1963 по 1989 год Ивахненко был редактором специализированного научного журнала «Автоматика» (позже «Проблемы управления и информатики»), сыгравшего решающую роль в становлении и развитии украинской школы индуктивного моделирования. На протяжении этих лет журнал переводился и переиздавался в США как «Советское автоматическое управление» (позже «Журнал автоматизации и информационных наук»).
Наряду с постоянными инновациями в своей области с 1945 года, Ивахненко вел активную педагогическую деятельность, сначала в качестве доцента кафедры теоретической механики, а затем кафедры систем управления. С 1960 года в качестве профессора кафедры технической кибернетики Киевского политехнического института он читал лекции университету и студентам, а также руководил работой многих аспирантов. В 1958-1964 гг. Он был организатором Всесоюзных конференций по инвариантности в Киеве, на которых после запрета было восстановлено развитие теории инвариантных систем управления. [24]
Его неиссякаемый энтузиазм помог более чем 220 молодым ученым подготовить и успешно защитить докторскую диссертацию. под его руководством в КПИ и Институте кибернетики, около 30 его студентов защитили докторские диссертации. Научная школа Ивахненко была и остается настоящей колыбелью высококвалифицированных научных кадров. Кроме того, его ученики В. М. Кунцевич, В. И. Костюк, В. И. Ваненко, В. И. Васильев, А. А. Павлов и другие создали свои уважаемые научные школы. Ивахненко был ярким примером ученого, с тонким чутьем новой и замечательной научной интуиции. До последних дней он продолжал активно работать и щедро генерировал оригинальные научные идеи и результаты.
Награды и награды
Ивахненко - Заслуженный деятель науки СССР (1972 г.), двукратный лауреат Государственной премии (1991, 1997 гг.) За работы по теории инвариантных автоматических систем и ряд публикаций по информационным технологиям в области искусственного интеллекта. Автор 40 книг и более 500 научных статей. Почетный доктор Национального технического университета «КПИ» (2003 г.) и Львовской политехники (2005 г.). Член-корреспондент АН СССР (1961) и академик НАН Украины (2003).
Избранные работы
- Ивахненко А.Г. Эвристическая самоорганизация в задачах инженерной кибернетики , Автоматика, т. 6, 1970 - с. 207-219.
- Ивахненко А.Г. Теория полиномов сложных систем , IEEE-транзакции по системному человеку и кибернетике, 4, 1971 - с. 364-378.
- Ивахненко, АГ; Ивахненко, Г.А. (1995). «Обзор задач, решаемых алгоритмами группового метода обработки данных (GMDH)» (PDF) . Распознавание образов и анализ изображений . 5 (4): 527–535. CiteSeerX 10.1.1.19.2971 .
- Ивахненко, АГ; Мюллер, Я.-А. (1997). «Последние разработки самоорганизующегося моделирования в прогнозировании и анализе фондового рынка» (PDF) . Микроэлектрон . Надежность . 37 : 1053–1072. CiteSeerX 10.1.1.19.4973 .
Рекомендации
- ^ Шмидхубер, Юрген. «Критика бумаги с помощью« Заговора глубокого обучения ». (Nature 521 стр. 436)» . Проверено 26 декабря 2019 .
- ^ Бобрищев, К.В. (2002). Отчий Край . Полтава: Дивосвіт. С. 284–293. ISBN 978-966-95846-9-4.
- ^ а б в г Мадала, HR; Ивахненко, А.Г. (1994). Алгоритмы индуктивного обучения для моделирования сложных систем . Бока-Ратон: CRC Press. ISBN 978-0849344381.
- ^ Ивахненко, А.Г. (1968). «Групповой метод обработки данных - соперник метода стохастической аппроксимации». Советский автомат управления . 13 (3): 43–55.
- ^ Габор, Д. (1971). Перспективы строгания. Организация экономического сотрудничества и развития . Лондон: Imp.Coll.
- ^ Бир, С. (1959). Кибернетика и менеджмент . Лондон: English Univ. Нажмите.
- ^ а б в Ивахненко, АГ; Степашко, В.С. (1985). Помехоустойчивость моделирования (PDF) . Киев: Наукова думка . Проверено 26 декабря 2019 .
- ^ а б Ивахненко, АГ; Лапа, В.Г. (1967). Кибернетика и методы прогнозирования (Современные аналитические и вычислительные методы в науке и математике, т. 8-е изд.). Американский Эльзевир. ISBN 978-0444000200.
- ^ Takao, S .; Кондо, С .; Ueno, J .; Кондо, Т. (2017). «Нейронная сеть типа GMDH с глубокой обратной связью и ее применение для анализа медицинских изображений МРТ-изображений мозга». Искусственная жизнь и робототехника . 23 (2): 161–172. DOI : 10.1007 / s10015-017-0410-1 . S2CID 44190434 .
- ^ а б Ивахненко, А.Г. (1982). Индуктивный метод самоорганизации моделей сложных систем (PDF ). Киев: Наукова думка.
- ^ Ивахненко, А.Г. (1953). Автоматическое регулирование скорости асинхронных двигателей средней мощности . Киев: Изд-во АН СССР.
- ^ Ивахненко, А.Г. (1954). Теория комбинированного автоматического управления электродвигателями . Киев: Изд.КПИ.
- ^ Ивахненко, А.Г. (1954). Электроавтоматика . Киев: Гостехиздат.
- ^ а б Ивахненко, А.Г. (1959). Техническая кибернетика . Киев: Гостехиздат СССР.
- ^ Ивахненко, А.Г. (1969). Самообучающиеся системы распознавания и автоматического управления . Киев: Техника.
- ^ а б Ивахненко, АГ; Юрачковский, Ю.П. (1986). Моделирование сложных систем по экспериментальным данным . М: Радио и Связь.
- ^ а б Ивахненко, АГ; Мюллер, Дж. А. (1985). Самоорганизация моделей прогнозирования (PDF ). Киев: Техника.
- ^ Ивачненко, А.Г. (1962). Techniche kybernetik . Берлин: Verlag Technik.
- ^ Шмидхубер, Дж. (Январь 2015 г.). «Глубокое обучение в нейронных сетях: обзор» (PDF) . Нейронные сети . 61 : 85–117. arXiv : 1404,7828 . DOI : 10.1016 / j.neunet.2014.09.003 . PMID 25462637 . S2CID 11715509 . Проверено 26 декабря 2019 .
- ^ Фарлоу, SJ , изд. (1984). Самоорганизующиеся методы в моделировании: алгоритмы типа GMDH (Статистика: Учебники и монографии, изд. 54). Марсель Деккер Inc. ISBN 978-0824771614. Проверено 26 декабря 2019 .
- ^ Ивахненко, АГ; Зайченко Ю.П .; Димитров В.Д. (1976). Принятие решений на основе самоорганизации . М: Сов. Радио.
- ^ Ивахненко, А.Г. (1975). Долгосрочное прогнозирование и управление сложными системами (PDF ). Киев: Техника.
- ^ Ивачненко, АГ; Мюллер, Дж. А. (1984). Selbstorganisation von Vorhersagemodellen . Берлин: Веб Верлаг Техник.
- ^ "Наука и промышленность". Правда . Коммунистическая партия СССР. 16 мая 1941 г.
Внешние ссылки
- Групповой метод обработки данных
- Библиотека книг и статей GMDH
- GMDH: Об авторе - Биография и презентации об Алексее Ивахненко.