Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Зепп Хохрайтер
Зепп Хохрайтер 1.jpg
Родившийся( 1967-02-14 )14 февраля 1967 (54 года)
Мюльдорф , Западная Германия
НациональностьНемецкий
Альма-матерTechnische Universität München
Научная карьера
ПоляМашинное обучение , биоинформатика
УчрежденияУниверситет Иоганна Кеплера в Линце
ТезисGeneralisierung bei neuroonalen Netzen geringer Komplexität  (1999)
ДокторантВильфрид Брауэр

Йозеф «Зепп» Хохрайтер (родился 14 февраля 1967 г.) - немецкий ученый-компьютерщик . С 2018 года он возглавлял Институт машинного обучения в Johannes Kepler University в Линце после того , как возглавил Институт биоинформатики с 2006 по 2018. В 2017 году он стал главой Линца технологического института (ЛИТ) AI Lab , которая фокусируется на продвижении исследования искусственного интеллекта . Ранее он был в Техническом университете в Берлине , в Университете Колорадо в Боулдере , и в техническом университете в Мюнхене .

Зепп Хохрайтер внес большой вклад в области машинного обучения , глубокого обучения и биоинформатики . Он разработал долговременную кратковременную память (LSTM), первые результаты которой были представлены в его дипломной работе в 1991 году. [1] Основная статья LSTM появилась в 1997 году [2] и считается открытием, которое является важной вехой в развитии науки и техники. график машинного обучения . [ кем? ] Основу глубокого обучения положил его анализ исчезающего или взрывающегося градиента . [1] [3] [4] Он участвовал в метаобучении.[5] и предложил плоские минимумы [6] в качестве предпочтительных решений обучения искусственных нейронных сетей для обеспечения низкой ошибки обобщения . Он разработал новые функции активации для нейронных сетей, такие как экспоненциальные линейные единицы (ELU) [7] или масштабированные ELU (SELU) [8] [9], чтобы улучшить обучение. Он внес свой вклад в обучение с подкреплением, используя подходы актер-критик [10] и свой метод RUDDER. [11] Он применилметоды бикластеризации к открытию лекарств и токсикологии. Он расширил поддержку векторных машин.для обработки ядер, которые не являются положительно определенными, с помощью модели «машины потенциальных опорных векторов» (PSVM) и применил эту модель для отбора признаков , особенно для отбора генов для данных микрочипов. [12] Также в области биотехнологии он разработал «Факторный анализ для надежного суммирования микроматриц» (FARMS). [13] Зепп Хохрайтер представил современные тритоны Хопфилда с непрерывными состояниями [14] и применил их к задаче классификации иммунного репертуара. [15]

В дополнение к своим исследовательским вкладам Зепп Хохрайтер широко активен в своей области: он основал Рабочую группу по биоинформатике в Австрийском компьютерном обществе; он является членом правления различных начинающих компаний в области биоинформатики; он был программным председателем конференции «Исследования и разработки в области биоинформатики»; [16] он является председателем конференции « Критическая оценка анализа массивных данных» (CAMDA); [17], он редактор, член программного комитета и рецензент международных журналов и конференций. В качестве члена факультета в Johannes Kepler Линце, он основал программу бакалавра в области биоинформатики, который является трансграничной , дважды градусной программой обучения вместе сЮжно-Чешский университет в Ческе-Будейовице (Будвейс), Чешская Республика . Он также учредил магистерскую программу по биоинформатике, где он до сих пор исполняет обязанности декана обоих учебных заведений.

Зепп Хохрайтер также является директором-основателем Института перспективных исследований в области искусственного интеллекта (IARAI) [18]

Научный вклад [ править ]

Долговременная кратковременная память (LSTM) [ править ]

Зепп Хохрайтер разработал долговременную кратковременную память (LSTM), первые результаты которой были представлены в его дипломной работе в 1991 году. [1] Основная статья LSTM появилась в 1997 году [2] и считается открытием, которое является важной вехой в истории человечества. график машинного обучения . LSTM преодолевает проблему рекуррентных нейронных сетей (RNN) и глубоких сетей, чтобы забыть информацию с течением времени или, что то же самое, через слои ( исчезающий или взрывной градиент ). [1] [3] [4] LSTM изучаетиз обучающих последовательностей для обработки новых последовательностей с целью создания выходных данных (классификация последовательностей) или генерации выходной последовательности (отображение последовательности в последовательность). Нейронные сети с клетками LSTM решали множество задач в области анализа биологической последовательности , разработки лекарств , автоматического сочинения музыки , машинного перевода , распознавания речи , обучения с подкреплением и робототехники . LSTM с оптимизированной архитектурой успешно применялся для очень быстрого определения гомологии белков без необходимости выравнивания последовательностей . [19]LSTM использовался для изучения алгоритма обучения, то есть LSTM служит машиной Тьюринга, то есть компьютером, на котором выполняется алгоритм обучения. Поскольку машина Тьюринга LSTM представляет собой нейронную сеть, она может разрабатывать новые алгоритмы обучения, обучаясь на проблемах обучения. Оказывается, изученные новые методы обучения превосходят разработанные людьми. [20] Сети LSTM используются в транскрипции Google Voice, [21] голосовом поиске Google, [22] и Google Allo [23] в качестве базовой технологии для голосового поиска и команд в приложении Google (на Android и iOS ), а также для диктовки. на устройствах Android. Также Appleиспользует LSTM в своей функции Quicktype с iOS 10 . [24] [25]

Современные сети Хопфилда и внимание [ править ]

Зепп Хохрайтер представил современные сети Хопфилда с непрерывными состояниями вместе с новым правилом обновления и показал, что это эквивалентно механизму внимания трансформатора. [ ненадежный источник? ] [ неудачная проверка ] Новая сеть Хопфилда может хранить экспоненциально (с размерностью) множество шаблонов, сходится за одно обновление и имеет экспоненциально малые ошибки поиска. Количество сохраненных шаблонов зависит от скорости сходимости и ошибки поиска. [14] Эта новая современная сеть Хопфилда была применена к задаче классификации иммунного репертуара - проблеме многократного обучения, которая может проложить путь к новым вакцинам и методам лечения, что актуально во время кризиса COVID-19.[15]

Представления глубокого обучения и обучения [ править ]

Нейронные сети - это разные типы упрощенных математических моделей биологических нейронных сетей, подобных тем, которые существуют в человеческом мозге . В нейронных сетях с прямой связью (NN) информация движется вперед только в одном направлении, от входного уровня, который получает информацию из среды, через скрытые слои к выходному уровню, который передает информацию в среду. В отличие от NN, рекуррентные нейронные сети (RNN) могут использовать свою внутреннюю память для обработки произвольных последовательностей входных данных. Если интеллектуальный анализ данных основан на нейронных сетях, переоснащениеснижает способность сети правильно обрабатывать будущие данные. Чтобы избежать переобучения, Зепп Хохрайтер разработал алгоритмы для поиска нейронных сетей низкой сложности, такие как «Flat Minimum Search» (FMS) [6], который ищет «плоский» минимум - большую связную область в пространстве параметров, где функция сети постоянна. . Таким образом, параметры сети могут быть заданы с низкой точностью, что означает несложную сеть, позволяющую избежать переобучения. Нейронные сети низкой сложности хорошо подходят для глубокого обучения, поскольку они контролируют сложность на каждом сетевом уровне и, следовательно, изучают иерархические представления входных данных. [26] [27]Группа Зеппа Хохрайтера представила «экспоненциальные линейные единицы» (ELU), которые ускоряют обучение в глубоких нейронных сетях и приводят к более высокой точности классификации. Подобно выпрямленным линейным единицам (ReLU), негерметичным ReLU (LReLU) и параметризованным ReLU (PReLU), ELU устраняют проблему исчезающего градиента через идентичность для положительных значений. Однако ELU имеют улучшенные характеристики обучения по сравнению с ReLU из-за отрицательных значений, которые приближают средние значения активаций модуля к нулю. Среднее смещение в сторону нуля ускоряет обучение, приближая нормальный градиент к единичному естественному градиенту из-за уменьшения эффекта сдвига смещения. [28]Зепп Хохрайтер представил самонормализующиеся нейронные сети (SNN), которые позволяют сетям прямой связи абстрактные представления входных данных на разных уровнях. SNN позволяет избежать проблем с пакетной нормализацией, поскольку активации по выборкам автоматически сходятся к нулю среднего и единице дисперсии. SNN - это технология, позволяющая (1) обучать очень глубокие сети, то есть сети со многими уровнями, (2) использовать новые стратегии регуляризации и (3) очень надежно обучаться на многих уровнях. [8] [9] В неконтролируемойглубокое обучение, генеративные состязательные сети (GAN) очень популярны, поскольку они создают новые изображения, которые более реалистичны, чем изображения, полученные с помощью других генеративных подходов. Зепп Хохрайтер предложил правило обновления двух шкал времени (TTUR) для обучения GAN со стохастическим градиентным спуском по любой дифференцируемой функции потерь. Методы стохастической аппроксимации были использованы для доказательства того, что TTUR сходится к стационарному локальному равновесию по Нэшу. Это первое доказательство сходимости GAN в общих условиях. Еще одним вкладом является введение «начальной дистанции Фреше» (FID), которая является более подходящей мерой качества для GAN, чем ранее использовавшаяся начальная оценка. [29] [30] Он разработал сети ректификованных факторов (RFN).[31] [32] для эффективного построения очень разреженных , нелинейных , многомерных представлений входных данных. Модели RFN идентифицируют редкие и мелкие события на входе, имеют низкую интерференцию между кодовыми единицами, небольшую ошибку восстановления и объясняютструктуру ковариации данных. Обучение RFN - это обобщенный алгоритм чередующейся минимизации, полученный изметода апостериорной регуляризации, который применяет неотрицательные и нормализованные апостериорные средние. RFN очень успешно применялись в биоинформатике и генетике. [33]

Обучение с подкреплением [ править ]

Зепп Хохрайтер работал в области обучения с подкреплением в системах «актер-критик», которые учатся «методом обратного распространения через модель». [10] [34] Однако этот подход имеет серьезные недостатки, проистекающие из анализа чувствительности, таких как локальные минимумы, различные нестабильности при обучении онлайн, взрывные и исчезающие градиенты модели мира, ни вклад, ни релевантность вознаграждения действиям не приписываются. Зепп Хохрайтер представил книгу «RUDDER: Return Decomposition for Delayed Rewards», которая предназначена для изучения оптимальных политик для Марковских процессов принятия решений (MDP) с сильно отложенными вознаграждениями. Что касается отложенных вознаграждений, он доказал, что смещения оценок ценности действия, усвоенные разницей во времени(TD) корректируются только экспоненциально медленно по количеству шагов задержки. Кроме того, он доказал, что дисперсия оценки ценности действия, полученной с помощью методов Монте-Карло(MC) увеличивает другие дисперсии оценки, количество которых может расти экспоненциально с количеством шагов задержки. RUDDER решает как экспоненциально медленную коррекцию смещения TD, так и увеличение экспоненциально большого числа дисперсий MC посредством разложения возврата. Новый MDP, созданный RUDDER, имеет такую ​​же отдачу для каждого эпизода и политики, что и исходный MDP, но награды перераспределяются по эпизоду. Перераспределение приводит к значительному сокращению задержек выплаты вознаграждений. В оптимальном случае новый MDP не имеет отложенного вознаграждения и TD является беспристрастным. Перераспределенное вознаграждение направлено на отслеживание Q-значений, чтобы в будущем ожидаемое вознаграждение всегда оставалось равным нулю. Следовательно, действие, увеличивающее ожидаемый доход, получает положительное вознаграждение, а действие, которое уменьшало ожидаемый доход, получает отрицательное вознаграждение.[11] Оба исходного кода и демонстрационные ролики доступны. Исследование можно улучшить с помощью активных стратегий исследования, которые максимизируют получение информации в будущих эпизодах, что часто связано с любопытством. [35]

Открытие лекарств, прогнозирование целей и токсикология [ править ]

Фармацевтическая промышленность видит много химических соединений (лекарств - кандидатов) не в конце фазы трубопровода разработки лекарственных средств. Эти неудачи вызваны недостаточной эффективностью в отношении биомолекулярной мишени (эффект попадания в цель), нежелательными взаимодействиями с другими биомолекулами (нецелевые или побочные эффекты) или непредсказуемыми токсическими эффектами . Методы глубокого обучения и бикластеризации, разработанные Зеппом Хохрайтером, позволили выявить новые целевые и нецелевые эффекты в различных проектах по разработке лекарств. [36] В 2013 году группа Зеппа Хохрайтера победила в подзадаче DREAM по прогнозированию средней токсичности соединений. [37]В 2014 году успех Deep Learning был продолжен победой в конкурсе «Tox21 Data Challenge», проводимом NIH , FDA и NCATS . [38] [39] Задача Tox21 Data Challenge заключалась в том, чтобы правильно предсказать нецелевые и токсические эффекты химических веществ окружающей среды в питательных веществах, бытовых товарах и лекарствах. Эти впечатляющие успехи показывают, что глубокое обучение может превосходить другие методы виртуального скрининга . [40] [41] Кроме того, группа Хохрайтера работала над выявлением синергетических эффектов комбинаций лекарств. [42]

Бикластеризация [ править ]

Зепп Хохрайтер разработал «Факторный анализ для бикластерного сбора» (FABIA) [43] для бикластеризации, которая одновременно кластеризует строки и столбцы матрицы . Бикластер в транскриптомных данных - это пара из набора генов и набора образцов, для которых гены похожи друг на друга в образцах и наоборот. Например, при разработке лекарств действие соединений может быть одинаковым только на подгруппу генов. FABIA - это мультипликативная модель, которая предполагает реалистичные негауссовские распределения сигналов с тяжелыми хвостами и использует хорошо понятные методы выбора модели, такие как вариационный подход в байесовской структуре. FABIA предоставляет информационное наполнениекаждого бикластера, чтобы отделить ложные бикластеры от истинных бикластеров. Зепп Хохрайтер был редактором справочника по бикластеризации, в котором представлены наиболее актуальные алгоритмы бикластеризации, типичные приложения бикластеризации, визуализации и оценки бикластеров, а также программное обеспечение на R. [44]

Поддержка векторных машин [ править ]

Машины опорных векторов (SVM) - это контролируемые методы обучения, используемые для классификации и регрессионного анализа путем распознавания закономерностей и закономерностей в данных. Стандартные SVM требуют положительно определенного ядра для генерации квадратичной матрицы ядра из данных. Зепп Хохрайтер предложил «машину потенциальных опорных векторов» (PSVM) [45], которая может быть применена к неквадратным матрицам ядра и может использоваться с ядрами, которые не являются положительно определенными. Для выбора модели PSVM он разработал эффективный алгоритм последовательной минимальной оптимизации . [46] PSVM сводит к минимуму новую цель, которая обеспечивает теоретические границы ошибки обобщения и автоматически выбирает признаки, которые используются для классификации или регрессии.

Выбор функции [ править ]

Зепп Хохрайтер применил PSVM для отбора признаков , особенно для отбора генов для данных микрочипов. [12] [47] [48] PSVM и стандартные машины опорных векторов были применены для извлечения признаков, которые указывают на олигомеризацию спиральной спирали . [49]

Генетика [ править ]

Зепп Хохрайтер разработал «HapFABIA: идентификация очень коротких сегментов идентичности по происхождению, характеризующихся редкими вариантами в больших данных секвенирования» [50] для обнаружения коротких сегментов идентичности по происхождению . ДНК сегмент является идентичным государством (IBS) в двух или более лиц , если они имеют идентичные нуклеотидные последовательности в этом сегменте. Сегмент IBS идентичен по происхождению (IBD) у двух или более людей, если они унаследовали его от общего предка., то есть сегмент имеет одно и то же предковое происхождение у этих особей. HapFABIA определяет сегменты IBD в 100 раз меньше, чем современные методы: 10 Кбит / с для HapFABIA против 1 Мбит / с для современных методов. HapFABIA адаптирован к данным секвенирования следующего поколения и использует редкие варианты для обнаружения ВЗК, но также работает с данными генотипирования на микрочипах . HapFABIA позволяет улучшить эволюционную биологию , популяционную генетику и ассоциативные исследования, поскольку он разложил геном на короткие сегменты IBD, которые описывают геном с очень высоким разрешением. HapFABIA использовался для анализа обмена ВЗК между людьми., Неандертальцы ( неандертальцы ) и денисовцы . [51]

Секвенирование нового поколения [ править ]

Исследовательская группа Зеппа Хохрайтера является членом консорциума SEQC / MAQC-III, работу которого координирует Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США. Этот консорциум исследовал платформы Illumina HiSeq, Life Technologies SOLiD и Roche 454 в нескольких лабораториях на предмет эффективности секвенирования РНК (RNA-seq). [52] В рамках этого проекта были определены стандартные подходы к оценке, отчету и сравнению технических характеристик экспериментов по дифференциальной экспрессии генов в масштабе генома. [53] Для анализа структурных вариаций в ДНК , исследовательская группа Зеппа Хокрайтера в предлагаемом «cn.MOPS: смесь Poissons для обнаружения копирования вариации числа в данном следующем поколении с низким уровнем ложного обнаружения» [54] для обнаружениявариации числа копий в данных секвенирования следующего поколения. По оценкам cn.MOPS местного числа копий ДНК, подходит как для целого генома секвенирования и exom последовательности , и может быть применено к диплоидным и гаплоидным геном , но и полиплоидным геном. Для идентификации дифференциально экспрессируемых транскриптов в данных RNA-seq ( секвенирование РНК ) группа Зеппа Хохрейтера предложила «DEXUS: идентификация дифференциальной экспрессии в исследованиях RNA-Seq с неизвестными условиями». [55]В отличие от других методов РНК-seq, DEXUS может обнаруживать дифференциальную экспрессию в данных РНК-seq, для которых условия образца неизвестны и для которых биологические реплики недоступны. В группе Зеппа Хохрайтера данные секвенирования были проанализированы, чтобы получить представление о ремоделировании хроматина . Реорганизация структуры хроматина клетки была определена с помощью секвенирования следующего поколения покоящихся и активированных Т-клеток . Анализ этих данных секвенирования хроматина Т-клеток выявил богатые GC длинные свободные от нуклеосом области, которые являются горячими точками ремоделирования хроматина. [56]Для целевых панелей секвенирования следующего поколения в клинической диагностике, в частности рака, группа Хохрайтера разработала panelcn.MOPS. [57]

Предварительная обработка и обобщение микрочипов [ править ]

Зепп Хохрайтер разработал «Факторный анализ для надежного суммирования микрочипов» (FARMS). [13] FARMS был разработан для предварительной обработки и суммирования микрочипов олигонуклеотидной ДНК высокой плотности на уровне зонда для анализа экспрессии генов РНК . FARMS основан на модели факторного анализа, которая оптимизирована в байесовской системе за счет максимизации апостериорной вероятности . На добавленных Affymetrix и других контрольных данных FARMS превзошел все другие методы. Важнейшей особенностью FARMS являются информативные / неинформативные (I / NI) звонки. [58]Вызов I / NI - это метод байесовской фильтрации, который отделяет дисперсию сигнала от дисперсии шума. Вызов I / NI предлагает решение основной проблемы высокой размерности при анализе данных микрочипа путем выбора генов, которые измеряются с высоким качеством. [59] [60] FARMS была расширена до cn.FARMS [61] для обнаружения структурных вариантов ДНК, таких как вариации числа копий, с низким уровнем ложного обнаружения .

Ссылки [ править ]

  1. ^ a b c d Hochreiter, S. (1991). Untersuchungen zu Dynamischen Neuronalen Netzen (PDF) (дипломная работа). Технический университет Мюнхена, Институт компьютерных наук.
  2. ^ a b Hochreiter, S .; Шмидхубер, Дж. (1997). «Кратковременная долговременная память». Нейронные вычисления . 9 (8): 1735–1780. DOI : 10.1162 / neco.1997.9.8.1735 . PMID 9377276 . S2CID 1915014 .  
  3. ^ a b Hochreiter, S. (1998). «Проблема исчезающего градиента при обучении рекуррентных нейронных сетей и решения проблем». Международный журнал неопределенности, нечеткости и систем, основанных на знаниях . 06 (2): 107–116. DOI : 10.1142 / S0218488598000094 . ISSN 0218-4885 . 
  4. ^ a b Hochreiter, S .; Bengio, Y .; Frasconi, P .; Шмидхубер, Дж. (2000). Колен, JF; Кремер, Южная Каролина (ред.). Градиентный поток в повторяющихся сетях: трудность изучения долгосрочных зависимостей . Полевое руководство по динамическим рекуррентным сетям. Нью-Йорк: IEEE Press. С. 237–244. CiteSeerX 10.1.1.24.7321 . 
  5. ^ Hochreiter, S .; Младший, AS; Конвелл, PR (2001). Обучение использованию градиентного спуска (PDF) . Конспект лекций по информатике - ICANN 2001 . Конспект лекций по информатике. 2130 . С. 87–94. CiteSeerX 10.1.1.5.323 . DOI : 10.1007 / 3-540-44668-0_13 . ISBN   978-3-540-42486-4. ISSN  0302-9743 .
  6. ^ a b Hochreiter, S .; Шмидхубер, Дж. (1997). «Плоские минимумы». Нейронные вычисления . 9 (1): 1–42. DOI : 10.1162 / neco.1997.9.1.1 . PMID 9117894 . S2CID 733161 .  
  7. ^ Clevert, D.-A .; Unterthiner, T .; Хохрайтер, С. (2016). «Быстрое и точное глубокое обучение сети с помощью экспоненциальных линейных единиц (ELU) [опубликовано в качестве доклада конференции на ICLR 2016]». arXiv : 1511.07289v5 [ cs.LG ].
  8. ^ a b Klambauer, G .; Unterthiner, T .; Mayr, A .; Хохрайтер, С. (2017). «Самонормализующиеся нейронные сети». arXiv : 1706.02515 [ cs.LG ].
  9. ^ a b Klambauer, G .; Unterthiner, T .; Mayr, A .; Хохрайтер, С. (2017). Самонормализующиеся нейронные сети . Достижения в системах обработки нейронной информации 31.
  10. ^ a b Hochreiter, S. (1991). Implementierung und Anwendung eines nearonalen Echtzeit-Lernalgorithmus für reaktive Umgebungen (PDF) (Отчет). Технический университет Мюнхена, Институт компьютерных наук.
  11. ^ а б Арджона-Медина, штат Джерси; Gillhofer, M .; Widrich, M .; Unterthiner, T .; Хохрайтер, С. (2018). «РУЛЬ: Разложение возврата для отложенных вознаграждений». arXiv : 1806.07857 [ cs.LG ].
  12. ^ a b Hochreiter, S .; Обермайер, К. (2006). Нелинейный выбор признаков с помощью машины потенциальных опорных векторов . Извлечение признаков, исследования нечеткости и мягких вычислений. С. 419–438. DOI : 10.1007 / 978-3-540-35488-8_20 . ISBN 978-3-540-35487-1.
  13. ^ a b Hochreiter, S .; Clevert, D.-A .; Обермайер, К. (2006). «Новый метод обобщения данных уровня зонда affymetrix» . Биоинформатика . 22 (8): 943–949. DOI : 10.1093 / биоинформатики / btl033 . PMID 16473874 . 
  14. ^ a b Рамзауэр, H .; Schäfl, B .; Lehner, J .; Seidl, P .; Widrich, M .; Gruber, L .; Holzleitner, M .; Павлович, М .; Сандве, Г.К .; Greiff, V .; Kreil, D .; Копп, М .; Klambauer, G .; Brandstetter, J .; Хохрайтер, С. (2020). «Hopfield Networks - это все, что вам нужно». arXiv : 2008.02217 [ cs.NE ].
  15. ^ a b Widrich, M .; Schäfl, B .; Ramsauer, H .; Павлович, М .; Gruber, L .; Holzleitner, M .; Brandstetter, J .; Сандве, Г.К .; Greiff, V .; Hochreiter, S .; Кламбауэр, Г. (2020). "Современные сети Хопфилда и внимание к классификации иммунного репертуара". arXiv : 2007.13505 [ cs.LG ].
  16. ^ Hochreiter, S .; Вагнер, Р. (2007). Исследования и разработки в области биоинформатики . Конспект лекций по информатике. 4414 . DOI : 10.1007 / 978-3-540-71233-6 . ISBN 978-3-540-71232-9. ISSN  0302-9743 .
  17. ^ «КАМДА 2021» . 20-я Международная конференция по критической оценке анализа массивных данных . Проверено 13 февраля 2021 .
  18. ^ "ИАРАИ - ИНСТИТУТ ПЕРЕДОВЫХ ИССЛЕДОВАНИЙ ИСКУССТВЕННОГО РАЗВЕДЕНИЯ" . www.iarai.ac.at . Проверено 13 февраля 2021 .
  19. ^ Hochreiter, S .; Heusel, M .; Обермайер, К. (2007). «Быстрое определение гомологии белков на основе модели без выравнивания» . Биоинформатика . 23 (14): 1728–1736. DOI : 10.1093 / биоинформатики / btm247 . PMID 17488755 . 
  20. ^ Hochreiter, S .; Младший, AS; Конвелл, PR (2001). Обучение использованию градиентного спуска (PDF) . Конспект лекций по информатике - ICANN 2001 . Конспект лекций по информатике. 2130 . С. 87–94. CiteSeerX 10.1.1.5.323 . DOI : 10.1007 / 3-540-44668-0_13 . ISBN   978-3-540-42486-4. ISSN  0302-9743 .
  21. ^ «Нейронные сети, лежащие в основе транскрипции Google Voice» .
  22. ^ "Голосовой поиск Google: быстрее и точнее" .
  23. ^ "Разговор с Allo умнее" .
  24. ^ «Машины Apple тоже могут учиться» . Информация .
  25. ↑ Рейнджер, Стив. «iPhone, AI и большие данные: вот как Apple планирует защитить вашу конфиденциальность - ZDNet» .
  26. ^ Hochreiter, S .; Шмидхубер, Дж. (1999). «Извлечение признаков с помощью LOCOCODE». Нейронные вычисления . 11 (3): 679–714. DOI : 10.1162 / 089976699300016629 . ISSN 0899-7667 . PMID 10085426 . S2CID 1642107 .   
  27. ^ Hochreiter, S .; Шмидхубер, Дж. (1999). Разделение источников как побочный продукт регуляризации . Достижения в системах обработки нейронной информации 12. С. 459–465.
  28. ^ Clevert, D.-A .; Unterthiner, T .; Хохрайтер, С. (2016). «Быстрое и точное глубокое обучение сети с помощью экспоненциальных линейных единиц (ELU) [опубликовано в качестве доклада конференции на ICLR 2016]». arXiv : 1511.07289v5 [ cs.LG ].
  29. ^ Heusel, M .; Ramsauer, H .; Unterthiner, T .; Nessler, B .; Klambauer, G .; Хохрайтер, С. (2017). «GAN, обученные правилом обновления двух шкал времени, сходятся к локальному равновесию по Нэшу». arXiv : 1706.08500 [ cs.LG ].
  30. ^ Heusel, M .; Ramsauer, H .; Unterthiner, T .; Nessler, B .; Klambauer, G .; Хохрайтер, С. (2017). Сети GAN, обучаемые по правилу обновления двух шкал времени, сходятся к локальному равновесию по Нэшу . Достижения в системах обработки нейронной информации 31.
  31. ^ Clevert, D.-A .; Mayr, A .; Unterthiner, T .; Хохрайтер, С. (2015). «Ректифицированные факторные сети». arXiv : 1502.06464v2 [ cs.LG ].
  32. ^ Clevert, D.-A .; Mayr, A .; Unterthiner, T .; Хохрайтер, С. (2015). Ректифицированные факторные сети . Достижения в системах обработки нейронной информации 29. arXiv : 1502.06464 .
  33. ^ Clevert, D.-A .; Unterthiner, T .; Повысил, Г .; Хохрайтер, С. (2017). «Ректифицированные факторные сети для бикластеризации данных omics» . Биоинформатика . 33 (14): i59 – i66. DOI : 10.1093 / биоинформатики / btx226 . PMC 5870657 . PMID 28881961 .  
  34. ^ Шмидхубер, J. (1990). Делая мир дифференцируемым: об использовании полностью рекуррентных нейронных сетей с самоконтролем для динамического обучения с подкреплением и планирования в нестационарных средах (PDF) (Технический отчет). Технический университет Мюнхена, Институт компьютерных наук. ФКИ-126-90 (доработанный).
  35. ^ Storck, J .; Hochreiter, S .; Шмидхубер, Дж. (1995). Сбор информации на основе подкрепления в недетерминированных средах (PDF) . Международная конференция по искусственным нейронным сетям. С. 159–164.
  36. ^ Verbist, B .; Klambauer, G .; Vervoort, L .; Talloen, W .; Шкеды, З .; Thas, O .; Бендер, А .; Гельманн, HWH; Хохрайтер, С. (2015). «Использование транскриптомики для оптимизации потенциальных клиентов в проектах по открытию лекарств: уроки, извлеченные из проекта QSTAR» . Открытие наркотиков сегодня . 20 (5): 505–513. DOI : 10.1016 / j.drudis.2014.12.014 . ISSN 1359-6446 . PMID 25582842 .  
  37. ^ Eduati, F .; Мангравит, LM; Wang, T .; ...; Hochreiter, S .; ...; Столовицкий, Г .; Xie, Y .; Саез-Родригес, Дж. (2015). «Прогнозирование реакции населения на токсичные соединения путем совместного соревнования» . Природа Биотехнологии . 33 (9): 933–940. DOI : 10.1038 / nbt.3299 . ISSN 1087-0156 . PMC 4568441 . PMID 26258538 .   CS1 maint: числовые имена: список авторов ( ссылка )
  38. ^ «Токсикология в вызове данных 21-го века» .
  39. ^ Mayr, A .; Klambauer, G .; Unterthiner, T .; Хохрайтер, С. (2016). «DeepTox: Прогнозирование токсичности с использованием глубокого обучения» . Границы науки об окружающей среде . 3 (80). DOI : 10.3389 / fenvs.2015.00080 .
  40. ^ Unterthiner, T .; Mayr, A .; Klambauer, G .; Steijaert, M .; Ceulemans, H .; Wegner, JK; И Хохрайтер, С. (2014) «Глубокое обучение как возможность виртуального просмотра» . Семинар по глубокому обучению и репрезентативному обучению (NIPS2014).
  41. ^ Unterthiner, T .; Mayr, A .; Klambauer, G .; И Хохрайтер, С. (2015) «Прогнозирование токсичности с использованием глубокого обучения» . ArXiv, 2015.
  42. ^ Preuer, K .; Льюис, RPI; Hochreiter, S .; Бендер, А .; Булусу, KC; Кламбауэр, Г. (2017). «DeepSynergy: прогнозирование синергии противораковых лекарств с помощью Deep Learning» . Биоинформатика . 34 (9): 1538–1546. DOI : 10.1093 / биоинформатики / btx806 . PMC 5925774 . PMID 29253077 .  
  43. ^ Hochreiter, S .; Bodenhofer, U .; Heusel, M .; Mayr, A .; Mitterecker, A .; Касым, А .; Хамиакова, Т .; Van Sanden, S .; Lin, D .; Talloen, W .; Bijnens, L .; Гельманн, HWH; Шкеды, З .; Клеверт, Д.-А. (2010). «FABIA: факторный анализ для бикластерного приобретения» . Биоинформатика . 26 (12): 1520–1527. DOI : 10.1093 / биоинформатики / btq227 . PMC 2881408 . PMID 20418340 .  
  44. ^ Касим, А .; Шкеды, З .; Kaiser, S .; Hochreiter, S .; Таллоен, В. (2016). Прикладные методы Biclustering для больших и многомерных данных Использование R . Chapman & Hall / CRC Biostatistics Series. Нью-Йорк: Taylor & Francis Group, Chapman & Hall. ISBN 9781482208238.
  45. ^ Hochreiter, S .; Обермайер, К. (2006). «Машины опорных векторов для двоичных данных». Нейронные вычисления . 18 (6): 1472–1510. CiteSeerX 10.1.1.228.5244 . DOI : 10.1162 / neco.2006.18.6.1472 . PMID 16764511 . S2CID 26201227 .   
  46. ^ Кнебель, Т .; Hochreiter, S .; Обермайер, К. (2008). "Алгоритм SMO для машины потенциальных опорных векторов". Нейронные вычисления . 20 (1): 271–287. CiteSeerX 10.1.1.101.1591 . DOI : 10.1162 / neco.2008.20.1.271 . PMID 18045009 . S2CID 10147180 .   
  47. ^ Hochreiter, S .; Обермайер, К. (2003). «Классификация и выбор признаков на матричных данных с приложением к анализу экспрессии генов» . 54-я сессия Международного статистического института . Архивировано из оригинала на 2012-03-25.
  48. ^ Hochreiter, S .; Обермайер, К. (2004). «Выбор гена для данных микрочипов» . Ядерные методы в вычислительной биологии . MIT Press: 319–355. Архивировано из оригинала на 2012-03-25.
  49. ^ Mahrenholz, CC; Abfalter, IG; Bodenhofer, U .; Volkmer, R .; Хохрайтер, С. (2011). «Сложные сети управляют олигомеризацией спиральной катушки - прогнозирование и профилирование с помощью подхода машинного обучения» . Молекулярная и клеточная протеомика . 10 (5): M110.004994. DOI : 10.1074 / mcp.M110.004994 . PMC 3098589 . PMID 21311038 .  
  50. ^ Hochreiter, S. (2013). «HapFABIA: идентификация очень коротких сегментов идентичности по происхождению, характеризующихся редкими вариантами в больших данных секвенирования» . Исследования нуклеиновых кислот . 41 (22): e202. DOI : 10.1093 / NAR / gkt1013 . PMC 3905877 . PMID 24174545 .  
  51. ^ Повысил, Г .; Хохрайтер, С. (2014). «Обмен очень короткими сегментами IBD между людьми, неандертальцами и денисовцами». bioRxiv 10.1101 / 003988 . 
  52. ^ ГЭКЦ / MAQC-III Consortium (сентябрь 2014). «Комплексная оценка точности, воспроизводимости и информационного содержания РНК-секвенирования Консорциумом контроля качества секвенирования» . Природа Биотехнологии . 32 (9): 903–914. DOI : 10.1038 / nbt.2957 . PMC 4321899 . PMID 25150838 .  
  53. ^ С. Мунро, ИП Lund, PS Сосна, Г. Binder, D.-A. Клеверт, А. Конеса, Дж. Допазо, М. Фасолд, С. Хохрайтер, Х. Хонг, Н. Джафари, Д. П. Крейл, П. П. Лабадж, С. Ли, Ю. Ляо, С. М. Лин, Дж. Михан, К. Э. Мейсон, Дж. Сантойо-Лопес, Р. А. Сеттерквист, Л. Ши, В. Ши, Г. К. Смит, Н. Стралис-Павезе, З. Су, В. Тонг, К. Ван , Дж. Ван, Дж. Сюй, З. Е, Ю. Ян, Ю. Ю. и М. Салит (2014). «Оценка технических характеристик в экспериментах по дифференциальной экспрессии генов с использованием смесей контрольных соотношений внешней добавленной РНК». Nature Communications . 5 : 5125. arXiv : 1406.4893 . Bibcode : 2014NatCo ... 5.5125M . doi :10.1038 / ncomms6125 . PMID  25254650 . S2CID  19814583 .CS1 maint: multiple names: authors list (link)
  54. ^ Klambauer, G .; Schwarzbauer, K .; Mayr, A .; Clevert, D.-A .; Mitterecker, A .; Bodenhofer, U .; Хохрайтер, С. (2012). «Cn.MOPS: смесь Пуассона для обнаружения вариаций числа копий в данных секвенирования следующего поколения с низким уровнем ложного обнаружения» . Исследования нуклеиновых кислот . 40 (9): e69. DOI : 10.1093 / NAR / gks003 . PMC 3351174 . PMID 22302147 .  
  55. ^ Klambauer, G .; Unterthiner, T .; Хохрайтер, С. (2013). «DEXUS: Определение дифференциальной экспрессии в исследованиях RNA-Seq с неизвестными условиями» . Исследования нуклеиновых кислот . 41 (21): e198. DOI : 10.1093 / NAR / gkt834 . PMC 3834838 . PMID 24049071 .  
  56. ^ Schwarzbauer, K .; Bodenhofer, U .; Хохрайтер, С. (2012). Кэмпбелл, Морей (ред.). «Полногеномное ремоделирование хроматина, идентифицированное в GC-богатых длинных областях, свободных от нуклеосом» . PLOS ONE . 7 (11): e47924. Bibcode : 2012PLoSO ... 747924S . DOI : 10.1371 / journal.pone.0047924 . PMC 3489898 . PMID 23144837 .  
  57. ^ Повысил, Г .; Цика, А .; Vogt, J .; Haunschmid, V .; Haunschmid, L .; Zschocke, J .; Klambauer, G .; Hochreiter, S .; Виммер, К. (2017). "panelcn.MOPS: Определение числа копий в данных целевой панели NGS для клинической диагностики" . Мутация человека . 38 (7): 889–897. DOI : 10.1002 / humu.23237 . PMC 5518446 . PMID 28449315 .  
  58. ^ Talloen, W .; Clevert, D.-A .; Hochreiter, S .; Amaratunga, D .; Bijnens, L .; Kass, S .; Гольманн, HWH (2007). «I / NI-призывы к исключению неинформативных генов: высокоэффективный инструмент фильтрации данных микрочипов» . Биоинформатика . 23 (21): 2897–2902. DOI : 10.1093 / биоинформатики / btm478 . PMID 17921172 . 
  59. ^ Talloen, W .; Hochreiter, S .; Bijnens, L .; Касым, А .; Шкеды, З .; Amaratunga, D .; Гольманн, Х. (2010). «Фильтрация данных из высокопроизводительных экспериментов на основе надежности измерения» . Труды Национальной академии наук . 107 (46): E173 – E174. Bibcode : 2010PNAS..107E.173T . DOI : 10.1073 / pnas.1010604107 . PMC 2993399 . PMID 21059952 .  
  60. ^ Касим, А .; Lin, D .; Van Sanden, S .; Clevert, D.-A .; Bijnens, L .; Göhlmann, H .; Amaratunga, D .; Hochreiter, S .; Шкеды, З .; Таллоен, В. (2010). «Информативные или неинформативные вызовы для экспрессии генов: подход с латентными переменными». Статистические приложения в генетике и молекулярной биологии . 9 : Статья 4. дои : 10,2202 / 1544-6115.1460 . PMID 20196754 . S2CID 46666329 .  
  61. ^ Clevert, D.-A .; Mitterecker, A .; Mayr, A .; Klambauer, G .; Tuefferd, M .; Де Бондт, AD; Talloen, W .; Göhlmann, H .; Хохрайтер, С. (2011). «Cn.FARMS: модель скрытых переменных для обнаружения вариаций количества копий в данных микрочипа с низким уровнем ложного обнаружения» . Исследования нуклеиновых кислот . 39 (12): e79. DOI : 10.1093 / NAR / gkr197 . PMC 3130288 . PMID 21486749 .  

Источники [ править ]

  • Демонстрационные видео RUDDER
  • Рекуррентные нейронные сети и LSTM
  • LSTM

Внешние ссылки [ править ]

  • Домашняя страница Институт машинного обучения
  • Домашняя страница Институт биоинформатики (старый)
  • Домашняя страница Зепп Хохрайтер
  • Публикации