ELMo («Встраивания из языковой модели») — это метод встраивания слов для представления последовательности слов в виде соответствующей последовательности векторов. [1] Токены на уровне символов используются в качестве входных данных для двунаправленного LSTM , который создает вложения на уровне слов. Подобно BERT (но в отличие от вложений слов, созданных с помощью подходов Bag of Words и более ранних векторных подходов, таких как Word2Vec и GloVe ), вложения ELMo являются контекстно-зависимыми, создавая разные представления для слов, которые имеют одинаковое написание, но имеют разные значения ( омонимы ), такие как «банк» в «берег реки» и «банковский баланс».
Он был создан исследователями Института искусственного интеллекта Аллена [2] и Вашингтонского университета .