ELMo

ELMo ("Inbäddningar från språkmodell") är en ordinbäddningsmetod för att representera en sekvens av ord som en motsvarande sekvens av vektorer. Tokens på teckennivå tas som indata till en dubbelriktad LSTM som producerar inbäddningar på ordnivå. Liksom BERT (men till skillnad från ordinbäddningar som produceras av " Bag of Words "-metoder och tidigare vektormetoder som Word2Vec och GloVe ), är ELMo-inbäddningar kontextkänsliga och producerar olika representationer för ord som delar samma stavning men har olika betydelser ( homonymer ) såsom "bank" i "flodstrand" och "banksaldo".

Den skapades av forskare vid Allen Institute for Artificial Intelligence och University of Washington .