Blandning av experter

Blandning av experter (MoE) hänvisar till en maskininlärningsteknik där flera expertnätverk (inlärare) används för att dela upp ett problemutrymme i homogena regioner. Den skiljer sig från ensembletekniker genom att vanligtvis endast ett fåtal, eller en, expertmodell kommer att köras, snarare än att kombinera resultat från alla modeller.

Ett exempel från datorseende är att kombinera en neurala nätverksmodell för mänsklig upptäckt med en annan för ställningsuppskattning .

Hierarkisk blandning

Om utgången är betingad av flera nivåer av (probabilistiska) grindfunktioner, kallas blandningen en hierarkisk blandning av experter.

Ett grindnätverk bestämmer vilken expert som ska användas för varje ingångsregion. Lärande består alltså av att lära sig parametrarna för:

• enskilda elever och
• grindnät.

Ansökningar

Meta använder MoE i sitt NLLB-200-system. Den använder flera MoE-modeller som delar kapacitet för användning av språkmodeller med låga resurser med relativt lite data.

Extra läsning

•   Masoudnia, Saeed; Ebrahimpour, Reza (12 maj 2012). "Blandning av experter: en litteraturundersökning". Granskning av artificiell intelligens . 42 (2): 275–293. doi : 10.1007/s10462-012-9338-y . S2CID 3185688 .