Modulärt neuralt nätverk

Ett modulärt neuralt nätverk är ett artificiellt neuralt nätverk som kännetecknas av en serie oberoende neurala nätverk som modereras av någon mellanhand. Varje oberoende neuralt nätverk fungerar som en modul och arbetar på separata ingångar för att utföra någon deluppgift av uppgiften som nätverket hoppas kunna utföra. Förmedlaren tar utdata från varje modul och bearbetar dem för att producera utdata från nätverket som helhet. Mellanhanden accepterar bara modulernas utsignaler – den svarar inte på, och signalerar inte heller på annat sätt, modulerna. Modulerna interagerar inte heller med varandra.

Biologisk grund

När forskningen på artificiella neurala nätverk fortskrider är det lämpligt att artificiella neurala nätverk fortsätter att dra på sin biologiska inspiration och efterlikna segmenteringen och modulariseringen som finns i hjärnan. Hjärnan delar till exempel upp den komplexa uppgiften visuell perception i många deluppgifter. Inom en del av hjärnan , kallad thalamus , ligger den laterala geniculate nucleus (LGN), som är uppdelad i lager som separat bearbetar färg och kontrast: båda huvudkomponenterna i synen . Efter att LGN bearbetar varje komponent parallellt, skickar den resultatet till en annan region för att kompilera resultaten.

Vissa uppgifter som hjärnan hanterar, som syn, använder en hierarki av undernätverk. Det är dock inte klart om någon mellanhand binder samman dessa separata processer. Snarare, när uppgifterna blir mer abstrakta, kommunicerar modulerna med varandra, till skillnad från den modulära neurala nätverksmodellen.

Design

Till skillnad från ett enda stort nätverk som kan tilldelas godtyckliga uppgifter, måste varje modul i ett modulnätverk tilldelas en specifik uppgift och kopplas till andra moduler på specifika sätt av en designer. I visionexemplet utvecklades hjärnan (istället för att lära sig) för att skapa LGN. I vissa fall kan designern välja att följa biologiska modeller. I andra fall kan andra modeller vara överlägsna. Kvaliteten på resultatet kommer att vara en funktion av kvaliteten på designen.

Komplexitet

Modulära neurala nätverk reducerar ett enda stort, otympligt neuralt nätverk till mindre, potentiellt mer hanterbara komponenter. Vissa uppgifter är svårlösta för ett enda neuralt nätverk. Fördelarna med modulära neurala nätverk inkluderar:

Effektivitet

De möjliga neuron (nod) anslutningarna ökar kvadratiskt när noder läggs till ett nätverk. Beräkningstiden beror på antalet noder och deras anslutningar, varje ökning får drastiska konsekvenser för handläggningstiden. Att tilldela specifika deluppgifter till enskilda moduler minskar antalet nödvändiga anslutningar.

Träning

Ett stort neuralt nätverk som försöker modellera flera parametrar kan drabbas av störningar eftersom nya data kan förändra befintliga anslutningar eller bara tjäna till att förvirra. Varje modul kan tränas självständigt och mer exakt bemästra sin enklare uppgift. Detta innebär att träningsalgoritmen och träningsdatan kan implementeras snabbare.

Robusthet

Oavsett om ett stort neuralt nätverk är biologiskt eller artificiellt, förblir det till stor del mottagligt för störningar vid och fel i någon av dess noder. Genom att dela upp underuppgifter kan fel och störningar mycket lättare diagnostiseras och deras effekter på andra undernät elimineras eftersom var och en är oberoende av den andra.

Anteckningar

• Azam, Farooq (2000). "Biologiskt inspirerade modulära neurala nätverk. PhD-avhandling" . Virginia Tech. hdl : 10919/27998 .
• Happel, Bart; Murre, Jacob (1994). "Utformningen och utvecklingen av modulära neurala nätverksarkitekturer" (PDF) . Neurala nätverk . 7 (6–7): 985–1004. doi : 10.1016/s0893-6080(05)80155-8 .
•    Hubel, DH; Livingstone, MS (1990). "Färg- och kontrastkänslighet i den laterala genikulära kroppen och primära visuella cortex hos makakapan" . Journal of Neuroscience . 10 (7): 2223–2237. doi : 10.1523/JNEUROSCI.10-07-02223.1990 . PMC 6570379 . PMID 2198331 .
•   Tahmasebi, P.; Hezarkhani, A. (2011). "Tillämpning av en modulär feedforward för betygsuppskattning". Naturresursforskning . 20 (1): 25–32. doi : 10.1007/s11053-011-9135-3 . S2CID 45997840 .
•     Clune, Jeff; Mouret, Jean-Baptiste; Lipson, Hod (2013-01-30). "Modularitetens evolutionära ursprung" . Proceedings of the Royal Society B: Biological Sciences . 280 (1755): 20122863. arXiv : 1207.2743 . doi : 10.1098/rspb.2012.2863 . ISSN 0962-8452 . PMC 3574393 . PMID 23363632 .
• Tahmasebi, Pejman; Hezarkhani, Ardeshir (2012). "En snabb och oberoende arkitektur av konstgjorda neurala nätverk för förutsägelse av permeabilitet". Journal of Petroleum Science and Engineering . 86 : 118–126. doi : 10.1016/j.petrol.2012.03.019 .