ADALINE

Lärande i ett enda lager ADALINE

ADALINE ( ​​Adaptive Linear Neuron eller senare Adaptive Linear Element ) är ett tidigt artificiellt neuralt nätverk med ett lager och namnet på den fysiska enheten som implementerade detta nätverk. Nätverket använder memistorer. Den utvecklades av professor Bernard Widrow och hans doktorand Ted Hoff vid Stanford University 1960. Den är baserad på neuronen McCulloch-Pitts. Den består av en vikt-, en bias- och en summeringsfunktion.

Skillnaden mellan Adaline och standard (McCulloch–Pitts) perceptron är att i inlärningsfasen justeras vikterna efter den viktade summan av ingångarna (netto). I standardperceptronen skickas nätet till aktiverings- (överförings-) funktionen och funktionens utgång används för justering av vikterna.

Ett flerskiktsnätverk av ADALINE-enheter är känt som en MADALINE .

Definition

Adaline är ett neuralt nätverk i ett lager med flera noder där varje nod accepterar flera ingångar och genererar en utdata. Med tanke på följande variabler som:

• $x$ är ingångsvektorn
• $w$ är viktvektorn
• $n$ är antalet ingångar
• $\theta$ någon konstant
• $y$ är utdata från modellen

då finner vi att utgången är $y=\sum _{j=1}^{n}x_{j}w_{j}+\theta$ . Om vi ​​vidare antar det

• $x_{0}=1$
• $w_{0}=\theta$

sedan reduceras utsignalen ytterligare till: $y=\summa _{j=0}^{n}x_{j}w_{j}$

Inlärningsalgoritm

Låt oss anta:

• $\eta$ är inlärningshastigheten (någon positiv konstant)
• $y$ är utdata från modellen
• $o$ är målutgången (önskad).

sedan uppdateras vikterna enligt följande $w\leftarrow w+\eta (oy)x$ . ADALINE konvergerar till minsta kvadratfelet som är $E=(oy)^{2}$ . Denna uppdateringsregel är i själva verket den stokastiska uppdateringen av gradientnedstigning för linjär regression .

MADALINE

MADALINE (Många ADALINE) är en trelagers (ingång, dold, utgång), helt ansluten, framkopplad artificiell neurala nätverksarkitektur för klassificering som använder ADALINE-enheter i sina dolda och utgående lager, dvs dess aktiveringsfunktion är teckenfunktionen . Treskiktsnätverket använder memistorer . Tre olika träningsalgoritmer för MADALINE-nätverk, som inte kan läras in med hjälp av backpropagation eftersom teckenfunktionen inte är differentierbar, har föreslagits, kallade Regel I, Regel II och Regel III.

MADALINE Regel 1 (MRI) - Den första av dessa går tillbaka till 1962 och kan inte anpassa vikten för den dolda utgångsanslutningen.

MADALINE Regel 2 (MRII) - Den andra träningsalgoritmen förbättrades jämfört med Regel I och beskrevs 1988. Regel II-träningsalgoritmen är baserad på en princip som kallas "minimal störning". Det fortsätter genom att gå över träningsexempel och sedan för varje exempel:

• hittar den dolda lagerenheten (ADALINE-klassificerare) med lägst förtroende för dess förutsägelse,
• vänder preliminärt enhetens tecken,
• accepterar eller avvisar ändringen baserat på om nätverkets fel minskar,
• stoppar när felet är noll.

MADALINE Regel 3 - Den tredje "regeln" tillämpas på ett modifierat nätverk med sigmoidaktiveringar istället för signum; det visade sig senare vara likvärdigt med backpropagation.

Dessutom, när vändning av enstaka enheters tecken inte driver felet till noll för ett visst exempel, börjar träningsalgoritmen vända par av enheters tecken, sedan trippel enheter, etc.

Se även

• Flerskiktsperceptron

externa länkar

• "Delta Learning Rule: ADALINE" . Artificiella neurala nätverk . Universidad Politécnica de Madrid. Arkiverad från originalet 2002-06-15.
• " Memristor-baserade flerlagers neurala nätverk med online-gradientnedstigningsträning" . Implementering av ADALINE-algoritmen med memristorer i analog beräkning.