Smidigt max

Inom matematik är ett jämnt maximum av en indexerad familj x ₁ , ..., x _n av tal en jämn approximation till den maximala funktionen $\max(x_{1} ,\ldots ,x_{n}),$ betyder en parametrisk familj av funktioner $m_{\alpha }(x_{1},\ldots ,x_{n})$ så att för varje $α är$ funktionen $m_{\alpha }$ jämn, och familjen konvergerar till den maximala funktionen $m_{\alpha }\to \max$ som $\alpha \to \infty$ . Begreppet jämnt minimum definieras på liknande sätt. I många fall approximerar en enda familj båda: maximum när parametern går till positiv oändlighet, minimum när parametern går till negativ oändlighet; i symboler, $m_{\alpha }\to \max$ som $\alpha \to \infty$ och $m_{\alpha }\to \ min$ som $\alpha \to -\infty$ . Termen kan också användas löst för en specifik smidig funktion som beter sig liknande till ett maximum, utan att nödvändigtvis vara en del av en parametriserad familj.

Exempel

Boltzmann-operatör

Smoothmax på (−x, x) kontra x för olika parametervärden. Mycket jämn för

\alpha

=0,5, och skarpare för

\alpha

=8.

För stora positiva värden på parametern $\alpha >0$ är följande formulering en jämn, differentierbar approximation av den maximala funktionen. För negativa värden på parametern som är stora i absoluta värden, approximerar den minimum.

{\mathcal {S}}_{\alpha }(x_{ 1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i= 1}^{n}e^{\alpha x_{i}}}}

${\mathcal {S}}_{\alpha }$ har följande egenskaper:

${\mathcal {S}}_{\alpha }\to \max$ som $\alpha \to \infty$
${\mathcal {S}}_{0}$ är det aritmetiska medelvärdet av dess indata
${\mathcal {S}}_{\alpha }\to \min$ som $\alpha \to -\infty$

Gradienten för ${\mathcal {S}}_{\alpha }$ är nära relaterad till softmax och ges av

\nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{ i}}}{\summa _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\ alfa }(x_{1},\ldots,x_{n}))].

Detta gör softmax-funktionen användbar för optimeringstekniker som använder gradientnedstigning .

Denna operatör kallas ibland Boltzmann-operatören, efter Boltzmann-distributionen .

LogSumExp

Ett annat smidigt maximum är LogSumExp :

\mathrm {LSE} _{\alpha }(x_{1},\ldots , x_{n})={\frac {1}{\alpha }}\log \sum _{i=1}^{n}\exp \alpha x_{i}

Detta kan också normaliseras om $x_{i}$ alla är icke-negativa, vilket ger en funktion med domänen $[0,\infty )^{n}$ och range $[0,\infty )$ :

g(x_{1},\ldots ,x_{n})=\ log \left(\sum _{i=1}^{n}\exp x_{i}-(n-1)\right)

Termen $(n-1)$ korrigerar för det faktum att $\exp(0)=1$ genom att ta bort alla exponentiala utom en noll och $\log 1=0$ om alla $x_{i}$ är noll.

Mellowmax

Mellowmax-operatorn definieras enligt följande:

\mathrm {mm} _{\alpha }(x)={\frac {1}{\alpha } }\log {\frac {1}{n}}\sum _{i=1}^{n}\exp \alpha x_{i}

Det är en icke-expansiv operatör. Som $\alpha \to \infty$ fungerar det som ett maximum. Som $\alpha \to 0$ fungerar det som ett aritmetiskt medelvärde. Som $\alpha \to -\infty$ , fungerar det som ett minimum. Denna operator kan ses som en speciell instansiering av det kvasiaritmetiska medelvärdet . Den kan också härledas från informationsteoretiska principer som ett sätt att reglera policyer med en kostnadsfunktion definierad av KL-divergens. Operatören har tidigare använts inom andra områden, till exempel kraftteknik.

p-norm

Ett annat jämnt maximum är p-normen :

\|(x_{1},\ldots ,x_{n})\|_{ p}=\left(\summa _{i=1}^{n}|x_{i}|^{p}\right)^{\frac {1}{p}}

som konvergerar till $\|(x_{1},\ldots ,x_{n})\|_{\infty }=\max _{1\leq i\leq n}|x_{i}|$ som $p\to \infty$ .

En fördel med p-normen är att den är en norm . Som sådan är den skalinvariant ( homogen ): $\|(\lambda x_{1},\ldots ,\lambda x_{n})\|_{p}=|\lambda |\cdot \ |(x_{1},\ldots ,x_{n})\|_{p}$ , och den uppfyller triangelolikheten .

Smidig maximal enhet

Följande binära operator kallas Smooth Maximum Unit (SMU):

{\begin{aligned}\textstyle \max _{\varepsilon }(a,b)&={\frac {a+b+|ab |_{\varepsilon }}{2}}\\&={\frac {a+b+{\sqrt {(ab)^{2}+\varepsilon }}}{2}}\end{aligned}}

där $\varepsilon \geq 0$ är en parameter. Som $\varepsilon \to 0$ , $|\cdot |_{\varepsilon }\to |\cdot |$ och därmed $\textstyle \max _{\varepsilon }\to \max$ .

Se även

https://www.johndcook.com/soft_maximum.pdf

M. Lange, D. Zühlke, O. Holz och T. Villmann, "Tillämpningar av lp-normer och deras smidiga approximationer för gradientbaserad inlärningsvektorkvantisering," i Proc. ESANN , april 2014, s. 271-276. ( https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf )