Fysik-informerade neurala nätverk

Fysik-informerade neurala nätverk för att lösa Navier–Stokes ekvationer

Fysik-informerade neurala nätverk ( PINNs ) är en typ av universella funktionsapproximatorer som kan bädda in kunskapen om alla fysiska lagar som styr en given datamängd i inlärningsprocessen, och kan beskrivas med partiella differentialekvationer (PDE). De övervinner den låga datatillgängligheten hos vissa biologiska och tekniska system som gör att de flesta toppmoderna maskininlärningstekniker saknar robusthet, vilket gör dem ineffektiva i dessa scenarier. Förkunskaperna om allmänna fysiska lagar fungerar i träningen av neurala nätverk (NN) som ett regulariseringsmedel som begränsar utrymmet för tillåtna lösningar, vilket ökar korrektheten av funktionsapproximationen. På så sätt, inbäddning av denna tidigare information i ett neuralt nätverk resulterar i att informationsinnehållet i tillgängliga data förbättras, vilket underlättar inlärningsalgoritmen för att fånga den rätta lösningen och att generalisera väl även med en liten mängd träningsexempel.

Funktionsuppskattning

De flesta av de fysiska lagarna som styr dynamiken i ett system kan beskrivas med partiella differentialekvationer. Till exempel Navier-Stokes-ekvationerna en uppsättning partiella differentialekvationer som härleds från bevarandelagarna ( dvs. bevarande av massa, rörelsemängd och energi) som styr vätskemekaniken . Lösningen av Navier–Stokes ekvationer med lämpliga initiala och randvillkor tillåter kvantifiering av flödesdynamik i en exakt definierad geometri. Dessa ekvationer kan dock inte lösas exakt och därför måste numeriska metoder användas (som finita skillnader , finita element och finita volymer ). I den här inställningen måste dessa styrande ekvationer lösas samtidigt som man tar hänsyn till tidigare antaganden, linearisering och adekvat diskretisering av tid och rum.

Nyligen har lösningen av de styrande partiella differentialekvationerna för fysiska fenomen med hjälp av djupinlärning dykt upp som ett nytt område för vetenskaplig maskininlärning (SciML), som utnyttjar den universella approximationen och höga uttrycksförmågan hos neurala nätverk. I allmänhet skulle djupa neurala nätverk kunna approximera vilken högdimensionell funktion som helst givet att tillräcklig träningsdata tillhandahålls. Sådana nätverk tar dock inte hänsyn till de fysiska egenskaperna som ligger till grund för problemet, och nivån av approximationsnoggrannhet som tillhandahålls av dem är fortfarande starkt beroende av noggranna specifikationer av problemgeometrin såväl som initiala och randvillkor. Utan denna preliminära information är lösningen inte unik och kan förlora fysisk korrekthet. Å andra sidan utnyttjar fysikinformerade neurala nätverk (PINNs) styrande fysiska ekvationer i neurala nätverksträning. PINNs är nämligen utformade för att tränas för att uppfylla de givna träningsdata såväl som de pålagda styrande ekvationerna. På detta sätt kan ett neuralt nätverk styras med träningsdata som inte nödvändigtvis behöver vara stort och komplett. Potentiellt kan en korrekt lösning av partiella differentialekvationer hittas utan att känna till randvillkoren. Därför, med viss kunskap om problemets fysiska egenskaper och någon form av träningsdata (även sparsamt och ofullständigt), kan PINN användas för att hitta en optimal lösning med hög trohet.

PINNs möjliggör att ta itu med ett brett spektrum av problem inom beräkningsvetenskap och representerar en banbrytande teknologi som leder till utvecklingen av nya klasser av numeriska lösare för PDE. PINN kan ses som ett nätfritt alternativ till traditionella metoder (t.ex. CFD för vätskedynamik), och nya datadrivna metoder för modellinversion och systemidentifiering. Särskilt kan det tränade PINN-nätverket användas för att förutsäga värden på simuleringsnät med olika upplösningar utan att behöva tränas om. Dessutom tillåter de att utnyttja automatisk differentiering (AD) för att beräkna de nödvändiga derivatorna i de partiella differentialekvationerna, en ny klass av differentieringstekniker som ofta används för att härleda neurala nätverk som bedöms vara överlägsna numerisk eller symbolisk differentiering .

Modellering och beräkning

En allmän ickelinjär partiell differentialekvation kan vara:

$u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]$

där $u(t,x)$ anger lösningen, $N[\cdot ;\lambda ]$ är en olinjär operator parametriserad av $\lambda$ , och $\Omega$ är en delmängd av $\mathbb {R} ^{D}$ . Denna allmänna form av styrande ekvationer sammanfattar ett brett spektrum av problem inom matematisk fysik, såsom konservativa lagar, diffusionsprocess, advektion-diffusionssystem och kinetiska ekvationer. Givet bullriga mätningar av ett generiskt dynamiskt system som beskrivs av ekvationen ovan, kan PINN utformas för att lösa två klasser av problem:

• datadriven lösning
• datadriven upptäckt

av partiella differentialekvationer.

Datadriven lösning av partiella differentialekvationer

Den datadrivna lösningen för PDE beräknar det dolda tillståndet $u(t,x)$ för systemet givna gränsdata och/eller mätningar $z$ , och fasta modellparametrar ${ \displaystyle \lambda }$ . Vi löser:

$u_{t}+N[u]=0,\quad x\in \Omega ,\quad t\in [0, T]$ .

Genom att definiera kvarvarande $f(t,x)$ som

$f:=u_{t}+N[u]=0$ ,

och approximera $u(t,x)$ med ett djupt neuralt nätverk. Detta nätverk kan differentieras med hjälp av automatisk differentiering. Parametrarna för $u(t,x)$ och $f(t,x)$ kan sedan läras in genom att minimera följande förlustfunktion $L_{tot}$ :

$L_{tot}=L_{u}+L_{f}$ .

Där $L_{u}=\Vert uz\Vert _{\Gamma }$ är felet mellan PINN $u(t,x)$ och uppsättningen randvillkor och uppmätta data på uppsättningen punkter $\Gamma$ där randvillkoren och data definieras, och $L_{f}=\Vert f \Vert _{\Gamma }$ är medelkvadratfelet för restfunktionen. Denna andra term uppmuntrar PINN att lära sig den strukturella informationen som uttrycks av den partiella differentialekvationen under utbildningsprocessen.

Detta tillvägagångssätt har använts för att ge beräkningseffektiva fysikinformerade surrogatmodeller med tillämpningar för prognoser av fysiska processer, modellering av prediktiv kontroll, multifysik och multi-skala modellering och simulering.

Datadriven upptäckt av partiella differentialekvationer

Givet bullriga och ofullständiga mätningar $z$ av systemets tillstånd, resulterar den datadrivna upptäckten av PDE i beräkning av det okända tillståndet $u(t,x)$ och inlärningsmodellen parametrar $\lambda$ som bäst beskriver de observerade data och den lyder som följer:

$u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]$ .

Genom att definiera $f(t,x)$ som

$f:=u_{t}+N[u;\lambda ]=0$ ,

och att approximera $u(t,x)$ med ett djupt neuralt nätverk, $f(t,x)$ resulterar i en PINN. Detta nätverk kan härledas med hjälp av automatisk differentiering. Parametrarna för $u(t,x)$ och $f(t,x)$ , tillsammans med parametern $\lambda$ för differentialoperator kan sedan läras in genom att minimera följande förlustfunktion $L_{tot}$ :

$L_{tot}=L_{u}+L_{f}$ .

Där ${\displaystyle L_{u}=\Vert uz\Vert _{\Gamma }} ,$ med $u$ och $z$ anger lösningar och mätningar glesa plats $\Gamma$ , respektive $L_{f}=\Vert f\Vert _{\Gamma }$ restfunktion. Denna andra term kräver att den strukturerade informationen som representeras av de partiella differentialekvationerna uppfylls i träningsprocessen.

Denna strategi gör det möjligt att upptäcka dynamiska modeller som beskrivs av icke-linjära PDE:er som sätter samman beräkningseffektiva och helt differentierbara surrogatmodeller som kan hitta tillämpning i prediktiv prognos, kontroll och dataassimilering .

Fysik-informerade neurala nätverk för bitvis funktionsapproximation

PINN kan inte approximera PDE:er som har stark icke-linjäritet eller skarpa gradienter som vanligtvis förekommer i praktiska vätskeflödesproblem. Styckvis approximation har varit en gammal praxis inom området för numerisk approximation. Med förmågan att approximera stark icke-linjäritet används extremt lätta PINNs för att lösa PDEs i mycket större diskreta underdomäner som ökar noggrannheten avsevärt och minskar också beräkningsbelastningen. DPINN(Distribuerade fysikinformerade neurala nätverk) och DPIELM(Distribuerade fysikinformerade extrema inlärningsmaskiner) är generaliserbara rum-tidsdomändiskretisering för bättre approximation. DPIELM är en extremt snabb och lätt approximator med konkurrenskraftig noggrannhet. En annan tankegång är diskretisering för parallell beräkning för att utnyttja användningen av tillgängliga beräkningsresurser.

XPINNs är en generaliserad rymd-tidsdomännedbrytningsmetod för de fysikinformerade neurala nätverken (PINNs) för att lösa ickelinjära partiella differentialekvationer på godtyckliga komplexgeometriska domäner. XPINNs tänjer ytterligare på gränserna för både PINNs såväl som konservativa PINNs (cPINNs), vilket är ett tillvägagångssätt för rumslig domännedbrytning i PINN-ramverket skräddarsytt för bevarandelagar. Jämfört med PINN har XPINN-metoden stor representations- och parallelliseringskapacitet på grund av den inneboende egenskapen att distribuera flera neurala nätverk i de mindre underdomänerna. Till skillnad från cPINN kan XPINN utökas till alla typer av PDE:er. Dessutom kan domänen dekomponeras på vilket godtyckligt sätt som helst (i rum och tid), vilket inte är möjligt i cPINN. XPINN erbjuder alltså både rums- och tidsparallellisering, vilket minskar utbildningskostnaden mer effektivt. XPINN är särskilt effektivt för storskaliga problem (som involverar stora datamängder) såväl som för högdimensionella problem där PINN baserad på ett enda nätverk inte är tillräcklig. De rigorösa gränserna för felen som härrör från approximationen av de olinjära PDE:erna (inkompressibla Navier–Stokes-ekvationer) med PINNs och XPINNs bevisas.

Fysik-informerade neurala nätverk och funktionell interpolation

X-TFC ramschema för PDE-lösningsinlärning

I PINN-ramverket är initiala och randvillkor inte analytiskt uppfyllda, så de måste inkluderas i nätverkets förlustfunktion för att samtidigt läras in med differentialekvationen (DE) okända funktioner. Att ha konkurrerande mål under nätverkets träning kan leda till obalanserade gradienter samtidigt som gradientbaserade tekniker används, vilket gör att PINN ofta kämpar för att korrekt lära sig den underliggande DE-lösningen. Denna nackdel övervinns genom att använda funktionella interpolationstekniker såsom Theory of Functional Connections (TFC)s begränsade uttryck, i Deep-TFC-ramverket, som reducerar lösningssökningsutrymmet för begränsade problem till subutrymmet av neurala nätverk som analytiskt tillfredsställer begränsningar. En ytterligare förbättring av PINN och funktionell interpolationsmetod ges av ramverket Extreme Theory of Functional Connections (X-TFC), där ett enskiktigt neuralt nätverk och den extrema inlärningsmaskinens träningsalgoritm används. X-TFC gör det möjligt att förbättra noggrannheten och prestandan hos vanliga PINN, och dess robusthet och tillförlitlighet har bevisats för svåra problem, optimal kontroll, rymd- och dynamikapplikationer för förädlad gas.

Fysik-informerat PointNet (PIPN) för flera uppsättningar av oregelbundna geometrier

Vanliga PINN:er kan endast erhålla lösningen av ett framåt- eller inversproblem på en enda geometri. Det betyder att för varje ny geometri (beräkningsdomän) måste man omskola en PINN. Denna begränsning av vanliga PINN medför höga beräkningskostnader, speciellt för en bred undersökning av geometriska parametrar i industriell design. Fysik-informerat PointNet (PIPN) är i grunden resultatet av en kombination av PINNs förlustfunktion med PointNet. I själva verket, istället för att använda ett enkelt helt anslutet neuralt nätverk, använder PIPN PointNet som kärnan i sitt neurala nätverk. PointNet har i första hand designats för djupinlärning av 3D-objektklassificering och segmentering av Leonidas J. Guibas forskargrupp . PointNet extraherar geometriska egenskaper för indataberäkningsdomäner i PIPN. Således kan PIPN lösa styrande ekvationer på flera beräkningsdomäner (snarare än bara en enda domän) med oregelbundna geometrier samtidigt. Effektiviteten av PIPN har visats för inkompressibelt flöde och värmeöverföring .

Begränsningar

Översättning och diskontinuerligt beteende är svåra att uppskatta med PINN. De misslyckas när man löser differentialekvationer med lätt advektiv dominans. De misslyckas också med att lösa ett system av dynamiska system och har därför inte lyckats lösa kaotiska ekvationer. En av anledningarna bakom misslyckandet med de vanliga PINN:erna är mjukbegränsande av Dirichlets och Neumanns gränsvillkor, vilket utgör problem med optimering med flera mål. Detta kräver att man manuellt väger förlustvillkoren för att kunna optimera. En annan anledning är att få optimering i sig. Att framställa PDE-lösning som ett optimeringsproblem tar med sig alla problem som står inför i optimeringsvärlden, det största är att ganska ofta fastnar vid ett lokalt optimum.

externa länkar

• PINN – repository för att implementera fysikinformerat neurala nätverk i Python
• XPINN – arkiv för att implementera utökat fysikinformerat neuralt nätverk (XPINN) i Python