Burst buffert

I den högpresterande datormiljön är burst-buffert ett snabbt mellanlagringslager placerat mellan front-end- beräkningsprocesserna och back-end- lagringssystemen . Den överbryggar prestandagapet mellan bearbetningshastigheten för beräkningsnoderna och lagringssystemens in-/utgångsbandbredd (I/O). Burst-buffertar är ofta byggda av arrayer av högpresterande lagringsenheter, som NVRAM och SSD . Det erbjuder vanligtvis från en till två storleksordningar högre I/O-bandbredd än back-end-lagringssystemen.

Användningsfall

Burst-buffertar påskyndar rörelser av vetenskaplig data på superdatorer . Till exempel växlar vetenskapliga tillämpningars livscykler vanligtvis mellan beräkningsfaser och I/O-faser. Nämligen, efter varje beräkningsomgång (dvs. beräkningsfas), skriver alla beräkningsprocesser samtidigt sina mellanliggande data till back-end-lagringssystemen (dvs I/O-fasen), följt av ytterligare en omgång av beräknings- och datarörelseoperationer. Med utbyggnaden av burst-buffert kan processer snabbt skriva sina data till burst-bufferten efter en beräkningsomgång istället för att skriva till de långsamma hårddiskbaserade lagringssystemen och omedelbart fortsätta till nästa beräkningsomgång utan att vänta på att data ska flyttas till back-end-lagringssystemen; data spolas sedan asynkront från skurbuffert till lagringssystemen samtidigt med nästa beräkningsomgång. På så sätt döljs den långa I/O-tiden som går åt för att flytta data till lagringssystemen bakom beräkningstiden. Dessutom ger buffring av data i burst-buffert även applikationer många möjligheter att omforma datatrafiken till back-end-lagringssystemen för effektivt bandbreddsutnyttjande av lagringssystemen. I ett annat vanligt användningsfall kan vetenskapliga applikationer placera sina mellanliggande data in och ut ur burstbufferten utan att interagera med de långsammare lagringssystemen. Genom att kringgå lagringssystemen kan applikationer realisera de flesta av prestandafördelarna med burst-buffert.

Representativa burst buffertarkitekturer

Det finns två representativa skurbuffertarkitekturer i högpresterande datormiljö: nodlokal skurbuffert och fjärrdelad skurbuffert. I den nodlokala skurbuffertarkitekturen är skurbuffertlagringen placerad på den individuella beräkningsnoden, så den sammanlagda skurbuffertbandbredden växer linjärt med beräkningsnodräkningen. Denna skalbarhetsfördel har dokumenterats väl i nyare litteratur. Det kommer också med efterfrågan på en skalbar metadatahanteringsstrategi för att upprätthålla ett globalt namnområde för data fördelat över alla burst-buffertar. I den avlägsna delade skurbuffertarkitekturen finns skurbuffertlagring på ett färre antal I/O-noder placerade mellan beräkningsnoderna och back-end-lagringssystemen. Datarörelse mellan beräkningsnoderna och burstbufferten måste gå genom nätverket. Att placera skurbuffert på I/O-noderna underlättar den oberoende utvecklingen, driftsättningen och underhållet av skurbufferttjänsten. Därför har flera välkända kommersialiserade mjukvaruprodukter utvecklats för att hantera denna typ av burst-buffert, såsom DataWarp och Infinite Memory Engine. Eftersom superdatorer är utplacerade med flera heterogena burst-buffertlager, såsom NVRAM på beräkningsnoderna och SSD:er på de dedikerade I/O-noderna, finns det ett behov av att transparent flytta data över flera lagringslager.

Superdatorer utplacerade med burst-buffert

På grund av dess betydelse har burst-buffert använts i stor utsträckning på superdatorer i ledarskapsskala. Till exempel har nodlokal burst-buffert installerats på DASH-superdator vid San Diego Supercomputer Center , Tsubame -superdatorer vid Tokyo Institute of Technology , Theta och Aurora -superdatorer vid Argonne National Laboratory , Summit -superdator vid Oak Ridge National Laboratory och Sierra superdator vid Lawrence Livermore National Laboratory , etc. Fjärrdelad burstbuffert har antagits av Tianhe-2 superdator vid National Supercomputer Center i Guangzhou , Trinity superdator vid Los Alamos National Laboratory , Cori superdator vid Lawrence Berkeley National Laboratory och ARCHER2 superdator vid Edinburgh Parallel Computing Center .

externa länkar

• Cray DataWarp , ett produktionsburst-buffertsystem utvecklat av Cray.
• Infinite Memory Engine , ett produktionsburst-buffertsystem utvecklat av Data Direct Network.
• Theta superdator , en superdator som är värd i Argonne National Laboratory.
• Summit superdator , en superdator som är värd i Oak Ridge National Laboratory.
• Sierra superdator , en superdator som är värd i Lawrence National National Laboratory.
• Trinity supercomputer , en superdator som är värd i Los Alamos National Laboratory.
• Cori superdator , en superdator som är värd i Lawrence Berkeley National Laboratory.