Nationellt centrum för beräkningsvetenskap

National Center for Computational Sciences ( NCCS ) är en United States Department of Energy (DOE) Leadership Computing Facility som inrymmer Oak Ridge Leadership Computing Facility (OLCF), en DOE Office of Science User Facility som har till uppgift att hjälpa forskare att lösa utmanande vetenskapliga problem med globalt intresse med en kombination av ledande högpresterande beräkningsresurser (HPC) och internationell expertis inom vetenskaplig beräkning.

NCCS tillhandahåller resurser för beräkning och simulering inom områden inklusive astrofysik, materialvetenskap och klimatforskning till användare från myndigheter, akademi och industri som har många av de största datorproblemen inom vetenskapen.

OLCF:s flaggskeppssuperdator, IBM AC922 Summit , stöds av avancerade datahanterings- och analysverktyg. Centret var värd för Cray XK7 Titan- systemet, ett av de mest kraftfulla vetenskapliga verktygen på sin tid, från 2012 till och med dess pensionering i augusti 2019. Samma år påbörjades konstruktionen av Frontier , som är tänkt att debutera som OLCF:s första exascale -system i 2021.

Historia

Den 9 december 1991 undertecknade kongressen High-Performance Computing Act (HPCA) från 1991, skapad av senator Al Gore . HPCA föreslog en nationell informationsinfrastruktur för att bygga kommunikationsnätverk och databaser och efterlyste också förslag för att bygga nya högpresterande datoranläggningar för att tjäna vetenskapen.

Den 24 maj 1992 tilldelades ORNL ett högpresterande datorforskningscenter kallat Center for Computational Sciences, eller CCS, som en del av HPCA. ORNL fick också en 66-processor, serie #1 Intel Paragon XP/S 5 för kodutveckling samma år. Systemet hade en toppprestanda på 5 gigaflops (5 miljarder flyttalsoperationer per sekund).

Oak Ridge National Laboratory (ORNL) gick ihop med tre andra nationella laboratorier och sju universitet för att lämna in förslaget Partnership in Computational Science (PICS) till US Department of Energy som en del av High-Performance Computing and Communications Initiative.

I och med High-End Computing Revitalization Act från 2004 fick CCS i uppdrag att genomföra Leadership Computing Facility (LCF)-projektet på ORNL med målet att utveckla och installera en petaflops-speed superdator i slutet av 2008. Centret ändrade officiellt sin namn från Centrum för beräkningsvetenskap till NCCS samma år.

Den 9 december 2019 utsågs Georgia Tourassi – som tidigare varit chef för ORNL:s Health Data Sciences Institute och som gruppledare för ORNL:s Biomedical Sciences, Engineering and Computing Group – till chef för NCCS, efter James Hack.

Tidigare system

Intel Paragons

Skapandet av CCS 1992 inledde en serie Intel Paragon- datorer, inklusive:

• Intel Paragon XP/S 5 (1992): Intel Paragon XP/S 5 gav 128 GP-beräkningsnoder arrangerade i ett rektangulärt nät med 16 rader gånger 8 kolumner bestående av en 8 gånger 8 grupp med 16 MB noder och en 8 gånger 8 grupp på 32 MB knutpunkter. Också tillgängliga var fyra 128MB MP beräkningsnoder i ett 2-rads x 2-kolumnsnät. Dessutom fanns det 128 MB MP-startnoden, fyra 32 MB GP-servicenoder och sex I/O -noder, varav fem var anslutna till 4,8 GB RAID- diskar och den sjätte till en 16 GB RAID-disk. Detta gav totalt 40 GB systemdiskutrymme.
• Intel Paragon XP/S 35 (1992): Intel Paragon XP/S 35 gav 512 beräkningsprocessorer arrangerade i ett rektangulärt nät med 16 rader och 32 kolumner. Dessutom fanns det fem servicenoder och 27 I/O-noder var och en ansluten till en 4,8 GB RAID-disk. Detta gav totalt 130 GB systemdiskutrymme. Var och en av de fem servicenoderna och de 512 beräkningsnoderna hade 32 MB minne.
• Intel Paragon XP/S 150 (1995): Den snabbaste datorn i världen vid tidpunkten för leverans till ORNL, Intel Paragon XP/S 150 gav 1 024 noder arrangerade i 16 rader med 64 kolumner rektangulära mesh. Dessa var MP-noder, vilket innebar att det fanns två beräkningsprocessorer per nod. De flesta av noderna hade 64MB, men 64 av noderna hade 128MB. Dessutom fanns det fem servicenoder och 127 I/O-noder (119 vanliga I/O-noder och 4 högpresterande SCSI-16 I/O-noder) var och en ansluten till en 4,8 GB RAID-disk. Detta gav totalt 610 GB systemdiskutrymme.

Eagle (2000–2005)

Eagle var en IBM RS/6000 SP med 184 noder som drevs av ORNLs datavetenskaps- och matematikavdelning. Den hade 176 Winterhawk-II "tunna" noder, var och en med fyra 375 MHz Power3 -II-processorer och 2 GB minne. Eagle hade också åtta Winterhawk-II "breda" noder - var och en med två 375 MHz Power3-II-processorer och 2 GB minne - för användning som filsystemservrar och andra infrastrukturuppgifter. Eagles uppskattade beräkningskraft var större än 1 teraflop i beräkningspartitionen.

Falcon (2000)

Falcon var en Compaq AlphaServer SC med 64 noder som drivs av CCS och förvärvades som en del av ett projekt för tidig utvärdering. Den hade fyra 667 MHz Alpha EV67-processorer med 2 GB minne per nod och 2 TB Fibre Channel-disk ansluten, vilket resulterade i en uppskattad beräkningskraft på 342 gigaflops.

Cheetah (2001–2008)

Cheetah var ett 4,5 TF IBM pSeries System som drevs av CCS. Cheetahs beräkningspartition inkluderade 27 p690-noder, var och en med trettiotvå 1,3 GHz Power4- processorer. Inloggnings- och I/O-partitionerna inkluderade tillsammans 8 p655-noder, var och en med fyra 1,7 GHz Power4-processorer. Alla noder var anslutna via IBMs Federation interconnect.

Power4-minneshierarkin bestod av tre nivåer av cache. Den första och andra nivån var på Power4-chippet (två processorer till ett chip). Instruktionscache på nivå 1 var 128 KB (64 KB per processor) och datacachen var 64 KB (32 KB per processor.) Cachen på nivå 2 var 1,5 MB delad mellan de två processorerna. Nivå 3-cachen var 32 MB och var off-chip. Det fanns 16 chips per nod, eller 32 processorer.

De flesta av Cheetahs beräkningsnoder hade 32 GB minne. Fem hade 64 GB minne och två hade 128 GB minne. Några av noderna i Cheetah hade cirka 160 GB lokalt diskutrymme som kunde användas som tillfälligt skraputrymme.

I juni 2002 rankades Cheetah som den åttonde snabbaste datorn i världen, enligt TOP500 , den halvårsvisa listan över världens bästa superdatorer.

Ram (2003–2007)

Ram var en SGI Altix superdator som tillhandahålls som ett stödsystem för NCCS.

Ram installerades 2003 och användes som ett stödsystem för för- och efterbearbetning för tilldelade NCCS-projekt fram till 2007.

Ram hade 256 Intel Itanium2- processorer som körde på 1,5 GHz, var och en med 6 MB L3-cache, 256K L2-cache och 32K L1-cache. Ram hade 8 GB minne per processor för totalt 2 TB delat minne. Däremot hade den första superdatorn på ORNL, Cray XMP installerad 1985, en miljondel av minnet av SGI Altix.

Phoenix (OLCF-1) (2003–2008)

Phoenix var en Cray X1E som tillhandahålls som ett primärt system i NCCS.

Den ursprungliga X1 installerades 2003 och genomgick flera uppgraderingar och nådde sin slutliga konfiguration 2005. Från oktober 2005 till 2008 gav den nästan 17 miljoner processortimmar. Systemet stödde mer än 40 stora projekt inom forskningsområden inklusive klimat, förbränning, högenergifysik, fusion, kemi, datavetenskap, materialvetenskap och astrofysik.

Vid sin slutliga konfiguration hade Phoenix 1 024 multistreaming vektorprocessorer (MSP). Varje MSP hade 2 MB cache och en maximal beräkningshastighet på 18 gigaflops. Fyra MSP:er bildade en nod med 8 GB delat minne. Minnesbandbredden var mycket hög, ungefär hälften av cachebandbredden. Sammankopplingen fungerade som en förlängning av minnessystemet och erbjöd varje nod direkt tillgång till minne på andra noder med hög bandbredd och låg latens.

Jaguar (OLCF-2) (2005–2012)

Jaguar började som en 25-teraflop Cray XT3 2005. Senare uppgraderades den till en XT4 som innehöll 7 832 beräkningsnoder, var och en innehållande en fyrkärnig AMD Opteron 1354-processor som körs på 2,1 GHz, 8 GB DDR2-800-minne (vissa noder) använt DDR2-667-minne) och en SeaStar2-router. Den resulterande partitionen innehöll 31 328 bearbetningskärnor, mer än 62 TB minne, mer än 600 TB diskutrymme och en toppprestanda på 263 teraflops (263 biljoner flyttalsoperationer per sekund).

2008 uppgraderades Jaguar till en Cray XT5 och blev det första systemet som körde en vetenskaplig applikation vid en ihållande petaflop. Vid tiden för sin ultimata förvandling till Titan 2012, innehöll Jaguar nästan 300 000 bearbetningskärnor och hade en teoretisk prestandatopp på 3,3 petaflops. Jaguar hade 224 256 x86-baserade AMD Opteron- processorkärnor och körde med en version av Linux som kallas Cray Linux Environment .

Från november 2009 till november 2010 var Jaguar världens kraftfullaste dator.

Hawk (2006–2008)

Hawk var ett 64-nods Linux- kluster dedikerat till avancerad visualisering.

Hawk installerades 2006 och användes som centrets primära visualiseringskluster fram till maj 2008 då det ersattes av ett system med 512 kärnor som heter Lens.

Varje nod innehöll två enkelkärniga Opteron-processorer och 2 GB minne. Klustret var sammankopplat med ett Quadrics Elan3-nätverk, vilket gav hög bandbredd och låg latenskommunikation. Klustret var befolkat med två varianter av NVIDIA-grafikkort kopplade till AGP8x: 5900 och QuadroFX 3000G. Noder med 3000G-kort var direkt anslutna till EVEREST PowerWall och var reserverade för PowerWall-användning.

Ewok (2006–2011)

Ewok var ett Intel-baserat InfiniBand- kluster som körde Linux. Systemet tillhandahölls som en helhetsresurs för centeranvändare. Den användes för automatisering av arbetsflöden för jobb som kördes från Jaguars superdator och för avancerad dataanalys. Systemet innehöll 81 noder. Varje nod innehöll två 3,4 GHz Pentium IV-processorer, en 3,4 GHz Intel Xeon central processing unit (CPU) och 6 GB minne. En extra nod innehöll 4 AMD-processorer med dubbla kärnor och 64 GB minne. Systemet konfigurerades med ett 13 TB Luster-filsystem för skraputrymme.

Eugene (2008–2011)

Eugene var ett 27-teraflop IBM Blue Gene/P System som drivs av NCCS. Det gav cirka 45 miljoner bearbetningstimmar årligen för ORNL-personal och för att främja forskningssamarbeten mellan ORNL och dess centrala universitetspartnermedlemmar.

Systemet bestod av 2 048 850Mhz IBM quad-core 450d PowerPC-processorer och 2 GB minne per varje nod. Eugene hade 64 I/O-noder; varje inlämnat jobb krävdes att använda minst en I/O-nod. Detta innebär att varje jobb förbrukade minst 32 noder per exekvering.

Eugene avvecklades officiellt i oktober 2011. Den 13 december samma år donerades dock en del av Eugenes hårdvara till Argonne Leadership Computing Facility (ALCF) vid Argonne National Laboratory .

Eos (2013–2019)

Eos var ett Cray XC30- kluster med 736 noder med totalt 47,104 TB minne. Dess processor var Intel Xeon E5-2670 . Den innehöll 16 I/O-servicenoder och 2 externa inloggningsnoder. Dess beräkningsnoder var organiserade i blad. Varje blad innehöll 4 noder. Varje nod hade 2 sockets med 8 fysiska kärnor vardera. Intels HyperThreading (HT)-teknik gjorde att varje fysisk kärna kunde fungera som två logiska kärnor så att varje nod kunde fungera som om den hade 32 kärnor. Totalt innehöll Eos compute-partitionen 11 776 traditionella processorkärnor (23 552 logiska kärnor med HT-teknik aktiverad).

Eos gav ett utrymme för verktygs- och applikationsportering, småskaliga jobb för att förbereda kapacitetskörningar på Titan, såväl som generering, verifiering och optimering av programvara.

Titan (OLCF-3) (2012–2019)

Titan var ett Cray XK7-system med hybridarkitektur med en teoretisk toppprestanda som översteg 27 000 biljoner beräkningar per sekund (27 petaflops). Den innehöll både avancerade 16-kärniga AMD Opteron-processorer och NVIDIA Kepler-grafikprocessorer (GPU). Denna kombination gjorde det möjligt för Titan att uppnå 10 gånger så hög hastighet och 5 gånger så mycket energieffektivitet som sin föregångare, Jaguar superdator, samtidigt som den bara använde måttligt mer energi och ockuperade samma fysiska fotavtryck.

Titan innehöll 18 688 beräkningsnoder, ett totalt systemminne på 710 TB och Crays högpresterande Gemini-nätverk. Dess 299 008 CPU-kärnor styrde simuleringar och de medföljande GPU:erna hanterade hundratals beräkningar samtidigt. Systemet gav kortare tid till lösning, ökad komplexitet hos modeller och större realism i simuleringar. I november 2012 fick Titan plats nummer 1 på TOP500 superdatorlistan.

Efter 7 års tjänst avvecklades Titan i augusti 2019 för att göra plats för superdatorn Frontier.

Aktuella system

Spindel

OLCF:s centrumomfattande Luster-filsystem , kallat Spider , är det operativa arbetsfilsystemet för de flesta OLCF-beräkningsresurser. Som ett extremt högpresterande system har Spider över 20 000 klienter, vilket ger 32 PB diskutrymme, och det kan flytta data med mer än 1 TB/s. Spider består av två filsystem, Atlas1 och Atlas2, för att ge hög tillgänglighet och belastningsbalans över flera metadataservrar för ökad prestanda.

HPSS

HPSS , ORNL:s arkivmasslagringsresurs, består av band- och disklagringskomponenter, Linux-servrar och HPSS-programvara ( High Performance Storage System) . Bandlagring tillhandahålls av StorageTek SL8500 robotiska bandbibliotek, som vart och ett kan rymma upp till 10 000 kassetter. Varje bibliotek har 24 T10K-A-enheter , 60 T10K-B-enheter, 36 T10K-C-enheter och 72 T10K-D-enheter.

EVEREST

EVEREST (Exploratory Visualization Environment for Research in Science and Technology) är en storskalig plats för datautforskning och analys. EVEREST mäter 30 fot lång och 8 fot hög, och dess huvudfunktion är en 27-projektor PowerWall med ett sammanlagt antal pixlar på 35 miljoner pixlar. Projektorerna är arrangerade i en 9×3-array, var och en ger 3 500 lumen för en mycket ljus skärm.

Med 11 520 gånger 3 072 pixlar erbjuder väggen en enorm mängd visuella detaljer. Väggen är integrerad med resten av datorcentret, vilket skapar en dataväg med hög bandbredd mellan storskalig högpresterande datoranvändning och storskalig datavisualisering.

EVEREST styrs av ett kluster med 14 noder. Varje nod innehåller fyra AMD Opteron-processorer med dubbla kärnor. Dessa 14 noder har NVIDIA QuadroFX 3000G-grafikkort anslutna till projektorerna, vilket ger en visualiseringskapacitet med mycket hög genomströmning. Visualiseringslabbet fungerar som en experimentell anläggning för utveckling av framtida visualiseringsmöjligheter . Den rymmer en LCD-skärm med 12 paneler, testklusternoder, interaktionsenheter och videoutrustning.

Rhea

Rhea är ett Linux-kluster med 521 noder, varutyp. Rhea tillhandahåller en kanal för storskalig vetenskaplig upptäckt via för- och efterbearbetning av simuleringsdata som genereras på superdatorn Titan. Var och en av Rheas första 512-noder innehåller två 8-kärniga 2,0 GHz Intel Xeon-processorer med Intels HT-teknik och 128 GB huvudminne. Rhea har också nio stora minnes-GPU-noder. Dessa noder har vardera 1 TB huvudminne och två NVIDIA K80 GPU:er med två 14-kärniga 2,30 GHz Intel Xeon-processorer med HT-teknik. Rhea är ansluten till OLCF:s högpresterande Luster-filsystem, Atlas.

Wombat

Wombat är ett enrackskluster från HPE baserat på 64-bitars ARM-arkitekturen istället för traditionell x86-baserad arkitektur. Detta system är tillgängligt för att stödja datavetenskapliga forskningsprojekt som syftar till att utforska ARM-arkitekturen.

Wombat-klustret har 16 beräkningsnoder, varav fyra har två AMD GPU-acceleratorer anslutna (totalt åtta GPU:er i systemet). Varje datornod har två 28-kärniga Cavium ThunderX2-processorer, 256 GB RAM (16 DDR4 DIMM) och en 480 GB SSD för nodlokal lagring. Noder är anslutna till EDR InfiniBand (~100 Gbit/s).

Summit (OLCF-4)

OLCF:s IBM AC922 Summit superdator.

IBM AC922 Summit , eller OLCF-4 , är ORNL:s flaggskeppssuperdator med 200 petaflop. Summit lanserades ursprungligen i juni 2018 och är från och med november 2019 TOP500-listan den snabbaste datorn i världen med en High Performance Linpack (HPL) prestanda på 148,6 petaflops. Summit är också den första datorn som uppnår exascale -prestanda och uppnår en maximal genomströmning på 1,88 exaops genom en blandning av flyttalsoperationer med enkel och halv precision .

Som sin föregångare Titan använder Summit en hybridarkitektur som integrerar sina 9 216 Power9- processorer och 27 648 NVIDIA Volta V100 GPU:er med hjälp av NVIDIAs NVLink. Summit har 4 608 noder (nästan en fjärdedel av Titans 18 688 noder), var och en med 512 GB Double Data Rate 4 Synchronous Dynamic Random-Access Memory (DDR4) och 96 GB High Bandwidth Memory (HBM2) per nod, med en total lagringskapacitet på 250 petabyte.

Frontier (OLCF-5)

Planerad för leverans 2021 med användaråtkomst som blir tillgänglig följande år, kommer Frontier att vara ORNL:s första hållbara exascale-system, vilket innebär att det kommer att kunna utföra en kvintiljon—en miljard miljarder—operationer per sekund. Systemet kommer att bestå av mer än 100 Cray Shasta-skåp med en förväntad toppprestanda runt 1,5 exaflops.

Forskningsområden

• Biologi – Med OLCFs superdatorresurser kan forskare använda kunskap om molekylär skala för att utveckla nya läkemedel och medicinska terapier, studera komplexa biologiska system och modellera genreglering.
• Kemi – Superdatorer som Summit kan utforska materiens krångligheter på atomnivå, vilket möjliggör upptäckter av första principer och detaljerade molekylära modeller.
• Datavetenskap – Forskare utvecklar de verktyg som krävs för att utvärdera en rad superdatorsystem, med målen att upptäcka hur man bäst använder var och en, hur man hittar den bästa passformen för en given applikation och hur man skräddarsyr applikationer för att få bästa prestanda.
• Earth Science – Högpresterande beräkningar möjliggör storskalig beräkning av komplexa miljömässiga och geografiska system, och NCCS-forskare använder denna information för att bättre förstå förändringarna i jordens klimat som den globala uppvärmningen medför.
• Engineering – OLCF-resurser som Summit används för tekniska tillämpningar som simuleringar av gasturbiner och förbränningsmotorer.
• Fusion – Att förstå beteendet hos fusionsplasma och simulera olika enhetsaspekter ger forskare insikt i konstruktionen av ITER , en prototyp av fusionskraftverk.
• Materialvetenskap – Forskning om materialvetenskap vid ORNL har syftat till att förbättra olika områden av det moderna livet, från kraftgenerering och överföring till transport till produktion av snabbare, mindre, mer mångsidiga datorer och lagringsenheter.
• Kärnenergi – Utvecklingen av nya kärnreaktorer som använder avancerade bränslecykler och följer moderna säkerhets- och icke-spridningsbegränsningar kräver komplexa modellering och simuleringar. Ofta kräver komplexiteten i dessa simuleringar användningen av superdatorer som kan säkerställa modellernas noggrannhet.
• Fysik – Fysiker använder NCCS:s högpresterande beräkningskraft för att avslöja materiens grundläggande natur, inklusive beteendet hos kvarkar, elektroner och andra fundamentala partiklar som utgör atomer.

externa länkar

• Media relaterade till Oak Ridge Leadership Computing Facility på Wikimedia Commons
• Webbplatsen för Oak Ridge Leadership Computing Facility
• Webbplatsen för Oak Ridge National Laboratory