Advanced Resource Connector

BÅGE
Utvecklare NorduGrid , NeIC, EU-projekt
Initial release 13 april 2004 ; för 18 år sedan ( 2004-04-13 )
Stabil frisättning
6.17 / 24 november 2022 ; 2 månader sedan ( 2022-11-24 )
Förvar github .com /nordugrid /arc
Skrivet i C++ , PHP , Perl , Python , Shell
Operativ system Linux , Microsoft Windows , Mac OS X
Tillgänglig i engelska, ryska, svenska
Typ Grid beräkning
Licens Apache-licens 2.0
Hemsida www .nordugrid .org

Advanced Resource Connector ( ARC ) är ett mellanprogram för grid-datorer som introducerats av NorduGrid . Det tillhandahåller ett gemensamt gränssnitt för inlämning av beräkningsuppgifter till olika distribuerade datorsystem och kan därmed möjliggöra nätinfrastrukturer av varierande storlek och komplexitet. Uppsättningen tjänster och verktyg som tillhandahåller gränssnittet kallas ARC Computing Element ( ARC-CE). ARC-CE-funktionalitet inkluderar datalagring och cachning, utvecklad för att stödja dataintensiv distribuerad datoranvändning. ARC är en öppen källkod som distribueras under Apache License 2.0.

Historia

ARC dök upp (och kallas fortfarande ofta för) som NorduGrid- mellanvaran , ursprungligen föreslagen som en arkitektur ovanpå Globus Toolkit optimerad för behoven hos högenergifysikberäkningar för experimenten med Large Hadron Collider . Den första driftsättningen av ARC vid NorduGrids testbädd ägde rum sommaren 2002 och 2003 användes den för att stödja komplexa beräkningar.

Den första stabila utgåvan av ARC (version 0.4) kom ut i april 2004 under GNU General Public License . Namnet "Advanced Resource Connector" introducerades för den här utgåvan för att skilja mellanprogramvaran från infrastrukturen. Samma år blev det svenska nationella Grid-projektet Swegrid den första stora tvärvetenskapliga infrastrukturen som baseras på ARC.

2005 bildades NorduGrid formellt som ett samarbete för att stödja och koordinera ARC-utvecklingen. Under 2006 lanserades två närbesläktade projekt: Nordic Data Grid Facility , som distribuerar en pan-nordisk e-Science- infrastruktur baserad på ARC, och KnowARC, fokuserade på att omvandla ARC till nästa generations Grid-mellanprogram.

ARC v0.6 släpptes i maj 2007 och blev den andra stabila versionen. Dess nyckelfunktion var introduktionen av klientbiblioteket som möjliggör enkel utveckling av applikationer på högre nivå. Det var också den första ARC-utgåvan som använde öppna standarder, eftersom den inkluderade stöd för JSDL . Senare samma år gjordes den första teknikförhandsvisningen av nästa generations ARC-mellanprogram tillgänglig, men distribuerades inte med själva ARC. Det nya tillvägagångssättet innebar att byta till en webbtjänstbaserad arkitektur och i allmänhet en mycket betydande omfaktorisering av kärnkoden.

2008 antog NorduGrid-konsortiet Apache-licensen för alla ARC-komponenter.

Den sista stabila utgåvan i 0-raden var ARC v0.8, skickad i september 2009. Den inkluderade så småningom en förhandsversion av den nya avrättningstjänsten - A -REX' - och flera andra komponenter, som Chelonia , ISIS , Charon' och arcjobtool GUI.

Parallellt med ARC v0.8 släppte EU KnowARC-projektet i november 2009 den konceptuella ARC NOX- sviten, som var en komplett Grid-lösning, helt baserad på webbtjänstteknologier . Namnet NOX indikerar faktiskt släppdatumet: november av Oxens år .

I maj 2011 släppte NorduGrid ARC v11.05 (antog Ubuntu versionsschema denna gång). Denna utgåva markerade den fullständiga övergången från den gamla exekveringstjänsten till A-REX och tillhörande tjänster. För bakåtkompatibilitet med befintliga infrastrukturer behölls gamla gränssnitt för exekveringstjänsten och informationssystemet.

ARC 6 släpptes i maj 2019 och samtidigt som den har samma gränssnitt har den en helt omdesignad konfiguration och ett nytt hanteringsverktyg.

Komponenter

  • Värdmiljö:
  • Utförandetjänster:
    • Grid Manager - server som tillhandahåller datorkapacitet
    • A-REX - nästa generation av Grid Manager, WS-baserad
  • Informationstjänster:
    • Klassisk informationsserver - lokal tjänsteinformationspublicering
    • Klassiskt informationsindex - distribuerad informationsindexering
  • Redovisning:
    • JURA - jobbjournalförlag för A-REX
  • Kunder:
    • arc* jobb och data CLI - nästa generations kommandoradsgränssnitt för jobb- och datahantering, interoperabelt med andra mellanprogram som gLite och UNICORE
    • arcproxy - universellt verktyg för generering av Grid proxy
    • Grid Monitor - grafiskt gränssnitt till de klassiska informationstjänsterna
  • Bibliotek och API:
    • libarcclient - jobbhantering och information
    • libarcdata2 - datahantering
    • HED säkerhets-API

Tillgänglighet

ARC är fri programvara tillgänglig från NorduGrids offentliga arkiv, både som binära paket för en mängd olika Linux- system och källkod. Källkod är också öppet tillgänglig från GitHub-förvaret .

Utveckling

Utvecklingen av öppen källkod av ARC-mellanvaran koordineras av NorduGrid -samarbetet. Bidrag till programvaran, dokumentation och spridningsaktiviteter kommer från samhället och från olika projekt, såsom EU:s KnowARC- och EMI-projekt, NDGF , NeIC och olika nationella infrastruktur- och forskningsprojekt.

Versionering

Mellan 2011 och 2018 använde ARC ett Ubuntu-liknande versionsschema för paketerade utgåvor bestående av individuella komponenter. Enskilda komponenter har egen versionering, motsvarande kodtaggar. Version av kärn-ARC-paketen används ofta istället för det formella releasenumret i daglig kommunikation.

Från och med ARC6 (2019) sammanfaller versionsnumret för utgåvan med taggens.

Standarder och interoperabilitet

ARC implementerar flera Open Grid Forum- standarder, i synnerhet JSDL , Glue2, BES, UR/RUS och StAR.

ARC i olika projekt och initiativ

European Middleware Initiative

Under 2010-2013 inkluderades flera viktiga ARC-komponenter - framför allt HED, A-REX, klienter och bibliotek - i programvaran European Middleware Initiative (EMI). Genom EMI blev ARC en del av Unified Middleware Distribution (UMD) av European Grid Infrastructure (EGI).

Nordic DataGrid Facility och NeIC

ARC är grunden för beräkningsinfrastrukturen för Nordic Data Grid Facility ( NDGF). Under 2006-2010 bidrog NDGF aktivt till ARC-utveckling och sedan 2010 tillhandahåller ARC-expertise inom EGI . Sedan 2012 har NDGF blivit en del av Nordic e-Infrastructure Collaboration.

KnowARC-projekt

Grid-aktiverad kunskapsdelningsteknik baserad på ARC-tjänster och öppna standarder (KnowARC) var ett sjätte ramprogramsspecifikt riktat forskningsprojekt, finansierat under Priority IST-2005-2.5.4 "Advanced Grid Technologies, Systems and Services" från juni 2006 till november 2009. På många sätt var det projektet som formade ARC. Huvudmålet var att göra ARC baserad på öppna gemenskapsstandarder, och bland nyckelresultaten var skapandet av den standardiserade värdmiljön för ARC-tjänster (HED).

Förutom huvudsyftet att vidareutveckla ARC, bidrog det till utvecklingen av standarder och ökad Grid- och ARC-användning inom medicin och bioinformatik.

I juli 2009 tillkännagav KnowARC att det bidrog till integreringen av Grid-teknologier i officiella Linux-förråd genom att lägga till Globus Toolkit - komponenter i Fedora- och Debianförråd .

Se även

  1. ^ a b NorduGrid Nedladdningar
  2. ^ "ARC Computing Element System Administrator Guide" (PDF) . NorduGrid. 25 juni 2015 . Hämtad 26 juni 2015 .
  3. ^ Ellert, Mattias; et al. (februari 2007). "Advanced Resource Connector middleware för lätta beräkningsnät". Framtida generationens datorsystem . 23 (2): 219–240. doi : 10.1016/j.future.2006.05.008 .
  4. ^ Ellert, Mattias; Konstantinov, Aleksandr; Kónya, Balázs; Smirnova, Oxana; Wäänänen, Anders (2003). "NorduGrid-projektet: använder Globus verktygslåda för att bygga GRID-infrastruktur". Kärntekniska instrument och metoder inom fysikforskning A . 502 (2–3): 407–410. Bibcode : 2003NIMPA.502..407E . doi : 10.1016/S0168-9002(03)00453-4 .
  5. ^   Wäänänen, Anders; Ellert, Mattias; Konstantinov, Aleksandr; Kónya, Balázs (2002). "En översikt av ett arkitekturförslag för ett högenergifysiknät". I Fagerholm, Juha; Haataja, Juha; Järvinen, Jari; Lyly, Mikko; Råback, Peter; Savolainen, Ville (red.). Föreläsningsanteckningar i datavetenskap . Vol. 2367. Springer. s. 76–86. doi : 10.1007/3-540-48051-X_9 . ISBN 978-3-540-43786-4 .
  6. ^ Eerola, Paula; et al. (2003). "Atlas Data-Challenge 1 på NorduGrid". Proceedings of 2003 Conference for Computing in High Energy and Nuclear Physics . arXiv : fysik/0306013 . Bibcode : 2003physics...6013E .
  7. ^ ARC 0.4 Release Notes
  8. ^ "SweGrid blir redo för framtida utmaningar" . CERN kurir . 2004.
  9. ^ NorduGrid webbplats
  10. ^ ARC 0.6 Release Notes
  11. ^ "KnowARC-rapport D5.1-2_07" (PDF) . Arkiverad från originalet (PDF) 2010-11-08 . Hämtad 2009-08-22 .
  12. ^ ARC 0.8 Release Notes
  13. ^ ARC NOX Release Notes
  14. ^ ARC 6 Release Notes
  15. ^ ARC-utgivningstabell
  16. ^ W. Qiang (31 oktober 2012). Transparent användning av öppna standarder i EMI-komponentekosystemet (Rapport). CERN.
  17. ^ NeIC webbplats
  18. ^ KnowARC faktablad , EU IST-databas
  19. ^ Hämmerle, Hannelore; Crémel, Nicole (november 2006). "KnowARC-projektet kommer igång" . CERN kurir . Geneve, Schweiz. 46 (11): 12.
  20. ^ Smirnova, Oxana; et al. (2009). "ARC-mellanvara: utveckling mot standardbaserad interoperabilitet" (PDF) . Proceedings of the 17th International Conference on Computing in High Energy and Nuclear Physics .
  21. ^    Fält, Laurence; Andreozzi, Sergio; Kónya, Balázs (2008). Grid Information System Interoperability: Behovet av en gemensam informationsmodell . Proceedings of the IEEE Fourth International Conference on EScience . s. 501–507. doi : 10.1109/eScience.2008.159 . ISBN 978-1-4244-3380-3 . S2CID 11545984 .
  22. ^   Zhou, Xin; et al. (2009). "En enkel installation för parallell medicinsk bildbehandling: Använda Taverna och ARC". Studier i hälsoteknik och informatik . 147 (Healthgrid Research, Innovation and Business Case): 41–50. doi : 10.3233/978-1-60750-027-8-41 . PMID 19593043 .
  23. ^   Krabbenhöft, Hajo; Möller, Steffen; Bayer, Daniel (2008). "Integrera ARC grid middleware med Taverna arbetsflöden" . Bioinformatik . 24 (9): 1221–1222. doi : 10.1093/bioinformatics/btn095 . PMID 18353787 .
  24. ^ "KnowARC-projektet ger rutnät till Debian" . HPC tråd. 9 juli 2009. Arkiverad från originalet 5 september 2009.

Vidare läsning

externa länkar