gUSE


Guselogo.jpg

Grid and Cloud User Support Environment (gUSE), även känd som WS-PGRADE (Web Service – Parallel Grid Run-time and Application Development Environment) / gUSE , är en öppen källkod för vetenskaplig gateway-ramverk som gör det möjligt för användare att komma åt nät- och molninfrastrukturer . gUSE är utvecklat av Laboratory of Parallel and Distributed Systems ( LPDS ) vid Institutet för datavetenskap och kontroll (SZTAKI) vid Ungerska vetenskapsakademin .

Ett relevant krav i utvecklingen av gUSE var att möjliggöra samtidig hantering av ett mycket stort antal jobb, även i storleksordningen miljoner, utan att kompromissa med svarstiden i användargränssnittet. För att uppnå denna nivå av samtidighet, implementeras arbetsflödeshanteringens back-end av gUSE baserat på webbtjänstkonceptet Service Oriented Architecture (SOA).

Science Gateway Framework

Det finns många användargemenskaper som skulle vilja komma åt flera DCI:er på ett transparent sätt, men de vill inte lära sig de speciella egenskaperna hos de använda DCI:erna. De vill koncentrera sin vetenskapliga tillämpning - för dem är det lösningen att använda en Science Gateway (SG). En SG tillhandahåller ett gränssnitt mellan en forskare (eller ett samhälle) och de distribuerade datorinfrastrukturerna (DCI). Ett SG-ramverk, som gUSE, tillhandahåller en specifik uppsättning möjliggörande teknologier samt frontend- och backend-tjänster som tillsammans bygger en generisk gateway. SG-ramverk är inte specialiserade för ett visst vetenskapligt område och därför kan forskare från många olika områden använda dem. En möjliggörande teknologi som gUSE tillhandahåller den nödvändiga mjukvarustacken för att utveckla SG-ramverk och SG-instanser (tillhandahålla ett förenklat användargränssnitt som är mycket skräddarsytt för behoven hos det givna forskarsamhället). Typiska exempel på sådana möjliggörande teknologier är: webbapplikationsbehållare (Tomcat, Glassfish, etc.), portal- eller webbapplikationsramverk (Liferay, Spring, etc.), databashanteringssystem (MySQL, etc.), arbetsflödeshanteringssystem (gUSE självt) , MOTEUR, etc.)

SGs kan ha olika mål. Generellt sett kan forskare som använder gateways fokusera på sina vetenskapliga mål och mindre på att bygga ihop den e-infrastruktur som krävs. Ett viktigt mål är att göra det lättare för forskare att använda (nationella) dator- och lagringsresurser, samtidigt som de skapar och använder samarbetsverktyg för att dela data.

SG-ramverket kan användas av National Grid Initiatives (NGI) för att stödja små användargemenskaper som inte har råd att utveckla sina egna anpassade SG. Ramverket gUSE SG tillhandahåller också två applikationsprogrammeringsgränssnitt (API), nämligen Application-Specific Module API och Remote API, för att skapa applikationsspecifika SG:er enligt behoven hos olika användargrupper.

Funktioner

gUSE tillhandahåller med WS-PGRADE ett grafiskt användargränssnitt för att skapa och exekvera arbetsflöden på olika distribuerade datorinfrastrukturer (DCI).

Bland många andra funktioner är de fem huvudsakliga funktionerna i gUSE följande: (1) gUSE är ett allmänt SG-ramverk under vilket användare kan komma åt mer än tjugo olika DCI:er via DCI Bridge-tjänsten och sex olika datalagringstyper (HTTP) , HTTPS, GSIFTP, S3, SFTP och SRM) via Data Avenue-tjänsten. Både DCI Bridge och Data Avenue utvecklades som en del av tjänstestacken WS-PGRADE/gUSE, men de kan också användas som oberoende tjänster som möjliggör användning av andra typer av gateways och arbetsflödessystem. (2) WS-PGRADE/gUSE är ett arbetsflödesorienterat system. Den utökar det Directed Acyclic Graph (DAG)-baserade arbetsflödeskonceptet med avancerade parametersvep-funktioner (PS) med speciella arbetsflödesnoder, tillståndsberoende arbetsflödesexekvering och stöd för arbetsflödesinbäddning. Dessutom utökar gUSE det konkreta arbetsflödeskonceptet med begreppen abstrakt arbetsflöde, arbetsflödesinstans och mall. (3) WS-PGRADE/gUSE stöder utveckling och exekvering av arbetsflödesbaserade applikationer. Användare av gUSE definierar sina applikationer som arbetsflöden. De kan dela sina applikationer med varandra genom att exportera dem till det interna applikationsarkivet. Andra användare kan importera sådana applikationer och köra eller ändra dem i deras användarutrymme. (4) gUSE stöder den snabba utvecklingen av SG-instanser genom en anpassningsteknik. gUSE kan tillgodose olika behov, i enlighet med gemenskapens krav om beräkningskraft, applikationernas komplexitet och användargränssnittets specificitet för att passa gemenskapens behov och uppfylla dess terminologi. (5) Den viktigaste designaspekten av gUSE är flexibilitet. Flexibiliteten hos gUSE uttrycks

  • vid utnyttjande av parallellism: gUSE möjliggör parallell exekvering i en arbetsflödesnod såväl som bland arbetsflödesnoder. Det är möjligt att använda flera instanser av samma arbetsflöde med olika datafiler.
  • vid användning av DCI:er: gUSE kan komma åt olika DCI:er: kluster, klusternät, skrivbordsnät, superdatorer och moln.
  • i datalagringsåtkomst: gUSE-arbetsflödesnoder kan komma åt olika datalagringstjänster i olika DCI:er via Data Avenue Blacktop-tjänsten. Därför kan filöverföringen mellan olika lagringar och arbetsflödesnoder hanteras automatiskt/transparent.
  • i säkerhetshantering: För säker autentisering är det möjligt att använda användarnas personliga certifikat eller robotcertifikat.
  • i molnåtkomst: En stor uppsättning olika moln (Amazon, OpenStack, OpenNebula, etc.) kan nås av WS-PGRADE/gUSE antingen direkt (se kap. 4) eller via CloudBroker-plattformen.
  • av gatewaytyper som stöds: gUSE stöder olika gatewaytyper: allmänna gateways för nationella nät (t.ex. för grekiska och italienska NGIs), allmänna gateways för särskilda DCI:er (t.ex. EDGI-gateway), allmänna gateways för specifika teknologier ( t.ex. SHIWA-gateway för arbetsflödesdelning och interoperation) och domänspecifika vetenskapsgatewayinstanser (t.ex. Swiss proteomics-portal, MoSGrid-gateway, Autodock-gateway, Seizmology-gateway och VisIVO).
  • vid användning av arbetsflödessystem: Användare kan från SHIWA Workflow Repository komma åt många arbetsflöden skrivna på olika arbetsflödesspråk och använda dessa arbetsflöden som inbäddade arbetsflöden i WS-PGRADE-arbetsflödesnoder.

Arkitektur

alt text
WS-PGRADE/gUSE-arkitektur

Huvudmålet med att designa flerskiktsarkitekturen för WS-PGRADE/gUSE var att möjliggöra mångsidig åtkomst till många olika typer av DCI:er och datalagring med olika typer av användargränssnitt. Denna åtkomst kan utföras tekniskt genom DCI Bridge-tjänsten för inlämning av jobb som är i botten inom gUSE-arkitektoniska skikt, och via Data Avenue Blacktop-tjänsten som är en oberoende tjänst som tillhandahålls av SZTAKI.

DCI Bridge är en webbtjänstbaserad applikation som ger standardåtkomst till olika DCI:er. Den ansluter via sina DCI-plugin-program till de externa DCI-resurserna. När en användare skickar ett arbetsflöde skickas dess jobbkomponenter transparent till de olika DCI-systemen via DCI Bridge-tjänsten med hjälp av dess standard OGSA Basic Execution Service 1.0 (BES)-gränssnitt. Som ett resultat är åtkomstprotokollet och alla tekniska detaljer för de olika DCI-systemen helt gömda bakom BES-gränssnittet. Arbetsbeskrivningsspråket för BES är det standardiserade JSDL-språket (Job Submission Description Language). DCI:erna som stöds av DCI Bridge är följande:

Den mellersta nivån i gUSE-arkitekturen innehåller gUSE-tjänsterna på hög nivå. Workflow Storage lagrar varje del av information som behövs för att definiera ett arbetsflöde (grafstrukturbeskrivning, indatafilpekare, outputfilpekare, körbar kod och mål-DCI för arbetsflödesnoder) förutom indatafilerna för arbetsflödet. De lokala indatafilerna och de lokala utdatafilerna som skapas under körningen av arbetsflödet lagras i fillagringen. Arbetsflödestolken ansvarar för utförandet av arbetsflöden, som lagras i arbetsflödeslagret. Informationssystemet innehåller information för användare om pågående arbetsflöden och jobbstatus. Användare av WS-PGRADE-gateways arbetar i isolerade arbetsytor, dvs. de ser bara sina egna arbetsflöden. För att möjliggöra samarbete mellan de isolerade användarna lagrar Application Repository WS-PGRADE-arbetsflödena i ett av deras fem möjliga steg. (Fysiskt är alla fem kategorier lagrade som zip-filer.) De fem kategorierna av lagrade arbetsflöden är följande, och samarbetet mellan gatewayanvändarna är möjligt via alla dessa kategorier:

  • Graf (eller abstrakt arbetsflöde) som endast innehåller information om arbetsflödets grafstruktur.
  • Arbetsflöde (eller konkret arbetsflöde) som innehåller information både om grafstrukturen och om konfigurationsparametrarna (pekare för indatafiler, pekare för utdatafiler, körbar kod och mål-DCI för arbetsflödesnoder).
  • Mall: ett arbetsflöde som innehåller information om alla möjliga modifierbara parametrar i arbetsflödet om de kan ändras av användarna eller inte. Dessa spelar en viktig roll i den automatiska genereringen av körbara arbetsflöden i slutanvändarläget för en WS-PGRADE/gUSE-gateway.
  • Applikationen är ett färdigt att använda arbetsflöde som också innehåller alla inbäddade arbetsflöden. Det betyder att all information som behövs för att köra denna arbetsflödesapplikation lagras i motsvarande zip-fil.
  • Project är ett arbetsflöde som inte är klart ännu och som kan vidareutvecklas av personen som laddade upp det till Application Repository eller av en annan person (så samarbetsutveckling av arbetsflöden mellan flera arbetsflödesutvecklare stöds på detta sätt).

Överst i strukturen med tre nivåer tillhandahåller presentationsnivån WS-PGRADE, det grafiska användargränssnittet för det generiska SG-ramverket. Alla funktioner hos de underliggande tjänsterna exponeras för användarna av portlets som finns i en Liferay-portletbehållare, som är en del av WS-PGRADE. Detta lager kan enkelt anpassas och utökas enligt behoven hos SG-instanserna som ska härledas från gUSE. Nästa avsnitt introducerar de väsentliga elementen på användarnivå i WS-PGRADE.

Science Gateways baserade på gUSE

GUSE tillhandahåller ramverk för fler europeiska SG:er:

  • agINFRA Gateway
  • Autodock portal
  • AMC e-BioInfra Gateway
  • HELIOGate Portal
  • MoSGrid-portalen
  • Verce SG
  • VisIVO Gateway

Projekt med gUSE

gUSE ger en av de underliggande infrastrukturerna för utveckling av arbetsflöden till ett stort antal forskningsaktiviteter i ett stort antal EU FP7-projekt. Pågående EU- och nationella projekt med gUSE:

  • VIALACTEA
  • agroDAT
  • cloudSME
  • SCI-BUS

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=GUSE&oldid=1085035918 "