Sektor/Sfär

Sektor/Sfär
Utvecklare Branschalliansen
Stabil frisättning
2.8 / 8 oktober 2012 ( 2012-10-08 )
Skrivet i C++
Operativ system Linux / Windows
Typ Distribuerat filsystem
Licens Apache-licens 2.0
Hemsida sektor .sourceforge .net

Sector/Sphere är en öppen källkodssvit för högpresterande distribuerad datalagring och bearbetning . Det kan i stora drag jämföras med Googles GFS- och MapReduce- teknik . Sector är ett distribuerat filsystem som riktar in sig på datalagring över ett stort antal handelsdatorer. Sphere är ramverket för programmeringsarkitektur som stöder parallell databearbetning i lagring för data lagrad i Sector. Sector/Sphere arbetar i en WAN-inställning ( Wide Area Network) .

Systemet skapades av Yunhong Gu (författaren till UDP-based Data Transfer Protocol ) 2006 och underhölls sedan av en grupp andra utvecklare.

Arkitektur

Sektor/Sfär består av fyra komponenter. Säkerhetsservern upprätthåller systemets säkerhetspolicyer såsom användarkonton och IP-åtkomstkontrolllistan. En eller flera masterservrar styr operationer av det övergripande systemet förutom att svara på olika användarförfrågningar. Slavnoderna lagrar datafilerna och bearbetar dem på begäran. Klienterna är användarnas datorer från vilka systemåtkomst och databehandlingsförfrågningar utfärdas. Dessutom är Sector/Sphere skriven i C++ och påstås med sin arkitektur uppnå två till fyra gånger bättre prestanda än konkurrenten Hadoop som är skriven i Java , ett uttalande som stöds av ett Aster Data Systems benchmark och vinnande av "bandbredden" utmaning" från Supercomputing Conference 2006, 2008 och 2009.

Sektorns/sfärens arkitektur med dess fyra komponenter.

Sektor

Sector är ett filsystem för användarutrymme som förlitar sig på det lokala/native filsystemet för varje nod för att lagra uppladdade filer. Sector tillhandahåller feltolerans på filsystemnivå genom replikering, så den kräver inte hårdvarufeltolerans som RAID , vilket vanligtvis är mycket dyrt.

Sektor delar inte upp användarfiler i block; istället lagras en användarfil intakt i det lokala filsystemet för en eller flera slavnoder. Detta innebär att Sector har en filstorleksbegränsning som är applikationsspecifik. Fördelarna är dock att Sector-filsystemet är mycket enkelt, och det leder till bättre prestanda i Sphere parallell databehandling på grund av minskad dataöverföring mellan noder. Det gör också att uppladdade data är tillgängliga utanför sektorsystemet.

Sector erbjuder många unika funktioner jämfört med traditionella filsystem. Sektorn är topologimedveten. Användare kan definiera regler för hur filer lokaliseras och replikeras i systemet, enligt nätverkstopologi. Till exempel kan data från en viss användare finnas på ett specifikt kluster och kommer inte att replikeras till andra rack. Till exempel kan vissa filer ha fler repliker än andra. Sådana regler kan tillämpas på per filnivå.

Topologimedvetenheten och användningen av UDT som dataöverföringsprotokoll tillåter Sector att stödja högpresterande data-IO över geografiskt distribuerade platser, medan de flesta filsystem endast kan distribueras inom ett lokalt nätverk. Av denna anledning distribueras Sector ofta som ett innehållsdistributionsnätverk för mycket stora datamängder.

Sector integrerar datalagring och bearbetning i ett system. Varje lagringsnod kan också användas för att bearbeta data, så den kan stödja massiv parallell databehandling i lagring (se Sphere). Sektorn är applikationsmedveten, vilket innebär att den kan tillhandahålla dataplatsinformation till applikationer och även tillåta applikationer att specificera dataplats närhelst det behövs.

Som ett enkelt exempel på fördelarna med Sphere kan Sector returnera resultaten från sådana kommandon som "grep" och "md5sum" utan att läsa data ur filsystemet. Dessutom kan den beräkna resultaten av flera filer parallellt.

Sector-klienten tillhandahåller ett API för applikationsutveckling som tillåter användarapplikationer att interagera direkt med Sector. Programvaran kommer också förpackad med en uppsättning kommandoradsverktyg för åtkomst till filsystemet. Slutligen stöder Sector FUSE- gränssnittet; presenterar ett monterbart filsystem som är tillgängligt via vanliga kommandoradsverktyg.

Sfär

Sphere är en parallell databehandlingsmotor integrerad i Sector och den kan användas för att behandla data som lagras i Sector parallellt. Det kan i stort sett jämföras med MapReduce , men det använder generiska användardefinierade funktioner (UDF) istället för kart- och reduceringsfunktioner. En UDF kan vara antingen en kartfunktion eller en reduceringsfunktion, eller till och med andra. Sphere kan manipulera lokaliseringen av både indata och utdata, så det kan effektivt stödja flera indatauppsättningar, kombinativa och iterativa operationer och till och med körbara äldre applikationer.

Eftersom Sector inte delar upp användarfiler kan Sphere helt enkelt slå ihop många befintliga applikationer som accepterar filer eller kataloger som indata, utan att skriva om dem. På så sätt kan det ge större kompatibilitet med äldre applikationer. [ citat behövs ]

Se även

Litteratur

  1. ^ Sektor vs. Hadoop - En kort jämförelse mellan de två systemen
  2. ^ Sektor/sfär – snabbare än Hadoop/Mapreduce på Terasort 26 september 2010 Ajay Ohri
  3. ^ NCDM vinner Bandwidth Challenge vid SC06, HPCWire, 24 november 2006
  4. ^ UIC-grupper vinner Bandwidth Challenge Award, HPCWire, 20 november 2008
  5. ^ Open Cloud Testbed vinner Bandwidth Challenge på SC09, 8 december 2009

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Sector/Sphere&oldid=1084363480 "