Azure Data Lake
 | |
| Utvecklare | Microsoft |
|---|---|
| Initial release | 16 november 2016 |
| Tillgänglig i | engelsk |
| Typ | Datalagring och analystjänst |
| Hemsida | |
Azure Data Lake är en skalbar datalagrings- och analystjänst. Tjänsten är värd i Azure , Microsofts publika moln .
Historia
Azure Data Lake-tjänsten släpptes den 16 november 2016. Den är baserad på COSMOS, som används för att lagra och bearbeta data för applikationer som Azure, AdCenter , Bing , MSN , Skype och Windows Live . COSMOS har en SQL- liknande frågemotor som heter SCOPE som U-SQL byggdes på.
Azure Data Lake Store
Användare kan lagra strukturerad, semistrukturerad eller ostrukturerad data producerad från applikationer inklusive sociala nätverk, relationsdata, sensorer, videor, webbappar, mobila eller stationära enheter. Ett enda Azure Data Lake Store-konto kan lagra biljoner filer där en enda fil kan vara större än en petabyte i storlek.
Azure Data Lake Analytics
Azure Data Lake Analytics är en parallell jobbtjänst på begäran. Det parallella bearbetningssystemet är baserat på Microsoft Dryad . Dryad kan representera godtyckliga Directed Acyclic Graphs (DAG) för beräkning. Data Lake Analytics tillhandahåller en distribuerad infrastruktur som dynamiskt kan allokera eller deallokera resurser så att kunderna endast betalar för de tjänster de använder.
Azure Data Lake Analytics använder Apache YARN, den del av Apache Hadoop som styr resurshantering över kluster. Microsoft Azure Data Lake Store stöder alla program som använder gränssnittet Hadoop Distributed File System (HDFS).
U-SQL
Med hjälp av Data Lake Analytics kan användare utveckla och köra parallella datatransformations- och bearbetningsprogram i U-SQL, ett frågespråk som kombinerar SQL med C#. U-SQL designades som en utveckling av det deklarativa SQL-språket med inbyggd utökningsbarhet genom användarkoden skriven i C#. U-SQL använder C#-datatyper och C#-uttrycksspråket.