 | Эта статья требует дополнительных ссылок для проверки . ( октябрь 2017 г. ) ( Узнайте, как и когда удалить это сообщение-шаблон ) |
 | |
| Разработчики) | Microsoft |
|---|---|
| Первый выпуск | 16 ноября 2016 г . |
| Доступно в | английский |
| Тип | Сервис хранения и аналитики данных |
| Веб-сайт | azure |
Azure Data Lake [1] - это масштабируемая служба хранения и аналитики данных. Служба размещается в Azure , общедоступном облаке Microsoft .
История [ править ]
Служба Azure Data Lake была выпущена 16 ноября 2016 года. Она основана на COSMOS, [2] который используется для хранения и обработки данных для таких приложений, как Azure, AdCenter , Bing , MSN , Skype и Windows Live . COSMOS имеет механизм запросов, подобный SQL, который называется SCOPE, на котором был построен U-SQL. [2]
Хранилище озера данных Azure [ править ]
Пользователи могут хранить структурированные, полуструктурированные или неструктурированные данные, полученные из приложений, включая социальные сети, реляционные данные, датчики, видео, веб-приложения, мобильные или настольные устройства. Одна учетная запись Azure Data Lake Store может хранить триллионы файлов, при этом размер одного файла может превышать петабайт .
Azure Data Lake Analytics [ править ]
Azure Data Lake Analytics - это параллельная служба заданий по запросу. Система параллельной обработки основана на решении Microsoft Dryad . [3] Дриада может представлять произвольные Направленные Ациклические Графы (DAG) вычислений. Data Lake Analytics предоставляет распределенную инфраструктуру, которая может динамически распределять или освобождать ресурсы, поэтому клиенты платят только за те услуги, которые они используют.
Azure Data Lake Analytics использует Apache YARN, центральную часть Apache Hadoop, для управления управлением ресурсами и выполнения операций в кластерах Hadoop. Microsoft Azure Data Lake Store поддерживает любое приложение, использующее открытый стандарт распределенной файловой системы Apache Hadoop (HDFS). [3]
U-SQL [ править ]
Используя Data Lake Analytics, пользователи могут разрабатывать и запускать программы параллельного преобразования и обработки данных на U-SQL, языке запросов, сочетающем SQL с C #. U-SQL был разработан как эволюция декларативного языка SQL с собственной расширяемостью за счет пользовательского кода, написанного на C #. U-SQL использует типы данных C # и язык выражений C #.
См. Также [ править ]
Ссылки [ править ]
- ^ «Озеро данных» . Microsoft Azure . Проверено 17 июня 2019 .
- ^ а б Харрис, Деррик (2015-02-05). «Почему открытие системы больших данных Cosmos было бы правильным шагом для Microsoft» . gigaom.com . Проверено 27 июля 2017 .
- ^ а б Харрис, Эд. «Космос» (PDF) .
Внешние ссылки [ править ]
- Озеро данных в Microsoft Azure
