Из Википедии, свободной энциклопедии
Перейти к навигации Перейти к поиску

Apache HBase
Apache HBase Logo.svg
Автор (ы) оригиналаPowerset
Разработчики)Фонд программного обеспечения Apache
Начальная версия28 марта 2008 г . ; 12 лет назад ( 2008-03-28 )
Стабильный выпуск
2.3.4 / 22 января 2021 г . ; 59 дней назад [1] ( 2021-01-22 )
Предварительный выпуск
2.4.2 / 17 марта 2021 г . ; 5 дней назад [1] ( 2021-03-17 )
РепозиторийРепозиторий HBase
Написано вЯва
Операционная системаКроссплатформенность
ТипРаспределенная база данных
ЛицензияЛицензия Apache 2.0
Веб-сайтhbase .apache .org

HBase - это нереляционная распределенная база данных с открытым исходным кодом , созданная по образцу Google Bigtable и написанная на Java . Она разработана в рамках Apache Software Foundation , «s Apache Hadoop проекта и работает на вершине HDFS (Hadoop Distributed File System) или Alluxio , обеспечивая Bigtable как возможности для Hadoop. То есть он обеспечивает отказоустойчивый способ хранения большого количества разреженных файлов. данные (небольшие объемы информации, попавшие в большой набор пустых или неважных данных, например, поиск 50 самых больших элементов в группе из 2 миллиардов записей или поиск ненулевых элементов, представляющих менее 0,1% огромной коллекции).

HBase поддерживает сжатие, операции в памяти и фильтры Блума для каждого столбца, как описано в исходной статье Bigtable. [2] Таблицы в HBase могут служить входом и выходом для заданий MapReduce, выполняемых в Hadoop, и могут быть доступны через API Java, а также через API шлюза REST , Avro или Thrift . HBase - это хранилище с широкими столбцами , получившее широкое распространение благодаря происхождению от Hadoop и HDFS. HBase работает поверх HDFS и хорошо подходит для более быстрых операций чтения и записи больших наборов данных с высокой пропускной способностью и низкой задержкой ввода / вывода.

HBase не является прямой заменой классической базы данных SQL , однако проект Apache Phoenix предоставляет уровень SQL для HBase, а также драйвер JDBC, который можно интегрировать с различными приложениями аналитики и бизнес-аналитики . Проект Apache Trafodion предоставляет механизм запросов SQL с драйверами ODBC и JDBC и распределенную защиту транзакций ACID для нескольких операторов, таблиц и строк, которые используют HBase в качестве механизма хранения.

HBase сейчас обслуживает несколько веб-сайтов, управляемых данными [3], но платформа обмена сообщениями Facebook недавно перешла с HBase на MyRocks . [4] [5] В отличие от реляционных и традиционных баз данных, HBase не поддерживает сценарии SQL; вместо этого эквивалент написан на Java, используя сходство с приложением MapReduce.

Говоря языком CAP-теоремы Эрика Брюера , HBase - это система типа CP.

История [ править ]

Apache HBase зародился как проект компании Powerset из-за необходимости обрабатывать огромные объемы данных для поиска на естественном языке . С 2010 года это проект Apache верхнего уровня.

Facebook решил внедрить свою новую платформу обмена сообщениями с использованием HBase в ноябре 2010 года, но в 2018 году отказался от HBase [4].

Серия 2.2.z - это текущая стабильная линия выпуска, она заменяет предыдущие версии.

Сценарии использования и производственные развертывания [ править ]

Предприятия, использующие HBase [ править ]

Ниже приводится список известных предприятий, которые использовали или используют HBase:

  • 23andMe
  • Adobe
  • Airbnb использует HBase как часть своей структуры потоковых вычислений AirStream в реальном времени [6]
  • Alibaba Group
  • Amadeus IT Group в качестве основной БД долгосрочного хранения.
  • Bloomberg , для хранения данных временных рядов
  • Facebook использовал HBase для своей платформы обмена сообщениями в период с 2010 по 2018 год.
  • Flipkart использует HBase для своего поискового индекса [7] и информации о пользователях. [8]
  • Шквал
  • HubSpot
  • Imgur использует HBase для работы своей системы уведомлений [9] [10]
  • Какао [11]
  • Meesho
  • Netflix [12]
  • Pinterest [13]
  • Quicken Loans
  • Richrelevance
  • Ракетное горючие
  • Salesforce.com [14]
  • Sears
  • Sophos для некоторых своих серверных систем.
  • Spotify использует HBase в качестве основы для работы с Hadoop и машинным обучением. [15]
  • Tuenti использует HBase для своей платформы обмена сообщениями. [16] [17]
  • Xiaomi
  • Yahoo!

См. Также [ править ]

  • NoSQL
  • Магазин с широкой колонной
  • Большой стол
  • Apache Cassandra
  • Oracle NOSQL
  • Гипертаблица
  • Apache Accumulo
  • MongoDB
  • Проект Волан-де-Морт
  • Риак
  • Sqoop
  • Elasticsearch
  • Апач Феникс

Ссылки [ править ]

  1. ^ a b «Apache HBase - Загрузки Apache HBase» . Проверено 21 марта 2021 года .
  2. ^ Чанг и др. (2006). Bigtable: распределенная система хранения структурированных данных
  3. ^ «Apache HBase - Работает на Apache HBase ™» . hbase.apache.org . Проверено 8 апреля 2018 года .
  4. ^ a b «Перенос хранилища Messenger для оптимизации производительности» . www.facebook.com . Проверено 5 июля 2018 .
  5. ^ Facebook: Почему наши сообщения «следующего поколения» отказались от MySQL Дата обращения : 17 декабря 2010 г.
  6. ^ HBaseCon (2 августа 2016 г.). «Apache HBase на Airbnb» . slideshare.net . Проверено 8 апреля 2018 года .
  7. ^ «Индексирование поиска в режиме, близком к реальному времени» .
  8. ^ "Всегда ли локализация данных в Hadoop нестандартна?" .
  9. ^ «Почему Imgur отказался от MySQL в пользу HBase - DZone Database» . dzone.com . Проверено 8 апреля 2018 года .
  10. ^ «Технический вторник: уведомления Imgur: от MySQL до HBase - блог Imgur» . blog.imgur.com . Проверено 8 апреля 2018 года .
  11. ^ Doyung Yoon. «S2Graph: база данных крупномасштабных графов с HBase» .
  12. ^ Cheolsoo Park и Ashwin Шанкар. «Netflix: интеграция Spark в петабайтном масштабе» .
  13. ↑ Engineering, Pinterest (30 марта 2018 г.). «Повышение эффективности резервного копирования HBase в Pinterest» . Средний . Проверено 14 апреля 2020 .
  14. ^ «Hbase на Salesforce.com» .
  15. ↑ Джош Баер. «Как Apache управляет музыкальными рекомендациями Spotify» .
  16. ^ «Групповой чат Tuenti: простой, но сложный» .
  17. ^ "Tuenti Asyncthrift" .

Библиография [ править ]

  • Димидук, Ник; Хурана, Амандип (28 ноября 2012 г.). HBase в действии (1-е изд.). Публикации Мэннинга . п. 350. ISBN 978-1617290527.
  • Джордж, Ларс (20 сентября 2011 г.). HBase: Полное руководство (1-е изд.). O'Reilly Media . п. 556. ISBN. 978-1449396107.
  • Цзян, Ифэн (16 августа 2012 г.). Поваренная книга администрирования HBase (1-е изд.). Packt Publishing . п. 332. ISBN. 978-1849517140.

Внешние ссылки [ править ]

  • Официальная домашняя страница Apache HBase
  • Обзор архитектуры HBase