Из Википедии, бесплатной энциклопедии
Перейти к навигации Перейти к поиску
Бывший дата-центр Google в Эмсхафене , Нидерланды.

Центры обработки данных Google - это крупные центры обработки данных, которые Google использует для предоставления своих услуг , которые объединяют большие диски, компьютерные узлы, организованные в проходах стоек, внутренние и внешние сети, средства контроля окружающей среды (в основном, охлаждение и осушение) и операционное программное обеспечение (особенно в том, что касается балансировка нагрузки и отказоустойчивость ).

Официальных данных о том, сколько серверов находится в центрах обработки данных Google, нет, но Gartner оценил в отчете за июль 2016 года, что в то время у Google было 2,5 миллиона серверов. Это число меняется по мере того, как компания расширяет емкость и обновляет свое оборудование. [1]

Местоположение [ править ]

Дата- центр Google в Даллесе, Орегон

Расположение различных центров обработки данных Google по континентам: [2]

Северная Америка:

  1. Округ Беркли, Южная Каролина ( 33 ° 03′50,8 ″ с.ш., 80 ° 02′36,1 ″ з.д. / 33.064111 ° с.ш. 80.043361 ° з.д. / 33.064111; -80,043361 ) - с 2007 года, расширился в 2013 году, 150 сотрудников
  2. Каунсил-Блафс, Айова ( 41 ° 13′17,7 ″ с.ш., 95 ° 51′49,92 ″ з.д. ) - объявлено в 2007 г., первая фаза завершена в 2009 г., расширена в 2013 и 2014 гг., 130 сотрудников  / 41,221583 ° с.ш. 95,8638667 ° з. / 41.221583; -95,8638667
  3. Округ Дуглас, Джорджия ( 33 ° 44′59,04 ″ с.ш., 84 ° 35′5,33 ″ з.д. ) - с 2003 года 350 сотрудников  / 33,7497333 ° с.ш. 84,5848139 ° з.д. / 33.7497333; -84,5848139
  4. Бриджпорт, графство Джексон, Алабама ( 34 ° 54′48,4 ″ с.ш., 85 ° 44′53,1 ″ з.д. ) [3] [4]  / 34,913444 ° с.ш. 85,748083 ° з.д. / 34.913444; -85,748083
  5. Ленуар, Северная Каролина ( 35 ° 53′54,78 ″ с.ш., 81 ° 32′50,58 ″ з.д. ) - объявлено в 2007 г., завершено в 2009 г., более 110 сотрудников  / 35,8985500 ° с.ш. 81,5473833 ° з.д. / 35.8985500; -81,5473833
  6. Округ Монтгомери, Теннесси ( 36 ° 37′37,7 ″ с.ш., 87 ° 15′27,7 ″ з.д. ) - объявлено в 2015 г.  / 36.627139 ° с.ш. 87.257694 ° з.д. / 36.627139; -87,257694
  7. Мейс Каунти, штат Оклахома в MidAmerica промышленного парка ( 36 ° 14'28.1 "N 95 ° 19'48.22" W ) - объявил 2007, 2012 расширен, более 400 сотрудников [5]  / 36,241139 ° с.ш.95,3300611 ° з. / 36.241139; -95.3300611
  8. Даллес, Орегон ( 45 ° 37′57,04 ″ с.ш., 121 ° 12′8,16 ″ з.д. ) - с 2006 г., 80 штатных сотрудников  / 45.6325111 ° с.ш.121.2022667 ° з.д. / 45.6325111; -121.2022667
  9. Рино, Невада - объявлено в 2018 году: в 2017 году куплено 1210 акров земли в промышленном центре Тахо Рино ; [6] проект утвержден штатом Невада в ноябре 2018 г. [7] [8]
  10. Хендерсон, Невада - объявлено в 2019 году; 64 сотки; Стоимость строительства 1,2 миллиарда долларов [9] [10] [11]
    Дата-центр Google в округе Мэйс, штат Оклахома, в промышленном парке MidAmerica
  11. Округ Лаудон, Вирджиния - объявлено в 2019 году [12] [13]
  12. Нортленд, Канзас-Сити - объявлено в 2019 году, в стадии строительства [14]
  13. Мидлотиан, Техас - объявлено в 2019 году, 375 акров; Затраты на строительство 600 миллионов долларов [15] [16]
  14. Нью-Олбани, Огайо - объявлено в 2019 году; 400 соток; Затраты на строительство 600 миллионов долларов [17] [18]
  15. Papillion, Небраска - объявлено в 2019 году; 275 соток; Затраты на строительство 600 миллионов долларов [19] [20]

Южная Америка:

  1. Киликура, Чили ( 33 ° 21′30,5 ″ ю.ш., 70 ° 41′50,4 ″ з.д. ) - объявлен в 2012 году, онлайн с 2015 года, ожидается до 20 сотрудников. В 2018 году был объявлен миллионный инвестиционный план по увеличению производственных мощностей Quilicura [21].  / 33,358472 ° ю.ш. 70,697333 ° з.д. / -33.358472; -70.697333
  2. Серрильос, Чили - объявлено на 2020 год [22]
  3. Колония Николич , Уругвай - объявлено в 2019 г. [23] [24] [25]

Европа:

  1. Сен-Гислен , Бельгия ( 50 ° 28′09,6 ″ N 3 ° 51′55,7 ″ E ) - объявлено в 2007 г., завершено в 2010 г., 12 сотрудников  / 50.469333°N 3.865472°E / 50.469333; 3.865472
  2. Хамина , Финляндия ( 60 ° 32′11,68 ″ с.ш., 27 ° 7′1,21 ″ в.д. ) - объявлено в 2009 г., первая фаза завершена в 2011 г., расширена в 2012 г., 90 сотрудников  / 60.5365778°N 27.1170028°E / 60.5365778; 27.1170028
  3. Дублин, Ирландия ( 53 ° 19′12,39 ″ с.ш., 6 ° 26′31,43 ″ з.д. ) - объявлено в 2011 г., завершено в 2012 г., 150 сотрудников [26]  / 53.3201083°N 6.4420639°W / 53.3201083; -6.4420639
  4. Эмсхафен , Нидерланды ( 53.425659 ° N 6.8593522 ° E ) - объявлено в 2014 г., завершено в 2016 г., 200 сотрудников, в 2018 г. объявлено о расширении на 500 млн евро [27]53°25′32″N 6°51′34″E /  / 53.425659; 6.8593522
  5. Hollands Kroon ( Agriport ), Нидерланды - объявлено в 2019 г. [28]
  6. Фредерисия , Дания ( 55 ° 33′29,5 ″ с.ш., 9 ° 39′20,8 ″ в.д. ) - объявлено в 2018 г., стоимость строительства составляет 600 млн евро, завершено в 2020 г. ноября [29] [30]  / 55.558194°N 9.655778°E / 55.558194; 9.655778
  7. Цюрих , Швейцария - объявлено в 2018 г., завершено в 2019 г. [31]
  8. Варшава , Польша - объявлено в 2019 г., завершение планируется в 2021 г. [32]


Азия:

  1. Джуронг-Вест , Сингапур ( 1 ° 21′04,8 ″ с.ш., 103 ° 42′35,2 ″ в.д. ) - объявлено в 2011 г., завершено в 2013 г.  / 1.351333°N 103.709778°E / 1.351333; 103.709778
  2. Округ Чанхуа , Тайвань ( 24 ° 08′18,6 ″ с.ш., 120 ° 25′32,6 ″ в.д. ) - объявлено в 2011 г., завершено в 2013 г., 60 сотрудников  / 24.138500°N 120.425722°E / 24.138500; 120.425722
  3. Мумбаи, Индия - объявлено в 2017 г., завершено в 2019 г. [33]
  4. Город Тайнань , Тайвань - объявлено в сентябре 2019 г. [34] [35] [36]
  5. Уезд Юньлинь , Тайвань - объявлено в сентябре 2020 г. [37]

Оборудование [ править ]

Оригинальное оборудование [ править ]

Первая производственная серверная стойка Google, около 1998 г.

Оригинальное оборудование (примерно 1998 г.), которое использовалось Google, когда оно располагалось в Стэнфордском университете, включало: [38]

  • Sun Microsystems Ultra II с двумя 200  МГц процессорами и 256  Мб из оперативной памяти . Это была основная машина для оригинальной системы Backrub .
  • Два сервера с двумя процессорами Pentium II по 300 МГц, подаренные Intel , включали 512 МБ ОЗУ и 10 жестких дисков по 9  ГБ между ними. Именно по ним проводился основной поиск.
  • F50 IBM RS / 6000, подаренный IBM , включал 4 процессора, 512 МБ памяти и 8 жестких дисков по 9 ГБ.
  • Две дополнительные коробки включали 3 жестких диска по 9 ГБ и 6 жестких дисков по 4 ГБ соответственно (исходное хранилище для Backrub). Они были прикреплены к Sun Ultra II.
  • Коробка расширения для SDD-дисков с другими жесткими дисками 8x9 ГБ, подаренными IBM.
  • Самодельный дисковый ящик, в котором находилось 10 жестких дисков SCSI по 9 ГБ .

Производственное оборудование [ править ]

По состоянию на 2014 год Google использовал сильно модифицированную версию Debian (GNU / Linux). В 2013 году они постепенно перешли с системы на основе Red Hat [39].

Целью настройки является покупка поколений ЦП, которые предлагают лучшую производительность за доллар, а не абсолютную производительность. Как это измеряется, неясно, но, вероятно, это включает в себя эксплуатационные расходы всего сервера, а потребление мощности ЦП может быть значительным фактором. [40] По состоянию на 2009–2010 гг. Серверы состояли из заказных систем с открытым верхом, содержащих два процессора (каждый с несколькими ядрами [41] ), значительный объем ОЗУ, распределенный по 8 слотам DIMM, в которых размещались модули DIMM двойной высоты, и как минимум два жестких диска SATA, подключенных через нестандартный блок питания размера ATX. [42] Серверы были открытыми, поэтому в стойку можно было уместить больше серверов. Согласно CNET и книге Джона Хеннесси, каждый сервер имел новую 12-вольтовую батарею для снижения затрат и повышения энергоэффективности. [41] [43]

По данным Google, их глобальная электрическая мощность центра обработки данных составляет от 500 до 681 мегаватт . [44] [45] Суммарная вычислительная мощность этих серверов могла достигать от 20 до 100 петафлопс в 2008 году. [46]

Топология сети [ править ]

Подробная информация о частных сетях Google во всем мире не является общедоступной, но в публикациях Google [47] [48] есть ссылки на отчет «Топ-10 Атласа», который ставит Google на третье место по величине ISP после уровня 3 . [49]

Чтобы управлять такой большой сетью с прямыми подключениями к как можно большему количеству интернет-провайдеров при минимально возможных затратах, у Google есть очень открытая политика пиринга . [50]

На этом сайте мы видим, что доступ к сети Google можно получить из 67 общедоступных точек обмена в 69 различных местах по всему миру. По состоянию на май 2012 года у Google было 882 Гбит / с публичных подключений (не считая частных пиринговых соглашений, которые у Google есть с крупнейшими интернет-провайдерами). Эта общедоступная сеть используется для распространения контента среди пользователей Google, а также для сканирования Интернета для создания его поисковых индексов. Частная сторона сети является секретом, но недавнее раскрытие Google [51] указывает на то, что они используют специально построенные коммутаторы-маршрутизаторы с высоким основанием (с емкостью порта 128 × 10 Gigabit Ethernet ) для глобальной сети.. Запустив не менее двух маршрутизаторов на центр обработки данных (для резервирования), мы можем сделать вывод, что сеть Google масштабируется в диапазоне терабит в секунду (с двумя полностью загруженными маршрутизаторами пропускная способность для двух секций составляет 1280 Гбит / с).

Эти настраиваемые коммутаторы-маршрутизаторы подключаются к устройствам DWDM для соединения центров обработки данных и точек присутствия (PoP) через темное волокно .

С точки зрения центра обработки данных сеть начинается на уровне стойки, где 19-дюймовые стойки изготавливаются по индивидуальному заказу и содержат от 40 до 80 серверов (от 20 до 40 серверов размером 1 U с каждой стороны, в то время как новые серверы представляют собой стоечные системы 2U. [52] В каждой стойке есть коммутатор Ethernet ). Серверы подключаются через канал Ethernet 1 Гбит / с к коммутатору в верхней части стойки (TOR). Затем коммутаторы TOR подключаются к гигабитному кластерному коммутатору с использованием нескольких гигабитных или десяти гигабитных восходящих каналов. [53] Сами коммутаторы кластера связаны между собой и образуют межкомпонентную структуру центра обработки данных (скорее всего, с использованием дизайна стрекозы, а не классической схемы бабочки или плоской бабочки [54]).

С точки зрения эксплуатации, когда клиентский компьютер пытается подключиться к Google, несколько DNS - серверов решимости www.google.com на несколько IP - адреса с помощью Round Robin политики. Кроме того, это действует как первый уровень балансировки нагрузки и направляет клиента в разные кластеры Google. Кластер Google состоит из тысяч серверов , и после подключения клиента к серверу выполняется дополнительная балансировка нагрузки для отправки запросов на наименее загруженный веб-сервер. Это делает Google одной из крупнейших и самых сложных сетей доставки контента . [55]

У Google множество центров обработки данных, разбросанных по всему миру. По крайней мере, 12 крупных центров обработки данных Google расположены в США. Самые крупные известные центры расположены в Даллесе, штат Орегон ; Атланта, Джорджия ; Рестон, Вирджиния ; Ленуар, Северная Каролина ; и Монкс Корнер, Южная Каролина . [56] В Европе самые крупные известные центры находятся в Эмсхафене и Гронингене в Нидерландах и Монсе , Бельгия . [56] Центр данных Google в Океании находится в Сиднее., Австралия . [57]

Топология сети центра обработки данных [ править ]

Для обеспечения отказоустойчивости , увеличения масштабов центров обработки данных и размещения коммутаторов с низким основанием Google в прошлом применяла различные модифицированные топологии Clos . [58]

Проект 02 [ править ]

Один из крупнейших центров обработки данных Google расположен в городе Даллес, штат Орегон , на реке Колумбия , примерно в 80 милях (129 км) от Портленда . Под кодовым названием «Проект 02» миллионный [59] комплекс [ требуется дальнейшее объяснение ] был построен в 2006 году и имеет размер примерно два поля для американского футбола с четырехэтажными градирнями . [60] Этот сайт был выбран , чтобы воспользоваться дешевой гидроэлектроэнергии и отвода в большой региона излишка из оптического волокна кабеля, остаток избум доткомов . Чертеж сайта появился в 2008 году. [61]

Сумма бумажная фабрика [ править ]

В феврале 2009 года Stora Enso объявила о продаже бумажной фабрики Summa в Хамине , Финляндия, компании Google за 40 миллионов евро. [62] [63] Google инвестировал 200 миллионов евро в сайт, чтобы построить центр обработки данных и объявил о дополнительных инвестициях в размере 150 миллионов евро в 2012 году. [64] [65] Google выбрал это место из-за доступности и близости возобновляемых источников энергии. [66]

Модульные контейнерные дата-центры [ править ]

В 2005 году [67] Google исследовал контейнерный модульный центр обработки данных . Google подала заявку на патент на эту технологию в 2003 году [68].

Плавающие центры обработки данных [ править ]

См. Также: Баржи Google

В 2013 году пресса сообщила о существовании плавучих центров обработки данных Google вдоль побережья штатов Калифорния ( здание 3 острова Сокровищ ) и Мэн. Проект развития держался в строжайшей секретности. Центры обработки данных имеют длину 250 футов, ширину 72 фута и глубину 16 футов. Патент на технологию охлаждения центра обработки данных в океане был куплен Google в 2009 году [69] [70] (вместе с патентом на судовой центр обработки данных с волновым приводом в 2008 году [71] [72] ). Вскоре после этого Google объявил, что две огромные и тайно построенные инфраструктуры были просто «центрами интерактивного обучения, [...] пространством, где люди могут узнать о новых технологиях». [73]

Google прекратил работы на баржах в конце 2013 года и начал распродажу барж в 2014 году. [74] [75]

Программное обеспечение [ править ]

Большая часть программного обеспечения, которое Google использует на своих серверах, была разработана собственными силами. [76] По словам известного сотрудника Google, C ++ , Java , Python и (совсем недавно) Go предпочтительнее других языков программирования. [77] Например, серверная часть Gmail написана на Java, а внутренняя часть поиска Google написана на C ++. [78] Google признал, что Python с самого начала играл важную роль и продолжает играть ее по мере роста и развития системы. [79]

Программное обеспечение, на котором работает инфраструктура Google, включает: [80]

  • Google Web Server (GWS)  - настраиваемый веб-сервер на базе Linux, который Google использует для своих онлайн-сервисов.
  • Системы хранения:
    • Файловая система Google и ее преемник Colossus [81] [82]
    • Bigtable  - структурированное хранилище на базе GFS / Colossus [81]
    • Spanner  - база данных планетарного масштаба, поддерживающая внешне согласованные распределенные транзакции [81] [83]
    • Google F1  - распределенная СУБД квази- SQL на основе Spanner, заменяющая пользовательскую версию MySQL. [84]
  • Chubby lock сервис
  • Язык программирования MapReduce и Sawzall
  • Системы индексирования / поиска:
    • Большой индекс Google, поиск (запущен в начале 2006 года), разработанный - TeraGoogle Анна Паттерсон из Cuil славы. [85]
    • Кофеин (Перколятор) - система непрерывной индексации (запущена в 2010 году). [86]
    • Hummingbird - крупное обновление поискового индекса, включая комплексный поиск и голосовой поиск. [87]
  • Программное обеспечение для декларативного планирования процессов Borg

Google разработал несколько абстракций, которые он использует для хранения большей части своих данных: [88]

  • Буферы протоколов  - «французский язык Google для данных» [89] , формат двоичной сериализации, широко используемый в компании.
  • SSTable (таблица сортированных строк) - постоянная, упорядоченная, неизменяемая карта от ключей к значениям, где и ключи, и значения являются произвольными байтовыми строками. Он также используется как один из строительных блоков Bigtable. [90]
  • RecordIO - последовательность записей переменного размера. [88] [91] [92]

Практика разработки программного обеспечения [ править ]

Большинство операций доступны только для чтения. Когда требуется обновление, запросы перенаправляются на другие серверы, чтобы упростить проблемы согласованности. Запросы делятся на подзапросы, где эти подзапросы могут быть отправлены в разные каналы параллельно , что сокращает время задержки. [52]

Чтобы уменьшить последствия неизбежного отказа оборудования , программное обеспечение разработано отказоустойчивым . Таким образом, когда система выходит из строя, данные по-прежнему доступны на других серверах, что увеличивает надежность.

Инфраструктура поиска [ править ]

Индекс [ править ]

Как и большинство поисковых систем, Google индексирует документы, создавая структуру данных, известную как инвертированный индекс . Такой индекс получает список документов по слову запроса. Индекс очень большой из-за количества документов, хранящихся на серверах. [55]

Индекс разделен по идентификаторам документов на множество частей, называемых осколками . Каждый шард реплицируется на несколько серверов. Первоначально индекс обслуживался с жестких дисков , как это делается в традиционных системах поиска информации (IR). Google справился с увеличением объема запросов, увеличив количество реплик каждого шарда и, таким образом, увеличив количество серверов. Вскоре они обнаружили, что у них достаточно серверов для хранения копии всего индекса в основной памяти (хотя и с низкой репликацией или без репликации вообще), и в начале 2001 года Google перешел на индексирование в памяти.система. Этот переключатель «радикально изменил многие параметры дизайна» их поисковой системы и позволил значительно увеличить пропускную способность и значительно уменьшить время ожидания запросов. [93]

В июне 2010 года Google представила систему индексирования и обслуживания следующего поколения под названием «Кофеин», которая может непрерывно сканировать и обновлять поисковый индекс. Ранее Google обновлял свой поисковый индекс партиями, используя серию заданий MapReduce . Индекс был разделен на несколько уровней, некоторые из которых обновлялись быстрее, чем другие, а основной уровень обновлялся не раньше, чем через две недели. С кофеином весь индекс постоянно обновляется постепенно. Позже Google представил систему распределенной обработки данных под названием «Percolator» [94], которая, как говорят, является основой системы индексации кофеина. [86] [95]

Типы серверов [ править ]

Инфраструктура серверов Google делится на несколько типов, каждый из которых предназначен для разных целей: [52] [55] [96] [97] [98]

  • Веб-серверы координируют выполнение запросов, отправленных пользователями, а затем форматируют результат в HTML- страницу. Выполнение состоит из отправки запросов на серверы индексации, объединения результатов, вычисления их ранга, получения сводки для каждого попадания (с использованием сервера документов), запроса предложений от серверов проверки правописания и, наконец, получения списка рекламных объявлений с сервера объявлений. .
  • Серверы сбора данных постоянно предназначены для работы в паутине. Поисковый робот Google известен как GoogleBot. Они обновляют базы данных указателей и документов и применяют алгоритмы Google для присвоения рейтинга страницам.
  • Каждый сервер индекса содержит набор сегментов индекса. Они возвращают список идентификаторов документов ("docid"), так что документы, соответствующие определенному docid, содержат слово запроса. Этим серверам требуется меньше дискового пространства, но они несут наибольшую нагрузку на ЦП.
  • На серверах документов хранятся документы. Каждый документ хранится на десятках серверов документов. При выполнении поиска сервер документов возвращает сводку для документа на основе слов запроса. Они также могут получить полный документ по запросу. Этим серверам требуется больше дискового пространства.
  • Рекламные серверы управляют рекламой, предлагаемой такими службами, как AdWords и AdSense .
  • Серверы проверки правописания предлагают варианты написания запросов.

Безопасность [ править ]

В октябре 2013 года газета Washington Post сообщила, что Агентство национальной безопасности США перехватило связь между центрами обработки данных Google в рамках программы MUSCULAR . [99] [100] Это прослушивание стало возможным, потому что в то время Google не шифровал данные, передаваемые в его собственной сети. [101] Это было исправлено, когда в 2013 году Google начал шифрование данных, пересылаемых между центрами обработки данных. [102]

Воздействие на окружающую среду [ править ]

Самый эффективный центр обработки данных Google работает при температуре 35 ° C (95 ° F), используя только охлаждение свежим воздухом и не требует кондиционирования воздуха с электроприводом. [103]

В декабре 2016 года Google объявил, что с 2017 года будет закупать достаточно возобновляемой энергии, чтобы покрыть 100% энергопотребления ее центров обработки данных и офисов. Это обязательство сделает Google «крупнейшим в мире корпоративным покупателем возобновляемой энергии с обязательствами на уровне 2,6 гигаватт (2600 мегаватт) энергии ветра и солнца». [104] [105] [106]

Ссылки [ править ]

  1. ^ "Сколько серверов у Google?" . Знание центров обработки данных . Проверено 20 сентября 2018 года .
  2. ^ "Центры обработки данных Google, местоположения" . Google . Проверено 21 июля 2014 года .
  3. ^ "Джексон Каунти, Алабама" . Google .
  4. ^ Нас, контакты; Справочник, персонал; Уведомление, локальный проект. "Google начинает строительство центра обработки данных в штате Алабама" . Сделано в Алабаме . Проверено 19 августа 2019 .
  5. ↑ Дон-Хискокс, Танвен (20 февраля 2018 г.). «Google потратит миллионы на расширение центра обработки данных Pryor» . Дата Центр Динамика . Архивировано 23 апреля 2019 года . Проверено 23 апреля 2019 года .
  6. ^ Tanwen Рассвет-Хискокс (18 апреля 2017). «Google планирует создать крупный центр обработки данных в Неваде» . Datacenterdynamics.com . Проверено 8 декабря 2018 .
  7. ↑ Джейсон Идальго (16 ноября 2018 г.). «Невада одобряет налоговые льготы для центра обработки данных Google M недалеко от Лас-Вегаса, штат Массачусетс» . Rgj.com . Проверено 8 декабря 2018 .
  8. ↑ Джейсон Идальго (16 сентября 2020 г.). «Google инвестирует 600 миллионов долларов в центр обработки данных возле Рино, получает налоговые льготы» . Reno Gazette Journal . Проверено 26 октября 2020 года . «Благодаря нашему новому центру обработки данных в округе Стори и нашим расширенным инвестициям в наш сайт в Хендерсоне у Google будет два объекта в Неваде, в результате чего наши общие инвестиции превысят 1,88 миллиарда долларов».
  9. ^ Торрес-Кортес, Рикардо (2020-09-16). «Google инвестирует дополнительно 600 миллионов долларов в дата-центр Хендерсона - газета Las Vegas Sun Newspaper» . lasvegassun.com . Проверено 12 февраля 2021 . «С этим последним объявлением Google доведет свои общие инвестиции в городе Хендерсон до 1,2 миллиарда долларов», - заявила мэр Дебра Марч в выпуске.
  10. ^ «Хендерсон, Невада - Центры обработки данных - Google» . Google . Проверено 26 октября 2020 года .
  11. ^ Baxtel. "Центр обработки данных Google Хендерсон Н.В." . baxtel.com . Проверено 12 февраля 2021 .
  12. ^ Отчет, Times-Mirror Staff. «Google ограничивает инвестиции в 600 миллионов долларов в округ Лаудоун» . LoudounTimes.com . Проверено 12 февраля 2021 .
  13. ^ «Округ Лаудон, Вирджиния - Центры обработки данных - Google» . Дата-центры Google . Проверено 12 февраля 2021 .
  14. ^ www.bizjournals.com https://www.bizjournals.com/kansascity/news/2019/08/28/google-data-center-deed-executed-for-kcmo-land.html . Проверено 12 февраля 2021 . Отсутствует или пусто |title=( справка )
  15. ^ «Огромный центр обработки данных Google стоимостью 600 миллионов долларов обретает форму в округе Эллис, поскольку технический гигант увеличивает присутствие в Техасе» . Далласские новости . 2019-06-14 . Проверено 12 февраля 2021 .
  16. ^ «Мидлотиан, Техас - Центры обработки данных - Google» . Дата-центры Google . Проверено 12 февраля 2021 .
  17. ^ Уильямс, Марк. «Google присоединяется к группе высоких технологий в Нью-Олбани с центром обработки данных стоимостью 600 миллионов долларов» . Диспетчер Колумбус . Проверено 12 февраля 2021 .
  18. ^ "Нью-Олбани, Огайо - Центры обработки данных - Google" . Дата-центры Google . Проверено 12 февраля 2021 .
  19. ^ "Google подтверждает, что стоит за проектом центра обработки данных Papillion стоимостью 600 миллионов долларов" . www.datacenterdynamics.com . Проверено 12 февраля 2021 .
  20. ^ «Папиллион, Небраска - Центры обработки данных - Google» . Дата-центры Google . Проверено 12 февраля 2021 .
  21. ^ "Google ha decido de Invertir Millones de dólares en su centro de datos en Chile" . Newtechmag.net (на испанском языке). 28 сентября 2018 . Проверено 8 декабря 2018 .
  22. ^ "Google инсталлирует новый дата-центр в Чили" . diarioeldia.cl (на испанском языке).
  23. ^ Observador, Эл. "Google instalará un centro de datos en Canelones" . Эль Обсервадор . Проверено 20 августа 2020 .
  24. ^ ICNDiario. "El gigante Google confirmma que instalará su centro de datos en Uruguay | ICNDiario" (на испанском языке) . Проверено 20 августа 2020 .
  25. ^ "Google confirmó la instalación de su centro de datos en el Parque de las Ciencias" . Портал Монтевидео (на испанском языке) . Проверено 20 августа 2020 .
  26. ^ «Дублин, Ирландия - Центры обработки данных - Google» . www.google.com . Проверено 2 апреля 2019 .
  27. ^ «Google инвестирует 1 миллиард евро в центры обработки данных в Нидерландах» . NFIA . 2019-06-24 . Проверено 12 февраля 2021 .
  28. ^ «Google потратит 1,1 миллиарда долларов на новые центры обработки данных в Нидерландах» .
  29. ^ Свердлик Евгений (20 ноября 2018). «Google построит центр обработки данных M в Дании» . Знание центров обработки данных . Архивировано 16 апреля 2019 года . Проверено 23 апреля 2019 года .
  30. ^ Baxtel. "Центр данных Google Фредерисия Дания" . baxtel.com . Проверено 12 февраля 2021 .
  31. ^ << Cite web | url = https://www.datacenterknowledge.com/google-alphabet/google-building-cloud-data-centers-close-swiss-banks%7Ctitle=Google Создание облачных центров обработки данных рядом с швейцарскими банками | |
  32. ^ «Google для создания облачных центров обработки данных в Польше» .
  33. ^ Stiver, Дэйв (1 ноября 2017). «GCP прибывает в Индию с запуском региона Мумбаи» . Блог Google Cloud . Проверено 30 июля 2019 .
  34. ^ "Google покупает землю для нового центра обработки данных в Тайнане" . Тайбэй Таймс . 2019-09-12 . Проверено 20 декабря 2019 .
  35. ^ "Google для создания центра обработки данных в Тайнане" . Фокус Тайвань . 2019-09-11 . Проверено 20 декабря 2019 .
  36. ^ "Google создает второй центр обработки данных на Тайване" . Новости Тайваня . 2019-09-11 . Проверено 20 декабря 2019 .
  37. ^ «Google подтверждает планы построить третий центр обработки данных на Тайване» . Новости Тайваня . 2020-09-03 . Проверено 3 сентября 2020 .
  38. ^ " " Стэнфордское оборудование Google " " . Архивировано 9 февраля 1999 года . Проверено 23 марта 2017 .CS1 maint: bot: original URL status unknown (link). Стэнфордский университет (предоставлено Интернет-архивом ). Проверено 10 июля, 2006 г.
  39. ^ Мерлин, Марк (2013). «Практический пример: обновление многих тысяч серверов с древнего дистрибутива Red Hat до 10-летней более новой на основе Debian» (PDF) . Linux Foundation . Проверено 9 июня 2017 .
  40. ^ Тауфик Джеласси; Альбрехт Эндерс (2004). «Пример 16 - Google». Стратегии электронного бизнеса . Pearson Education. п. 424. ISBN 978-0-273-68840-2.
  41. ^ а б Компьютерная архитектура, пятое издание: количественный подход, ISBN 978-0123838728 ; Глава шестая; 6.7 «Компьютер Google Warehouse-Scale» стр. 471 «Разработка материнских плат, которым требуется только одно 12-вольтное питание, чтобы ИБП мог работать от стандартных батарей, связанных с каждым сервером» 
  42. ^ Секретные источники питания Google на YouTube
  43. ^ Google on-server 12V UPS , 1 апреля 2009 г.
  44. ^ Инфографика Google Green
  45. ^ "Аналитика Пресс Рост потребления электроэнергии в центрах обработки данных с 2005 по 2010 год" . Архивировано из оригинала на 2012-01-11 . Проверено 22 мая 2012 .
  46. ^ Google превосходит сообщество суперкомпьютеров незамеченным? , 20 мая 2008 г.
  47. ^ "Волоконно-оптические коммуникационные технологии: что необходимо для работы сетей центра обработки данных", исследование , Google
  48. ^ Лам, Седрик Ф. (2010), Взгляд в будущее FTTH - технологии и архитектуры (PDF) , Google, стр. 4
  49. ^ Джеймс Пирн. Сколько серверов у Google? . plus.google.com.
  50. ^ "kumara ASN15169", Пиринговая база данных
  51. ^ "Урс Хольцле", Спикеры , Open Network Summit, заархивировано из оригинала 10 мая 2012 г. , извлечено 22 мая 2012 г.
  52. ^ a b c Поиск планеты в Интернете: кластерная архитектура Google (Луис Андре Баррозу, Джеффри Дин, Урс Хёльзле)
  53. ^ Компьютеры складского размера
  54. ^ Денис Абт Высокопроизводительные сети центров обработки данных: архитектуры, алгоритмы и возможности
  55. ^ a b c Фиак Рид (2004). «Пример: поисковая система Google». Сетевое программирование в .NET . Цифровая пресса. С.  251–253 . ISBN 978-1-55558-315-6.
  56. ^ a b Рич Миллер (27 марта 2008 г.). «Часто задаваемые вопросы о центре обработки данных Google» . Знание центров обработки данных . Архивировано из оригинального 13 марта 2009 года . Проверено 15 марта 2009 года .
  57. ^ Brett Winterford (5 марта 2010). «Найдено: секретная сеть данных Google Australia» . ITNews . Проверено 20 марта 2010 .
  58. ^ Сингх, Арджун; Онг, Джун; Агарвал, Амит; Андерсон, Глен; Армистед, Эшби; Бэннон, Рой; Бовинг, Себ; Десаи, Гаурав; Фельдерман, Боб; Джермано, Поли; Канагала, Ананд (2015). «Восход Юпитера: Десятилетие закрытых топологий и централизованного управления в сети центров обработки данных Google» . Sigcomm '15 .
  59. ^ Google " The Dalles, Oregon Data Center " Проверено 3 января 2011 г.
  60. ^ Марков, Джон; Ханселл, Саул. « Скрываясь в Plain Sight, Google ищет больше власти. » Нью - Йорк Таймс . 14 июня, 2006. Проверено 15 октября, 2008.
  61. ^ Strand, Джинджер. " Центр данных Google " , журнал Harper's . Март 2008 г. Проверено 15 октября 2008 г. Архивировано 30 августа 2012 г. в Wayback Machine.
  62. ^ «Stora Enso продает завод Summa Mill в Финляндии за миллион» . Stora Enso . 2009-02-12. Архивировано из оригинала на 2009-04-13 . Проверено 2 декабря 2009 .
  63. ^ [ мертвая ссылка ] "Stooora yllätys: Google ostaa Summan tehtaan" . Кауппалехти (по-фински). Хельсинки. 2009-02-12. Архивировано из оригинала на 2009-02-14 . Проверено 12 февраля 2009 .
  64. ^ "Google investoi 200 miljoonaa euroa Haminaan" . Taloussanomat (на финском). Хельсинки. 2009-02-04 . Проверено 15 марта 2009 .
  65. ^ «Хамина, Финляндия» . Google . Проверено 23 апреля 2018 .
  66. ^ Финляндия - Первый выбор для размещения вашего центра обработки данных облачных вычислений. Архивировано 6 июля 2013 г. на Wayback Machine, доступ осуществлен 4 августа 2010 г.
  67. ^ Metz, Кейд (10 апреля 2009). «Google транслирует модули ЦОД в мир + собаку» . Реестр .
  68. ^ "Патент США: 7278273" . Patft.uspto.gov . Проверено 17 февраля 2012 .
  69. ↑ Рори Кэрролл (30 октября 2013 г.). «Худший секрет Google: плавающие центры обработки данных у берегов США» . Theguardian.com . Проверено 8 декабря 2018 .
  70. ↑ Рич Миллер (29 апреля 2009 г.). «Google получает патент на баржи для центров обработки данных» . Datacenterknowledge.com . Проверено 8 декабря 2018 .
  71. ^ Martin Lamonica (8 сентября 2008). "Google подает патент на плавающий центр обработки данных с волновым приводом" . Cnet.com . Проверено 8 декабря 2018 .
  72. ^ «Поверхности патентной заявки центра обработки данных Google» . Datacenterdynamics.com . 7 сентября 2008 . Проверено 8 декабря 2018 .
  73. ^ «Тайна баржи Google раскрыта: они предназначены для« интерактивных учебных центров » » . Theguardian.com . 6 ноября 2013 . Проверено 8 декабря 2018 .
  74. ^ Брэндон Бейли (2014-08-01). «Google подтверждает продажу загадочной баржи» . Новости Сан-Хосе Меркьюри . Проверено 7 апреля 2015 .
  75. ^ Крис Morran (2014-11-07). "Что случилось с этими баржами Google?" . Потребитель . Проверено 15 января 2017 .
  76. ^ Марк Левен (2005). Введение в поисковые системы и веб-навигацию . Pearson Education. п. 73. ISBN 978-0-321-30677-7.
  77. ^ «Обновление статуса Python» . Артима. 2006-01-10 . Проверено 17 февраля 2012 .
  78. ^ «Предупреждение» . Panela . Блог-город. Архивировано из оригинального 28 декабря 2011 года . Проверено 17 февраля 2012 .
  79. ^ «Цитаты о Python» . Python . Проверено 17 февраля 2012 .
  80. ^ "Архитектура Google" . Высокая масштабируемость. 2008-11-22 . Проверено 17 февраля 2012 .
  81. ^ a b c Фикс, Эндрю (29 июля 2010 г.), «Архитектура хранения и проблемы», TechTalk (PDF) , Google [ постоянная мертвая ссылка ]
  82. ^ "Колосс: Преемник файловой системы Google (GFS)" . SysTutorials. 2012-11-29 . Проверено 10 мая 2016 .
  83. ^ Дин, Джеффри «Джефф» (2009), «Дизайн, уроки и советы по созданию больших распределенных систем», Лэдис (презентация основного доклада) , Корнелл
  84. ^ Шут, Джеффри «Джефф»; Оанча, Мирча; Элльнер, Стефан; Хэнди, Бенджамин «Бен»; Роллинз, Эрик; Самвел, Барт; Вингралек, Радек; Уипки, Чад; Чен, Синь; Егерленер, Бит; Литтлфилд, Кайл; Тонг, Феникс (2012), «F1 - отказоустойчивая распределенная СУБД, поддерживающая рекламный бизнес Google», исследование (презентация) , Sigmod : Google
  85. ^ "Анна Паттерсон - Профиль CrunchBase" . Crunchbase.com . Проверено 17 февраля 2012 .
  86. ^ а б Регистр. Google Caffeine всколыхнул поисковую машину во всем мире
  87. ^ "Официальный релиз Google" . Google.com . Проверено 28 сентября 2013 .
  88. ^ a b "Google Разработка системы хранения кофеина | TechWeekEurope UK" . Eweekeurope.co.uk. 2009-08-18. Архивировано из оригинала на 2011-11-15 . Проверено 17 февраля 2012 .
  89. ^ «Руководство разработчика - Буферы протокола - Код Google» . Code.google.com . Проверено 17 февраля 2012 .
  90. ^ [1]
  91. ^ windley 24 июня 2008 г., 13:10 (24.06.2008). "Технометрия Фила Уиндли | Скорость 08: Хранение в масштабе" . Windley.com . Проверено 17 февраля 2012 .
  92. ^ "Ограничение количества сообщений - Буферы протокола | Группы Google" . Groups.google.com . Проверено 17 февраля 2012 .
  93. ^ «Доклад Джеффа Дина на WSDM 2009» (PDF) . Проверено 17 февраля 2012 .
  94. ^ Даниэль Пэн, Фрэнк Дабек. (2010). Масштабная инкрементная обработка с использованием распределенных транзакций и уведомлений . Материалы 9-го симпозиума USENIX по разработке и внедрению операционных систем.
  95. ^ Реестр. Google Percolator - глобальный поисковый толчок без отказа MapReduce
  96. ^ Чендлер Эванс (2008). «Платформа Google». Будущее Google Earth . Издательство Мэдисон. п. 299. ISBN 978-1-4196-8903-1.
  97. ^ Крис Шерман (2005). «Как работает Google». Google Power . McGraw-Hill Professional. С.  10–11 . ISBN 978-0-07-225787-8.
  98. ^ Майкл Миллер (2007). «Как работает Google». Гуглпедия . Pearson Technology Group. С.  17–18 . ISBN 978-0-7897-3639-0.
  99. ^ Геллман, Бартон; Солтани, Ашкан (30 октября 2013 г.). «АНБ проникает в информационные центры Yahoo и Google по всему миру, - говорится в документах Сноудена» . Вашингтон Пост . Проверено 1 ноября 2013 года .
  100. ^ Сэвидж, Чарли; Миллер, Клэр Кейн; Перлрот, Николь (30 октября 2013 г.). «АНБ обещало привлечь Google и Yahoo за рубежом» . Нью-Йорк Таймс . Проверено 9 марта 2017 года .
  101. Рианна Галлахер, Шон (31 октября 2013 г.). «Как агентство MUSCULAR АНБ прослушивало частные сети Google и Yahoo» . Ars Technica . Condé Nast . Проверено 9 марта 2017 года .
  102. ↑ Миллер, Клэр Кейн (31 октября 2013 г.). «Сердитый по поводу наблюдения США, технические гиганты укрепляют оборону» . Нью-Йорк Таймс . Проверено 9 марта 2017 года .
  103. ↑ Хамфрис, Мэтью (27 марта 2012 г.). «Самый эффективный центр обработки данных Google работает под углом 95 градусов» . geek.com . Архивировано из оригинального 13 июня 2016 года . Проверено 13 июня 2016 года .
  104. ^ Hölzle, Урс (6 декабря 2016). «Мы настроены достичь 100% возобновляемых источников энергии - и это только начало» . Блог Google по ключевым словам . Проверено 8 декабря 2016 года .
  105. ^ Статт, Ник (6 декабря 2016). «Google только что одержал большую победу в борьбе с изменением климата» . Грань . Vox Media . Проверено 8 декабря 2016 года .
  106. Рианна Этерингтон, Даррелл (7 декабря 2016 г.). «Google заявляет, что к 2017 году он выйдет на 100% возобновляемую энергию» . TechCrunch . AOL . Проверено 8 декабря 2016 года .

Дальнейшее чтение [ править ]

  • Л.А. Баррозу; Дж. Дин; У. Хёльцле (март – апрель 2002 г.). «Веб-поиск планеты: кластерная архитектура Google» (PDF) . IEEE Micro . 23 (2): 22–28. DOI : 10.1109 / MM.2003.1196112 .
  • Шенкленд, Стивен, новости CNET " Google раскрывает некогда секретный сервер ". 1 апреля 2009 г.

Внешние ссылки [ править ]

  • Публикации Google Research
  • Веб-поиск планеты: кластерная архитектура Google (Луис Андре Баррозу, Джеффри Дин, Урс Хёльзле)
  • Под обложками в Google: текущие системы и будущие направления (выступление Джеффа Дина на конференции Google I / O в мае 2008 г.)