BigQuery

BigQuery — RESTful веб-сервис для интерактивного широкомасштабного анализа больших наборов данных, расположенных в Google Storage. Есть инфраструктура как услуга (IaaS), которую можно использовать вместе с MapReduce.

История

После ограниченного периода тестирования в 2010 году BigQuery стал доступен широкой публике в ноябре 2011 года на конференции Google Atmosphere.[1] В 2014 году MapR представила проект Apache Drill для решения подобных задач.[2] В апреле 2016 года случился 12-часовой сбой в работе службы для европейских пользователей[3]. В мае 2016 года была объявлена поддержка Google Sheets.[4]

В августе 2024 года Google объявил об отключении сервиса в России с 9 сентября 2024 года[5].

Архитектура

BigQuery предоставляет внешний доступ к технологии Dremel[англ.][6][7] — масштабируемой, интерактивной специальной системе запросов ad hoc для анализа данных, доступных только для чтения. Для использования данных в BigQuery сначала их необходимо загрузить в Google Storage, а затем импортировать с помощью BigQuery API HTTP. BigQuery требует аутентификации для всех запросов с использованием ряда механизмов аутентификации, подобных OAuth.

Особенности

  • Управление данными — создание и удаление таблиц на основе JSON-схемы, импорт данных в формате CSV или JSON с Google Storage.
  • Запросы — для запросов используется стандартный диалект SQL[8], а результат возвращается в формате JSON с максимальным размером ответа примерно 128 MB или неограниченного размера в зависимости от настроек.[9]
  • Интеграция — BigQuery можно использовать в Google Apps Script[10] (например, как скрипт для Google Docs) или на любом языке, который работает с REST API или клиентскими библиотеками[11].
  • Контроль доступа — это возможность предоставлять доступ к данным произвольным лицам, группам или любому.

Примечания

  1. ↑ Iain Thomson. Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters (14 ноября 2011). Дата обращения: 26 августа 2016. Архивировано 15 сентября 2016 года.
  2. ↑ Neil McAllister. Is your data boring? MapR wants you to bore it back with Apache Drill: New release adds support for Google-y SQL-on-Hadoop tech (16 сентября 2014). Дата обращения: 26 августа 2016. Архивировано 15 сентября 2016 года.
  3. ↑ Simon Sharwood. Google Euro -cloud glitch (7 апреля 2016). Дата обращения: 26 августа 2016. Архивировано 15 сентября 2016 года.
  4. ↑ Jordan Novet. Google BigQuery now lets you analyze data from Google Sheets (6 мая 2016). Дата обращения: 26 августа 2016. Архивировано 8 сентября 2016 года.
  5. ↑ Google отключит в России облачный сервис для big data. РБК (13 августа 2024). Дата обращения: 13 августа 2024. Архивировано 13 августа 2024 года.
  6. ↑ Theo Vassilakis; Geoffrey Romer; Matt Tolton; Andrey Gubarev; Shiva Shivakumar; Jing Jing Long. Dremel: Interactive Analysis of Web-Scale Datasets. Proc. of the 36th International Conference on Very Large Data Bases (VLDB). Дата обращения: 24 ноября 2018. Архивировано 28 октября 2010 года.
  7. ↑ Kazunori Sato. An Inside Look at Google BigQuery. Google (2012). Дата обращения: 26 августа 2016. Архивировано 3 сентября 2016 года.
  8. ↑ SQL Reference. Дата обращения: 26 июня 2017. Архивировано 7 апреля 2017 года.
  9. ↑ Quota Policy. Дата обращения: 26 июня 2017. Архивировано 15 июля 2017 года.
  10. ↑ BigQuery Service. Apps Script. Google Developers (15 марта 2018). Дата обращения: 23 апреля 2018. Архивировано 3 апреля 2019 года.
  11. ↑ BigQuery Client Libraries. Дата обращения: 26 июня 2017. Архивировано 11 февраля 2017 года.

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.