Embed Size (px)
Citation preview
Google BigQuery. Особенности сбора, обработки и использования данных
Владислав Флакс
1. Внедряем онлайн-аналитикуВ проектах наших клиентов более 2 млн. транзакций в неделю
2. Разрабатываем сервисы в Google Cloud PlatformИм доверяют более 3000 компаний
3. НЕ продаем рекламу
Не является:1. Заменой существующей базе данных2. Заменой Google Analytics3. Сервисом для построения графиков
Не нужен:4. Все данные помещаются в Excel 5. С данными работает один человек и этот человек вы6. У вас аллергия на облачные сервисы
Google BigQueryОблачный сервис для сбора и обработки данных в реальном времени
Схема обмена данными
Google BigQuery CRM / ERPGoogle Analytics
Веб-сайт и мобильные приложения Google Sheets
1. Пакетная:
a. Google Cloud Storage
b. Google Analytics Premium
c. ETL
2. В реальном времени
Передача данных в Google BigQuery
Обработка данных1. Веб-интерфейс
2. REST API
3. SDK (Java, .NET, PHP, Phyton, Ruby)
4. JDBC
5. ODBC
Визуализация данных1. Google Sheets
2. MS Excel
3. Third-party tools
a. Tableau
b. QlikView
Экспорт данных1. Google Cloud Storage в CSV/JSON
2. Command-Line
3. Сторонние приложения
https://bigquery.cloud.google.com/table/owox-demo
Демо
БезопасностьAES 128, ISO 270001, PCI DSS, SOC 2,3
ДоступыRoles, projects, dataset
Google Accounts2-step verificationcorporate accounts
Безопасность и управление доступами
1. Не надо покупать лицензии или специализированное ПОНикаких долгосрочных вхожений — оплата пока пользуетесь
2. Не надо покупать сервера и другое оборудованиеВсе работает в Google Cloud, всегда в наличии дополнительные
3. Не надо нанимать новых специалистовSQL-like синтаксис и большое количество готовых библиотек
Особенности Google BigQuery
Особенности Google BigQuery4. Быстрое начало работы
Используются данные из установленного Google Universal Analytics
5. Легкая интеграция со сторонними приложениямиБольшое количество готовых библиотек
6. Надежность и безопасность99.9% uptime, ISO 27001, SOC 2 & SOC 3 Type II
