Aproveche los datos de AWS, Azure y GCP directamente con BigQuery Omni

Con el servicio BigQuery Omni, presentado la semana pasada, Google Cloud tiene la intención de eliminar uno de los mayores problemas en el análisis de datos: tener que mover y unificar datos entre entornos para explotarlos. La primera versión alfa de BigQuery Omni permite a los clientes privados de Google Cloud fusionar datos de AWS en el almacén de datos de BigQuery para ejecutar consultas SQL, crear paneles o pasar API, sin tener que mover físicamente los datos. Capacidades similares para Microsoft Azure vendrán pronto.

“Multicloud crea un problema: los datos se convierten en silos y la realización de análisis sobre esos datos requiere el movimiento de datos. Para resolver este problema, BigQuery Omni permite a los clientes analizar los datos donde sea que estén: Google Cloud, AWS como alpha privado y muy pronto en Microsoft Azure ", dijo Debanjan Saha, CEO de análisis de datos en Google, en una conferencia de prensa la semana pasada. El movimiento de datos a menudo se cita como uno de los principales problemas para los analistas de datos, y a menudo conlleva costos computacionales significativos, que requieren justificación del departamento de finanzas. Aquí, el administrador promete un servicio que brinda a los usuarios "una experiencia de datos consistente utilizando el mismo SQL y la misma interfaz de usuario que se usa en BigQuery para consultas, paneles y para ejecutar análisis de consistencia y familiaridad". ".

Cómo funciona BigQuery Omni

Al desacoplar el almacenamiento y la computación, BigQuery Omni afirma ser capaz de proporcionar "una computación sin estado resistente que ejecuta consultas SQL estándar", escribe Saha. "Si bien los competidores le pedirán que mueva o copie sus datos de una nube pública a otra, donde podría tener que incurrir en costos de salida, este no es el caso con BigQuery Omni", agrega. él. El servicio se basa en la plataforma. Anthos de Google Cloud, que proporciona una manera única y consistente de administrar las cargas de trabajo de Kubernetes en entornos de nube pública y privada.

Esta arquitectura en contenedores permite que los datos permanezcan en su bucket AWS S3, donde se consulta utilizando el motor Dremel de Google Cloud, que se ejecuta de forma nativa en un clúster Anthos en la misma región donde residen los datos. Luego, los resultados se envían a BigQuery, o al almacén de datos de su elección, donde se combinan con otros datos relevantes, sin cargos de transferencia de datos asociados. El Sr. Saha da el ejemplo de un minorista que desea consultar de forma transparente tanto sus datos de Google Analytics 360 Ads, que se almacenan en Google Cloud, como los datos de registro de una plataforma de comercio electrónico, que se mantiene en AWS S3, para obtener más información. imagen completa de los hábitos de compra de un cliente.

Esta estructura también permite a Google Cloud posicionar a BigQuery Omni como una solución sin servidor, lo que permite a los usuarios extraer datos sin tener que administrar la infraestructura subyacente. "No tendrá servidor en AWS y en Azure cuando esté disponible", dijo Saha a los periodistas la semana pasada. “La idea es hacer que el cómputo sea un grupo de recursos compartidos y, dado que tenemos múltiples clientes que ejecutan consultas, podemos compartir y aumentar esos recursos. Ejecute la consulta en AWS y enviaremos los resultados a Google y los adjuntaremos con los resultados. "

Comenzando con BigQuery Omni

Como el Sr. Saha describe en su blog, una vez registrado para el alfa privado , los clientes pueden acceder directamente a la experiencia de usuario de BigQuery en Google Cloud Console. Simplemente seleccione la región donde se encuentran los datos y ejecute la consulta, sin necesidad de formatear o transformar los datos, ya sea Avro, CSV, JSON, ORC o Parquet.

Los resultados se muestran en BigQuery o se pueden exportar a las plataformas de almacenamiento de datos que elija, sin tener que moverlos manualmente a las nubes. Sin embargo, deberá habilitar BigQuery para acceder a estos datos a través de roles de IAM en otras nubes públicas. Después del lanzamiento, el costo de Omni estará en línea con el Precios de BigQuery , por lo tanto, dependiendo del uso o como una tarifa plana. No hay cargos de almacenamiento adicionales fuera de lo que ya paga AWS por el almacenamiento S3, o incluso Azure en el futuro.