Queremos acelerar el talento en data y analytics en LATAM. Si te gusta el artículo recuerda que todos los meses tenemos inicios de nuestros programas especializados de Data Engineering, Data Analyst, Cloud y Machine Learning Engineer. Puedes conocer más aquí.
Las consultas federadas en BigQuery permiten realizar consultas en tiempo real sobre datos que se encuentran en ubicaciones externas a BigQuery, como bases de datos SQL tradicionales, sistemas de almacenamiento de archivos o servicios de datos en la nube.
Almacenes de datos compatibles:
1. Cloud Spanner
La federación de BigQuery Spanner permite que BigQuery consulte datos que se encuentran en Spanner Cloud SQL en tiempo real sin copiarlos ni moverlos; asimismo, admite instancias de MySQL Y PostgreSQL en Cloud SQL.
2. Cloud SQL
La federación de Cloud SQL en BigQuery permite que BigQuery consulte datos que se encuentran en Cloud SQL en tiempo real sin copiarlos ni moverlos. La Federación de consultas admite instancias de MySQL (segunda generación) y PostgreSQL en Cloud SQL.
Flujo de trabajo
Identificar el proyecto de Google Cloud que incluye la fuente de datos que deseas consultar.
- Un usuario bigquery.admin crea un recurso de conexión en BigQuery.
- El usuario administrador otorga permiso para usar el recurso de conexión al usuario B.
- El usuario B escribe una consulta en BigQuery con la función de SQL
EXTERNAL_QUERYnueva.
Regiones admitidas
- Regiones Individuales
Una región individual de BigQuery solo puede consultar un recurso en la misma región.
2. Multiregiones
Una multirregión de BigQuery puede consultar cualquier región de fuente de datos en la misma área geográfica grande.
Cuotas y límites
- Consultas federales entre regiones: Si la ubicación de procesamiento de consultas de BigQuery y la ubicación de la fuente de datos externa son diferentes, corresponde a una región. Puedes ejecutar hasta 1TB en consultas entre regiones por proyecto al día.
- Cuota: Los usuarios deben controlar la cuota de consultas en la fuente de datos externa, como Cloud SQL.
- Cantidad máxima de bytes facturados permitidos: por el momento, no es posible calcular los bytes facturados antes de la ejecución efectiva de las consultas federales.
- Número de conexiones: una consulta federada puede tener máximo 10 conexiones únicas. Se aplica cuotas y limitaciones de Cloud SQL MySQL y PostgreSQL.
- Se aplican cuotas y limitaciones de Cloud SQL MySQL y PostgreSQL.
Limitaciones
Las consultas federales de Spanner están sujetas a las siguientes limitaciones:
- Es probable que las consultas federadas no sean tan rápidas como las consultas solo al almacenamiento de BigQuery.
- El rendimiento de la consulta también varía según la proximidad entre el conjunto de datos y la fuente de datos externa.
- La consulta externa que se ejecuta en la base de datos de origen debe ser de solo lectura. Por lo tanto, las declaraciones DML o DDL no son compatibles.
- Si tu consulta externa contiene un tipo de datos que BigQuery no admite, la consulta fallará de inmediato.
- Debes crear el recurso de conexión en el mismo proyecto que la instancia de Cloud SQL.
Precios
- Si usas el modelo de precios según demanda, se te cobrará por la cantidad de bytes que muestre la consulta externa cuando se ejecuten consultas federadas de BigQuery.
- Si usas ediciones de BigQuery, se te cobrará según la cantidad de ranuras que uses.
Giomar Antaurco Trejo
Coordinador Académico Datapath
Conoce nuestros programas
✔Descubre cómo acelerar tu talento en Data, Analytics y Cloud:
Tenemos inicios todo los meses, conoce más aquí.
En nuestro viaje por el mundo de los datos, las redes sociales son el epicentro de nuestras actividades. ¡Síganos en nuestras redes sociales para acceder a contenido exclusivo, noticias relevantes y ser los primeros en conocer nuestros próximos programas y eventos! ¡Descubran el universo de datos que tenemos preparado para ustedes! ¡No se pierdan ni un dato!
instagram.com/datapathformation/
