Google Cloud Platform Podcast

Google Cloud Platform Podcast

Visualización de datos
-Importancia
-Mejor forma de hacerlo
Objetivo de la visualización es facilitar la accesibilidad de la información.
-Lineas de tiempo sofisticadas.
-Se debe entender que los datos se convierten en información y la información se convierte en conocimiento
y el conocimiento se convierte en sabiduría. La información nos rodea todos los días.
-Su misión es construir operaciones de diseños, herramientas y aplicaciones y visualizaciones de datos para ayudar a otros equipos a ser mas efectivos, darle un producto de calidad.
-El equipo ha construido una biblioteca de componentes de uso interno de GCP: Genera
-Los beneficios de construir una biblioteca son múltiples :
+Aumentar la velocidad de trabajo
+Método Plug and Play
+Diferenciarse visualmente con GCP
+Facilidad de elección de gráficos

Python con Dustin Ingram
-Python es un lenguaje interpretado, de tipo dinámico, que fomenta el código muy legible.
-Python funciona muy bien en Google Cloud, especialmente con App Engine, Compute Engine y Cloud Functions.

-Dustin es un defensor de desarrolladores en Google, enfocado en apoyar a la comunidad Python en Google Cloud.
-Cloud Functions es perfecto para esto porque se puede conectar con los eventos que están sucediendo.
-Existe cierta cantidad de uso sobre Flex, porque se encarga de instalar exactamente las bibliotecas de nivel.
-Flask es una forma estratégica de crecer en Python de manera rápida, solo con App Engine.
-Pypy es un autohospedado de python, es python interpretando otro código en python.

Confluent y Kafka con Viktor Gamov
-Viktor nos comenta sobre Kaka y como este le permite transmitir
y procesar datos en tiempo real. Kafka ayuda a Confluent con sus capacidades avanzadas de transmisión.
-Asimismo Confluent Cloud ayuda a conectar plataformas Confluent y en la nube como Google Cloud para que los clientes no tengan que administrar nada. Tecnicamente Confluent se encarga de esa gestión.
-New York Times esta utilizando Google Cloud para encontrar historias no contadas en millones de fotos archivadas. Se entiende que manejan una grantidad de imagenes y una gran cantidad de data historica
utilizando Pub / Sub que aprende con Machine Learning catalogar y descubrir datos interesantes. Ahora si deseas enviar un evento a un punto final HTTP o Pub / Sub y deseas hacerlo de forma regular, ahora puedes hacerlo a través de Cloud Scheduler, en otras palabras evitarte desarrollar aplicaciones que consumen tiempo y recurso.

Kafka se desarrolló en el pasado en LinkedIn, cuando intentaron resolver uno de los problemas para aumentar la velocidad de ingestión de datos en Hadoop. Es aquí donde la idea del procesamiento de flujo y esencialmente, como un flujo infinito de datos que ingresa al sistema. Con la llegada de Kafka se resolvio casos de uso en tiempo real donde tenemos que manejar datos de grandes cantidades y a una velocidad alta.

Kafka está diseñada para manejar una gran cantidad de mensajes. Pero el tamaño de los mensajes debe ser relativamente pequeño. Se entiende como una gran cantidad de mensajes, alta velocidad, este es el tipo perfecto de carga útil. Pero dentro del mensaje, realmente no importa lo que pones allí.

Confluent fue fundado por tres personas que vinieron de LinkedIn. Y esas personas fueron contribuyentes activos al proyecto Apache Kafka. Entonces ayudó a llevar esto a Apache Software Foundation. Confluent es el mayor contribuyente al código abierto Apache Kafka.

Confluent Cloud, que es esencialmente una solución totalmente administrada para ejecutar no solo Apache Kafka, sino también una plataforma Confluent completa. Se puede ejecutar Kafka y la plataforma Confluent en cualquier proveedor de nube pública, así que elija la que elija.

Estas plataformas fueron diseñadas para admitir la ejecución en múltiples entornos de nube. Esencialmente, corremos todo en Kubernetes.

Por lo tanto, seguimos empujando los límites de lo que puede hacer KSQL, algunas semánticas avanzadas que admiten algún esquema avanzado. Así que en este momento, KSQL sin ninguna interferencia,le permite tratar con JSON, AVRO.

Entonces, cuando desea comenzar a aprender cosas, no necesita tener un centro de datos para acelerar esto. Solo ve allí. Ejecute su Kafka. Toma algunas de las bibliotecas y listo.