Washington Machado
May 10 · 5 min read

A QCon São Paulo 2019, conferência de desenvolvimento de software para desenvolvedores, líderes e gerentes de TI, rolou a todo vapor nos dias 06, 07 e 08 de Maio com uma edição comemorativa de 10 anos. Segundo a organização, foram mais de 1500 participantes inscritos para três dias de evento repletos de conteúdo distribuídos em 14 trilhas.

Tive o privilégio e alegria de — pela primeira vez na vida — participar de um evento desse tipo. Começar com um evento dessa relevância foi uma experiência incrível e por isso gostaria de compartilhar com vocês as minhas impressões do 1º dia do evento.

A organização/infraestrutura do evento estava ótima e acredito que entrega o esperado considerando que é um evento produzido com uma boa dose de recursos ($$$). Pequenos problemas técnicos aconteceram, mas nada que tenha causado grande desconforto — e em alguns momentos foram contornados pelos palestrantes e noutros solucionados para as próximas palestras.

Para dar o pontapé inicial a ótima palestra Mixed Paradigms: The Method to Madness do Dr. Venkat Subramaniam foi uma ótima escolha.

Além do bom humor e entrega do palestrante, gostei da sensatez de suas conclusões a respeito de usarmos diferentes paradigmas de desenvolvimento de software. A ideia de que não há o melhor/pior paradigma, entregou a perspectiva que valorizo cada vez mais em nossa comunidade — a de que sempre há o famigerado trade-off.

E nesse contexto de mixed paradigms, Dr. Venkat Subramaniam nos passou sua visão de que “Imperative is Good at dealing with side-effects, exceptions” e “Functional is good at dealing with scale, parallelization, reasoning”.

E as trilhas começaram…

Após o keynote as trilhas foram iniciadas e o público se dispersou de acordo com o interesse/objetivo de cada um.

Ao participar de um evento com tanta oferta de conteúdo, recomendo olhar com a devida antecedência as palestras disponíveis e, se possível, vá para o evento com as decisões tomadas sobre o que assistir — afinal, provavelmente você não gostaria de perder algo que considere sensacional por decidir rapidamente o que acompanhar.

Com um roteiro do que deseja acompanhar preparado, você terá tempo livre para visitar com a devida calma cada um dos estandes dos parceiros do evento.

E por falar em trilhas e roteiro, optei por acompanhar uma trilha em sua totalidade. Queria realmente ter a perspectiva de acompanhar tudo o que a trilha de Armazenamento e Processamento de Big Data tinha a me oferecer. Não tenho experiência alguma com big data, mas espero que esse tenha sido o primeiro passo em direção a ganhar tal experiência em uma área que muito me interessa.

Essa trilha foi coordenada pela fantástica Fabiane Nardon, uma referência na comunidade de desenvolvimento de software com muita experiência e reconhecimento quando se trata de Java e Data Science.

Abaixo listo as palestras que acompanhei:

  • Processamento de dados em “tempo real” com Apache Spark Structured Streaming Eiti Kimura
  • Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas e Big Data Ricardo Ferreira
  • Acelerando a construção de Data Pipelines em Apache Spark: segredos arquiteturais para hackers de engenharia de dados Fabiane Nardon
  • Automating Machine Learning and Deep Learning Workflows Mourad Mourafiq
  • Streaming e armazenamento de grande volume de dados: quando seus dados não cabem em banco de dados tradicionais Gleicon Moraes
  • Metrics Driven Machine Learning Development at Salesforce EinsteinEric Wayman

Para não alongar muito o assunto, gostaria de comentar resumidamente três das palestras listadas acima.

Acelerando a construção de Data Pipelines em Apache Spark: segredos arquiteturais para hackers de engenharia de dados

Apresentou dados que evidenciam que Data Scientists gastam 90% do tempo com Engenharia de Dados. E entre as sugestões estão a criação de uma base de código para facilitar o reaproveitamento, além da execução em produção dos notebooks criados durante a experimentação com a devida adequação de parâmetros e agendamento de execução.

Metrics Driven Machine Learning Development at Salesforce Einstein

A ideia aqui é que um Data Scientist monitorando um modelo não é escalável e métricas deveriam ser criadas, disponibilizadas em dashboards e utilizadas para gerar alertas na iminência de problemas. “Modeling without metrics is like coding without testing” e “If we don’t track it, we won’t improve it” reforçam a ideia de importância das métricas.

Acredito muito nessa ideia de que precisamos de métricas para identificar/validar os nossos problemas/soluções. Isso é especialmente válido para problemas de performance, seja de uma aplicação web legada ou do seu modelo de ML, mas não exclusivamente. Uma maneira de adquirir algumas métricas (ao menos no caso de aplicações) e rastrear problemas seria processando logs, portanto, ao iniciar um projeto é recomendado que faça o possível para não criar uma caixa-preta.

Abraçando a Anarquia: Design Patterns de Apache Kafka em Arquiteturas de Dados Modernas e Big Data

E por último, mas não menos importante vamos falar de Apache Kafka — uma plataforma de streaming de dados — e dessa palestra muito bem entregue Ricardo Ferreira. A sensação foi que o tempo da palestra era curto para o conteúdo abordado, mas por outro lado a boa vontade do palestrante em tirar nossas dúvidas ao final da palestra foi sensacional.

Para uma introdução ao assunto vale a pena ver essa série de vídeos e recompartilho os livros citados na palestra para que você possa aprofundar os estudos se for do seu interesse. No Kafka Summit 2018, Martin Kleppmann deu a ótima palestra Is Kafka a Database? e vale a pena conferir.

Se preferir algum recurso em português, Descomplicando o Apache Kafka pode ser uma boa pedida.

E para termos um exemplo de quem adota esse tipo de solução aqui no Brasil — Iago Borges (Nubank) — deu a palestra Maintaining Consistency for a Financial Event-Driven Architecture no Kafka Summit New York 2019.

Os slides das palestras aqui citadas e de outras tantas palestras desta edição do QCon já foram disponibilizados.

Uma palavrinha sobre diversidade

Durante o evento, se rapidamente olhássemos ao redor por poucos segundos, logo perceberíamos a falta de diversidade em nossa área.

No caso não era um problema causado pelo evento e a organização tentou criar o melhor ambiente possível (acredito que conseguiram). Inclusive, já na abertura do evento, citaram o Código de Conduta. Logo, isso não é uma crítica contra o evento, mas simplesmente uma observação da nossa realidade.

Temos o dever de respeitar ao próximo, de criarmos um ambiente saudável e o dever de não reduzir a luta de ninguém. Pelo que pude notar, não acredito que terá uma solução rápida, mas ainda assim podemos começar hoje a ser parte de uma solução.

“The research also shows that innovation in the U.S. could quadruple if women, minorities, and children from low-income families became inventors at the same rate as men from high-income families.” Lost Einsteins: The US may have missed out on millions of inventors

E se ainda resta alguma dúvida do quanto isso é correto e importante, dê uma olhada na matéria Lost Einsteins: The US may have missed out on millions of inventors. A matéria é simples e curta, porém é o suficiente para que possamos notar as desigualdades que nos cercam.

CESAR Update

Fique por dentro da percepção de colaboradores do CESAR ao participarem de eventos e iniciativas do mercado relacionados a design, educação, inovação e tecnologia.

Washington Machado

Written by

CESAR Update

Fique por dentro da percepção de colaboradores do CESAR ao participarem de eventos e iniciativas do mercado relacionados a design, educação, inovação e tecnologia.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade