Juan CaioDiferenças entre o Scala Spark e o PySparkO código do Apache Spark pode ser escrito com as APIs Scala, Java, Python ou R. Scala e Python são as APIs mais populares.Mar 17, 2023Mar 17, 2023
Juan CaioOs problemas de desempenho mais comuns ao usar o Spark — Parte 2.No meu último artigo, eu escrevi um pouco sobre os principais problemas de desempenho ao usar o Spark, bom esse artigo aqui será uma…Feb 14, 2023Feb 14, 2023
Juan CaioOs problemas de desempenho mais comuns ao usar o Spark — Parte 1.O Apache Spark é atualmente uma das tecnologias de big data mais popular e mais utilizada no mercado. Uma das principais responsabilidades…Jan 29, 2023Jan 29, 2023
Juan CaioPorque utilizar o teste de unidade em seu código PySpark?O teste de unidade em qualquer tipo de código vai conseguir te ajudar a melhorar a qualidade e a consistência do seu código. O teste de…Dec 30, 2022Dec 30, 2022
Juan CaioComo obter as métricas do Spark com o SparkMeasureMuitas vezes queremos entender melhor o desempenho e a performance do nosso código Spark e nem sempre medir o fator tempo vai ser capaz de…Dec 16, 2022Dec 16, 2022