Menos repositórios, mais Serenata

Daqui a pouco faz 2 anos: no dia 27 de junho de 2016 foi feito o primeiro registro no repositório principal da Operação Serenata de Amor. Ali nascia o que viria a ser um dos repositórios de código mais seguidos do Brasil. Desde então sempre prezamos por fazer código aberto com dados abertos. Nossas escolhas — como usar o GitHub, ou a licença que adotamos — sempre foram feitas com o objetivo de ter muitas contribuições ao longo do caminho.

E conseguimos: somos em torno de 700 pessoas no nosso grupo de discussão técnica no Telegram. Mais de 100 colaboradoras e colaboradores já tiveram código aceito nos nossos repositórios, ou colaboraram com issues e comentários. E isso sem contar as pessoas que acompanham linha a linha nossas nerdices sem dizer nada.

O projeto cresceu e agora em 2018, como vocês já devem saber, teremos muitas novidades — e a parte técnica não vai ficar para trás. Queremos que fique mais fácil de contribuir com a Serenata e, para isso, explico algumas pequenas mudanças na arquitetura de software.

Rosie & Jarbas se juntando

A Serenata construiu diversas ferramentas para possibilitar que cada vez mais pessoas possam fazer o controle social dos gastos públicos:

• O nosso repositório principal é onde qualquer um pode começar a explorar os dados, propor uma análise, explorar uma nova hipótese, técnica ou classificador em “cadernos” que são públicos;
• A nata desses “cadernos” é passada a limpo na Rosie, nossa robô que usa inteligência artificial para analisar cada uma das contas públicas em busca de suspeitas;
• Todos esses dados, bem como as suspeitas, podem ser visualizados no Jarbas, um site que sempre foi aberto ao público, mas que surgiu como uma ferramenta interna e que vamos melhorando dia-a-dia para que ele seja cada vez mais útil para o público geral;
• Temos ainda uma caixa de ferramentas usada em quase todas as partes do projeto para as operações básicas, como baixar os dados direto da fonte, limpar e deixar tudo prontinho para análises;
• E a Rosie ainda tem um robô só dela para que ela tuíte as suspeitas encontradas por ela.

Isso sem contar repositórios menores, como ferramentas de uso temporário, explorações, sites institucionais etc.

Foi muito bom ver cada uma dessas peças crescendo de forma autônoma, independente das outras. Foi muito bom ver quem tinha experiência com ciência de dados se focando só no repositório principal ou na Rosie, e quem tinha experiência com web se focando no Jarbas, por exemplo. Mas essa separação toda também gerou alguns problemas.

Do lado humano, esses diversos repositórios distanciaram as partes do projeto do todo: o propósito da Serenata se diluía e se perdia no propósito de cada uma dessas partes. A forma como essas peças conversam entre si não era clara. E, ainda mais complexo que isso: essa proliferação fazia ser difícil para quem estava chegando agora entender o papel de cada um desses repositórios.

Do lado técnico existia uma dificuldade de coordenação, de troca de dados. Para vocês terem uma ideia, temos os mesmos dados replicados em três ou quatro lugares diferentes, em formatos diferentes. Manter tudo isso em sintonia é trabalhoso e custoso.

Mas isso tudo vai mudar: nos próximos meses vamos juntar e organizar as ferramentas todas em um único repositório para que quem queira contribuir com o projeto tenha um ponto de partida único, encontrando ali tudo o que ele precisa para explorar e colaborar com a Serenata. Isso facilita a compreensão do projeto, a forma de comunicação entre as partes, e como tudo funciona em sintonia.

Mas e as minhas contribuições?

Para quem já contribuiu, não se preocupe: o Git guarda todo o histórico e é possível passar isso de um repositório para o outro. Quem, por exemplo, hoje tem código aceito no repositório da Rosie, quando migrarmos ela para o repositório principal, vai automagicamente passar a ser um contribuidor do repositório principal.

Quem sempre teve vontade de contribuir mas ainda não começou vai achar ainda mais fácil: tudo vai estar organizado em um único lugar. Código, documentação, issues etc. Vai ser bem mais simples do que é hoje.

Quem já conhece a forma como a gente trabalha, mesmo sem ter contribuído, também vai se achar: Rosie, Jarbas e a nossa toolbox vão continuar existindo, mas serão parte de uma excepcional orquestra, andando e tocando juntos a Serenata.

Muito obrigado a todo mundo que contrinuiu com a Serenata até aqui. E que com essa reorganização da casa venham mais contribuições, mais colaboradoras e colaboradores para que em 2018 a gente possa retrubuir todo esse apoio com muitos dados de qualidade acessíveis para todos!