Modelos de ML na ViaHub: Deploy — Parte 1
Neste artigo vamos descrever a necessidade do nosso processo de deploy de modelos na ViaHub, se você já leu este artigo, a parte 2 descreve tecnicamente como nosso processo funciona.
Contexto
A ViaHub é o hub de Tecnologia da Via, detentoras de grandes marcas do varejo brasileiro, como Casas Bahia, Ponto:> e extra.com.br. Além do varejo, a Via também é logística, é serviços financeiros e é inovação, buscando continuamente novos nichos de mercado.
Dentro da ViaHub, temos diversas áreas, dentre elas a de MLOps e de ciência de dados, vamos descrever o que culminou, em 2020, a necessidade de criar uma esteira de CI/CD para deploy de modelos, assim como a padronização de código.
Problema
Enquanto tínhamos mais modelos sendo implantados em ambiente produtivo, começamos a notar as dificuldades que estavam sendo geradas pela alta variabilidade no processo de implantação e código, por termos essas tarefas sendo feitas de forma compartilhada com os cientistas de dados.
“Conforme tínhamos mais modelos em ambiente produtivo, vimos o problema que era não padronizar o processo de deploy”
Ao analisar, notamos um efeito gerado pelo volume de cientistas de dados na empresa no decorrer do tempo, vamos descrever mais abaixo:
No primeiro momento, se tivermos 10 cientistas de dados, teremos 10 formatos diferentes, vale lembrar que cada pessoa vai refinando seu processo, então de tempos em tempos, vamos dizer de 3 em 3 meses cada cientista vai descobrindo uma forma melhor de fazer seu deploy manual, então em apenas um ano vamos ter 40 formas de fazer deploy manual diferentes!
Agora imagina só como trataríamos isso no longo prazo, ou durante a ausência de um ou mais cientistas, teríamos que aprender cada único formato artesanal de deploy do cientista, seria equivalente a ter 40 padrões diferentes para o mesmo objetivo só no primeiro ano.
“Teríamos que aprender e sustentar cada único formato artesanal de deploy”
Consequências
No longo prazo, isso seria insustentável, teríamos formas manuais adicionais a cada novo cientista e em cada instante de tempo, tornando a sustentação das execuções impraticável, a melhoria do código recorrentemente implicaria em refatoração, levando a um tempo e esforço de desenvolvimento maior que o necessário, além de que cada nova ferramenta para melhoria do processo tivesse que ser incluída de forma customizada e artesanal em cada modelo existente, dado a variabilidade nos formatos de implantação manual que existiriam.
“Como poderíamos sustentar e dar manutenção em novas e novas formas de deploy no longo prazo?”
Necessidade
Para evitar que não conseguíssemos manter todos os modelos rodando adequadamente em ambiente produtivo, assim como permitir que os modelos pudessem sofrer melhorias e adoção de novas ferramentas de forma simplificada, criamos o nosso processo de deploy na ViaHub, composto pelas esteiras de CI/CD para Modelos de Machine Learning e os nossos padrões de deploy.
“Sem esteiras de CI/CD para Modelos de ML e os nossos padrões de deploy nos veríamos perdidos com infinitos formatos de deploy ao longo do tempo”
As esteiras de CI/CD para Modelos de ML nos garantem padronização ao levar modelos para ambiente produtivo, assim como fazer qualquer atualização, melhoria ou correção de eventual bug.
Já os nossos padrões garantem que o código vai ser introduzido nas esteiras corretamente, além de fomentar boas práticas de engenharia de software para maior manutenibilidade, legibilidade e sustentação.
No próximo artigo, vamos abordar mais no detalhe como funciona nosso processo de deploy de Modelos de ML, confira aqui na Parte 2
Acredito que já deu para entender que aqui na ViaHub agente tem paixão por alta performance, autonomia e participação não é? Esses são alguns dos pilares da ViaHub, a nossa área de tecnologia! Se você gostou e tem interesse de estar em um time assim, basta se inscrever no nosso portal de vagas em https://viahub.gupy.io/. Conheça também mais sobre a ViaHub e a cultura tech que temos em https://www.viahub.com.br/ !
