Vertex Search ou Conversation? E agora? 🧐
Já faz quase 1 ano do lançamento do Vertex Search e Conversation (que já foi chamado de Generative AI App Builder), mas muitas pessoas ainda estão entendendo como explorar o produto mais a fundo. Nós já falamos sobre algumas aplicações em postagens anteriores aqui no blog, incluindo uma abordagem bem customizada usando LangChain.
Antes de mais nada, o que é o Vertex Search e Conversation?
Ele é um produto Google Cloud para criação de experiências de busca e conversação utilizando IA generativa. O que o torna diferente é a sua facilidade de implementação, uma vez que não exige código nem conhecimento específico da área. No nosso site de treinamentos sob demanda, o Cloud Skills Boost, você pode experimentar um pouco melhor o Search e Conversation.
Entendendo as possibilidades
É importante também diferenciarmos quando utilizamos cada um dos produtos. O Vertex Search é focado em casos de busca, muito semelhante ao que temos de experiência no Google (incluindo o resumo com GenAI que existe hoje). Já o Vertex Conversation é focado na parte conversacional, comumente associada aos chatbots/robôs de atendimento. Porém, há bastante confusão com o CCAI.
Contact Center AI (CCAI) é a suíte completa para atendimento (que contempla o Insights, Platform, Agent Assist, Dialogflow, etc.). O Dialogflow CX é uma ferramenta para criar fluxos conversacionais. O Vertex Conversation usa o Dialogflow CX como interface e é capaz de criar agentes virtuais baseados totalmente em IA generativa (mas também híbridos). É essencial entender essa diferença, uma vez que até a precificação é distinta.
Outro ponto de atenção é que o Vertex Search muitas vezes é utilizado também para criação de experiências conversacionais 🤯. Como o Search e Conversation possuem o conceito de Data Store por trás (que indexa as informações para que sejam encontradas mais facilmente), é possível fazer uma versão totalmente customizada, semelhante ao Conversation, porém usando Vertex Search e ferramentas adicionais (incluindo o Dialogflow CX como interface; esse é o caso do artigo que publicamos e citamos anteriormente).
Como eu calculo o consumo disso?
Antes de mais nada, atente-se à arquitetura proposta. A calculadora precisa estar coerente com o desenho. Este artigo está em conformidade com a calculadora legada. Sempre vale também fazer uma verificação na página de Preços, uma vez que podem haver atualizações entre a data de publicação da nossa postagem e o momento que você a está lendo.
Componentes do Vertex Search
São medidas por número de queries por mês:
Search Standard Edition
- Se é uma busca que utiliza somente dados não estruturados como base de conhecimento
Search Enterprise Edition
- Se é busca que utiliza dados não estruturados E website
LLM Add-On
- Se vai usar recurso de sumarização e multi-turn (ou seja, follow up questions)
- Serve para ambas as edições
É medida por quantidade de GB indexados por mês:
- Não existe custo do processo de indexação, apenas da quantidade de dados indexados
* Em todas aparece um Peak Request Per Day, mas não influencia no cálculo, é mais para eventualmente complementar um estudo de capacity
** A busca de dados estruturados ainda está em Private Preview, sem custo
Componentes do Vertex Conversation
São medidas por número de queries ou, no caso de áudio, segundos por mês:
Predictive (Standard)
- São as queries baseadas em intenção (fluxos pré-programados)
Generative (Enterprise)
- São todas as queries baseadas em IA Generativa (incluindo Vertex Conversation App, Generators, Generative Playbooks/Agents e Generative Fallback)**
É medida por quantidade de GB indexados por mês:
Conversation Data Indexing Storage
- Não existe custo do processo de indexação, apenas da quantidade de dados indexados
* Em todas aparece um Peak Request Per Day, mas não influencia no cálculo, é mais para eventualmente complementar um estudo de capacity
** Lembre-se que o fluxo no Dialogflow CX é sempre primeiro checar se tem Intenção pronta (preditivo); caso não tenha, cai na IA Generativa, se essa estiver ativada.
Não entendi nada, Amanda. Mostra um exemplo!
Vamos utilizar o caso de customização que apresentamos anteriormente aqui no blog.
Arquitetura
Premissas
- 9000 usuários
- Cada usuário consulta o bot 10 vezes por mês, com conversas de 5 turnos (sendo 3 turnos com LLM via Cloud Function chamando Vertex Search e Vertex GenAI Text)
- Dialogflow CX Chat: 9000*10*5 = 450k queries
- Standard Search Queries: 9000*10*3 = 270k queries
- Cloud Functions: 270k invocações
- Vertex GenAI Text: 270k requests (9000 por dia), 4000 chars/2000 chars - Dados não estruturados apenas
- Considerando 20GB indexados
Calculadora resultante
https://cloud.google.com/products/calculator/#id=22b4d56f-41e2-4d22-a2e5-ce42c15994fe
Conclusão 📝
Neste artigo, trouxemos algumas possibilidades a serem exploradas com Vertex Search e Conversation, além de mostrar como fazer uma estimativa de custo com um exemplo prático. Com a IA Generativa as tecnologias estão avançando rapidamente, então não perca os nossos blogs no Google Cloud Brasil.
Deixe sua sugestão sobre o que mais gostaria de ler aqui! 📢
