Capítulo 2 — Desk research e Matriz CSD sobre o aplicativo TOP-SP
O que você vai encontrar nesse texto: como conduzi uma desk research sobre o aplicativo de compra dos bilhetes dos transportes coletivos de São Paulo
Recomendo que leia, antes, os textos que precedem este:
É importante relembrar que a presente pesquisa foi feita por mim de forma autônoma e independente, para construir meu portfólio de pesquisadora. Não tenho ligação com nenhuma instituição pública nem privada.
Contexto
A desk research que conduzi está dividida em três momentos: 1) investigação contextual; 2) investigação das opiniões das pessoas utilizadoras; 3) síntese dos dados e matriz CSD.
Esse tipo de pesquisa é importante para contextualizar o produto / serviço estudado, assim como contribuir com o direcionamento dos próximos passos.
Ações
🔸 Investigando o contexto
🟡 Coleta de dados
A pesquisa contextual foi feita a partir de quatro tipos de fontes:
▪️ Portais oficiais do governo e da prefeitura de São Paulo
️️▪️ Site oficial da TOP-SP e Autopass (empresa responsável pelo bilhete)
▪️ Matérias jornalísticas
▪️ Blogs de notícia sobre transporte
🟡 Análise
As informações contextuais foram organizadas e colocadas de forma detalhada em um arquivo Google Docs.
Em seguida, elas foram resumidas no Miro, para melhor visualização.
🔸 Investigando a voz do usuário
🟡 Coleta de dados
Considerei as seguintes plataformas como as principais possibilidades de coleta de dados para ler as opiniões das pessoas usuárias na internet: Reclame Aqui, App Store e Google Play.
Em relação ao Reclame Aqui, nos deparamos com três páginas diferentes: Cartão TOP, Top Crédito, Autopass (empresa responsável pelos cartões e bilhetes).
As notas em 17/07/23 eram, respectivamente, 8,4; 6,3; e 6,3. É importante dizer que essa plataforma, na constituição da reputação, considera não apenas a nota dada pelas pessoas. Mas também a taxa de resposta, resolução e se a pessoa indica que recomendaria o serviço.
Por sua vez, o App Store da Apple traz algumas questões sobre a interpretação adequada dos dados.
Um ponto de estranhamento é que embora a nota de avaliação seja alta, há poucos comentários escritos. E os que existem são, em grande parte, extremamente negativos, como é possível conferir a seguir:
Porém, o que mais chamou a atenção pela nota e quantidade de avaliações, é o Google Play. Especialmente se considerar que os brasileiros utilizam mais o sistema Android e, portanto, há muito mais informação a ser explorada aqui.
Nesse sentido, nos centramos de forma mais detida nos comentários presentes nesta plataforma.
Como é possível notar, o app TOP-SP, em 17/07/23, conta com 2,4 estrelas e 103 mil avaliações.
Com o auxílio do site ExportComments.com, exportei 5 mil comentários, pois o plano que tive acesso só permitia essa quantidade no máximo, pelo preço de 11$.
Assim, o site extraiu os comentários feitos entre os dias 27/01/2023 e 17/07/2023. Ou seja, aproximadamente tudo o que foi escrito durante o primeiro semestre deste ano.
O ExportComments criou uma tabela na qual são indicados o autor, a data, a classificação, e o comentário. Contudo, eu excluí a coluna “autores”, para não ferir a privacidade daqueles que comentaram (embora seja algo público).
A seguir, disponibilizamos a tabela:
🟡 Análise
Além da minha leitura, utilizei duas ferramentas para a análise de dados, a saber: 1) Chat GPT (Free); 2) Voyant Tools.
1) Chat GPT (versão gratuita)
Criei um prompt para o Chat GPT classificar as principais temáticas presentes no material.
No entanto, ele não permitiu que eu utilizasse os 5 mil comentários, pois há um limite de caracteres por demanda.
Para resolver esse impasse, considerei apenas o seu limite, que se deu com 200 comentários.
O prompt que elaborei foi o seguinte:
Organize em uma tabela de forma categorizada por assunto as seguintes informações:
Após apresentá-lo, copiei e colei os 200 comentários, utilizando aspas como modo de separar cada um.
A partir disso, foi gerada uma tabela que indicava o assunto e, ao lado, frases que exemplificavam. Sendo que a tabela “não inclui todos os comentários, mas os principais pontos levantados pelos usuários.”
Transferi essa tabela para o Sheets, que pode ser conferida a seguir:
Enfim, o Chat pode nos indicar alguns temas, mas ainda é limitado, por saturar com pouca informação. Além disso, não capta possíveis nuances de escrita.
Nesse sentido, é uma ferramenta que deve ser utilizada com parcimônia, de forma supervisionada, e não de forma única.
2) Voyant Tools
Utilizei o Voyant Tools para analisar a frequência de palavras nos 5 mil comentários.
A primeira vantagem em comparação ao Chat GPT é que ele suportou a leitura de todos os comentários. Assim, a sua visão é mais ampla.
Criei uma nuvem de palavras, sendo que a própria ferramente exclui palavras “genéricas” (tais como artigos, preposições, conectores, advérbios etc.).
Para além disso, manualmente, eu configurei de modo que fossem excluídas as seguintes palavras, pelo caráter “neutro” e implícito delas: app, aplicativo, cartão, top, bilhete e bilhetes.
Ademais, a exclusão automática havia retirado a palavra “bom” da nuvem, mas eu a acrescentei de modo que ela aparecesse. Isso porque ela qualifica o serviço. Assim, considerá-la contribui para a interpretação global.
Após esses ajustes, o resultado foi o seguinte:
As seis palavras mais mencionadas foram: péssimo (671); bom (554); consigo (647); abre (524); funciona (442); horrível (425). Para melhor compreendê-las, levantei todas as frases nas quais elas estão presentes.
A Voyant Tools permite isolar essas palavras, colocando-as no meio das frases as quais elas pertencem. Transferi esses dados para uma tabela Sheets, para melhor visualização, a qual pode ser consultada a seguir:
Com isso, a nuvem de palavras é melhor contextualizada. O que ela aponta é que os termos mais frequentes nos comentários estão relacionados diretamente a uma visão negativa do serviço.
Repare que os verbos (consigo, abre, funciona) estão na quase totalidade das vezes ao lado do advérbio “não”. Assim, essas palavras-chave tornam-se: “não consigo”, “não abre”, “não funciona”.
As palavras pejorativas, “péssimo” e “horrível”, por sua vez, aparecem como adjetivo do aplicativo e/ou cartão.
Já o termo “bom”, embora seja frequente, é preciso considerar que se refere não apenas a elogios (“Muito bom”). Mas também ao antigo cartão intermunicipal que se chamava BOM (“Saudades do BOM”). Assim como a expressões como “Bom dia” ou mesmo frases sarcásticas (“O aplicativo é bom quando funciona”).
Outros adjetivos positivos aparecem não apenas em comentários a favor do aplicativo, mas também de modo irônico.
Se considerarmos “ótimo” (161), por exemplo, encontramos frases como “Ótimo para te deixar na mão”.
Assim, não raro as palavras positivas são utilizadas em comentários negativos.
Observações metodológicas
É importante apontar que embora eu tenha trabalhado na desk research com uma grande quantidade de dados, isso não significa dizer que posso generalizar o que foi encontrado nas avaliações.
Preciso considerar o contexto de onde os dados foram retirados. É muito mais comum que as pessoas utilizem os comentários do Google Play para apresentar as suas reclamações em vez de escrever algo mais elaborado que pondere os prós e contras do produto.
Nesse sentido, podemos considerar a análise dos comentários da plataforma supracitada como um dos materiais que contribuem para a compreensão dos problemas existentes e das possíveis soluções.
Resultados
Síntese dos dados
Mesmo considerando os limites da nossa desk research, não é possível negar que uma quantidade razoável de pessoas possuem uma imagem extremamente negativa do TOP-SP.
Todas as fontes consultadas apontam para isso.
A lentidão, a demora e o não funcionamento são relatados frequentemente.
Enfim, o aplicativo tem muitos bugs e falha em funcionalidades básicas, gerando estresse no cotidiano de alguns paulistanos. Este é um dos problemas mais urgentes a serem solucionados.
Começamos a identificar, além disso, outros problemas importantes. Por exemplo, há uma grande quantidade de funções para apenas um aplicativo: transporte e conta bancária.
Isso é algo que deve ser visto com cuidado, pois os serviços de transporte coletivo não deveriam beneficiar instituições financeiras, mas sim garantir um acesso justo e humanizado aos passageiros.
O atendimento não-humanizado e ineficaz é outro problema que deve ser visto com mais cuidado.
Matriz CSD
Para finalizar, elaborei uma matriz CSD. Ela contribui para a sistematização das informações coletadas, além de dar um melhor norte para os próximos passos da pesquisa.
Referências
Sinclair, Stéfan and Geoffrey Rockwell. Voyant Tools. 2023. Web. 18 Jul 2023. <https://voyant-tools.org/?stopList=keywords-cd3bcb1555c7c30820d3729cecc97028&panels=corpusterms%2Creader%2Ctrends%2Ccontexts%2Ccontexts&corpus=619aca89f673fbc8a4c224580172581f>.
As menções às matérias jornalísticas e outros textos estão referenciadas em sua completude no Docs da desk research.
Leia o próximo capítulo:
Capítulo 3- Entrevista em profundidade sobre o aplicativo TOP-SP
Até mais! 👋😊
