Capítulo 4 — Survey sobre o aplicativo TOP-SP
O que você vai encontrar nesse texto: como conduzi uma survey com usuários do aplicativo de transporte TOP-SP
Caso não tenha lido os artigos precedentes, recomendo que comece por eles:
- Introdução — Pesquisa independente sobre o aplicativo TOP-SP
- Capítulo 1 — Avaliação heurística do aplicativo TOP-SP
- Capítulo 2 — Desk research e Matriz CSD sobre o aplicativo TOP-SP
- Capítulo 3 — Entrevista em profundidade sobre o aplicativo TOP-SP
Fiz essa pesquisa de forma autônoma e independente. Não tenho ligação com nenhuma instituição pública nem privada.
Contexto
Como vimos na desk research, o aplicativo TOP é alvo de muitas críticas, o que é facilmente encontrado em uma rápida pesquisa nos portais de notícias.
O meu processo de análise e síntese das entrevistas em profundidade confirmou essas críticas dentre os usuários entrevistados.
A survey tem como objetivo justamente explorar as informações coletadas anteriormente. Vamos ver mais perto como isso ocorreu concretamente.
Ações
🔸 Elaboração do questionário
Com a survey, explorei a experiência dos usuários do aplicativo, mas sem induzi-los à crítica ou às experiências negativas. Como já comentei no texto anterior, é muito mais fácil encontrar críticas do que depoimentos positivos de um determinado serviço na internet.
Assim, fui cautelosa para não induzir as pessoas para nenhum dos dois lados, elaborando questões mais abertas e descritivas.
Nesse sentido, escrevi tanto perguntas fechadas quanto perguntas abertas, permitindo que as pessoas se expressassem mais livremente.
Este processo pode ser visto em um documento do Google Docs elaborado por mim, disponibilizado a seguir:
🔸 Qual ferramenta utilizei e por quê
Não usei o Google Forms, pois ele não possui opções avançadas de elaboração de questionário, tais como condicionais complexas.
Pensei em utilizar Survey Monkey ou Typeform. No entanto, no plano gratuito, essas ferramentas têm muitos limites.
Por isso, optei por utilizar o Lime Survey, que é gratuito, mas a hospedagem é paga. Tive a ajuda de um desenvolvedor para implementá-lo para mim.
Essa ferramenta permite a elaboração de questionários complexos. Aproveitei esta oportunidade para utilizar várias condicionais na minha enquete.
🔸 Locais de divulgação
Além dos meus meios familiares e de amizade, também divulguei a pesquisa nas seguintes redes sociais: Reddit, Instagram, Twitter, WhatsApp, Telegram e Linkedin. Não posso deixar de citar igualmente os grupos de Facebook sobre a cidade de São Paulo e transportes metropolitanos (trem, metrô, ônibus).
Enfatizamos que pessoas pesquisadoras não eram autorizadas a responder o questionário, para evitar o viés em direção à resolução de problemas.
O Lime Survey indica o local do qual a pessoa partiu para acessar o questionário (URL de referência). Com isso, pudemos constatar de onde veio o nosso público:
A partir desses dados, a minha interpretação é a de que grande parte dos respondentes eram amigos ou amigos de amigos que divulgaram a pesquisa pelo Instagram.
Em relação a esse “mistério” de 25 URLs de referência não identificadas, eu acredito que elas são provenientes do WhatsApp. Isso porque ele não apareceu em nenhum filtro, embora eu tenha feito divulgação por lá.
Em todo caso, isso demonstra a autenticidade de pessoas reais nas respostas da survey.
Resultados
🔹 Dados brutos
Total de registros: 114
Registros completos: 83
Pessoas que declararam utilizar o app: 65
Trabalhamos com os dados apenas desta última categoria, totalizando, portanto, 65 respostas a serem analisadas e interpretadas.
A estatística de todos os dados brutos podem ser consultados na tabela a seguir. Lembre-se que muitas questões possuíam condicionais. Desse modo, há códigos que indicam isso, além da opção “Não mostrados”.
🔹 Limites
É importante salientar que esta survey não tem relevância estatística no sentido de que não posso generalizar os resultados para a população de usuários do app TOP-SP. Isso porque ela não teve uma quantidade suficiente de respostas para que se chegasse a tal ponto.
Além da quantidade, a diversidade de respostas também deve ser levada em consideração. Nossa divulgação se limitou às redes sociais, o que atinge apenas uma parte social dessa população.
Contudo, mesmo com tais limites, utilizamos estes dados. Considerei-os de forma conjunta à pesquisa qualitativa (desk research e entrevistas). Afinal, as informações trazidas pelos usuários são relevantes de todo modo. Embora, repito, nesse caso, é preciso haver cautela para não criar generalizações.
🔹 Análise e síntese de dados
Neste tópico, vou destacar apenas as estatísticas que considerei mais relevantes, acrescentando, igualmente, um pouco da minha interpretação.
Para a análise de dados, recalculei no Sheets todas as porcentagens das partes mais relevantes, pois desconsiderei as 18 respostas das pessoas que responderam que não utilizavam o app TOP. Esta era a primeira questão, e, como foi utilizada como um tipo de “screener”, ao assinalar o “não”, o formulário se fechava em seguida.
Você pode conferir essa nova tabela aqui:
🟣 Finalidade do aplicativo
48,48% das respostas indicam a utilização do app para compra de bilhete QR code digital.
24,24%, para consulta do saldo cartão TOP de transporte.
21,21%, para a recarga cartão TOP de transporte.
*Considere que era possível assinalar mais de uma opção.
Esses dados demonstram que embora haja muitas reclamações sobre a compra do bilhete QR code pelo aplicativo, tal ação ocorre com frequência. Ou seja, o aplicativo não é utilizado com frequência apenas para a consulta de saldo do cartão TOP ou para a sua recarga. O QR code digital em si aparece aqui como relevante.
🟣 Informações gerais
A maioria das respostas indicam a utilização do transporte coletivo mais de duas vezes na semana (81%), havendo um equilíbrio entre quem mora na capital (50,77%) e na região metropolitana (43%).
A maioria declarou que utiliza mais o metrô (36,91%). Em seguida, o trem é citado (30,20%) e, depois, os ônibus intermunicipais (EMTU) (18,12%). Nesse caso, as respostas são múltiplas.
Tais respostas, embora indiquem que grande parte das pessoas respondentes são da região metropolitana, há poucas que utilizam o EMTU.
No entanto, é válido lembrar que, de acordo com a nossa desk research, as pessoas que mais se prejudicaram com a mudança do antigo cartão BOM para o cartão TOP foram justamente aquelas que utilizam esse tipo de transporte.
Isso revela uma carência na diversidade de pessoas da survey, evidenciando o seu limite (tal como já apontamos anteriormente). Para deixá-la mais completa em diversidade social, talvez fosse interessante divulgá-la mais entre as pessoas usuárias do EMTU.
Grande parte das pessoas representadas, utilizam o transporte coletivo para se deslocar ao ambiente de trabalho (43,48%), o que denota uma presença importante da classe trabalhadora “clássica” (que não trabalha remotamente).
Por fim, é importante apontar que 63% dos respondentes possuem celular com sistema Android; 35,38%, iOS; e 1,54%, “outros”. Uma de nossas hipóteses (que não foi explorada) propõe que as dificuldades encontradas na utilização do aplicativo podem também ser explicadas pela “má qualidade” do aparelho telefônico.
Isso envolveria uma problemática de classe social. Mas não aprofundamos nessa hipótese, então não podemos afirmar nada em relação a isso, permanencendo como uma hipótese não-explorada.
🟣 Tipo de bilhete utilizado
Poucas respostas indicam a utilização dos bilhetes de papéis (11%) e QR codes comprados pelo WhatsApp (4,24%). O mais frequente é a utilização de bilhetes digitais (31,36%), cartão TOP (29,66%) e bilhete único (23,73%).
O que é confirmado pelas questões seguintes, que indicam que 80% dos respondentes nunca utilizam o WhatsApp como forma de compra. Não exploramos o porquê disso — falta de informação ou outro motivo. Mas seria interessante aprofundar esse quesito em outras pesquisas, pois poderia ser uma opção melhor para os problemas com o app.
Algo parecido ocorre com os bilhetes de papel, que também poderia ser melhor explorado, embora possamos traçar hipóteses mais concretas a partir da nossa pesquisa qualitativa: fragilidade do papel, filas enormes e máquinas de auto-atendimento que não funcionam.
38,46% das pessoas declararam que raramente utilizam esses bilhetes de papel, e 36,92%, nunca os utilizaram.
Em relação àqueles que usam o cartão TOP, 43,14% das respostas indicam a utilização do aplicativo para a recarga do cartão, e 39,22%, a utilização dos pontos de recarga físicos. Lembrando que se tratava de uma questão de múltiplas escolhas.
Em todo caso, esses dados mostram a relevância desses dois modos de recarga em detrimento dos outros (como aquele que é feito pela empresa / subsídio / gratuidade).
Interessante notar que, das 37 pessoas que delcararam utilizar o bilhete QR code comprado pelo app (ou seja, 56,9% dos respondentes), concordam totalmente (51,35%) ou apenas concordam (27%) com a afirmação de que ele é prático.
Isso nos conduz à interpretação de que, para essas pessoas, o problema não é a existência do QR code digital no celular, mas o má desempenho do aplicativo. Muito embora também possamos interpretar aqui que muitas desistem de usar o QR code por não ser funcional.
🟣 Avaliação do desempenho do app
Confirmando tais problemáticas, a avaliação sobre o desempenho do aplicativo TOP é avaliado pela maioria das pessoas como “nem bom nem ruim” a “muito ruim”.
76,92% declaram nunca ter lido o campo de perguntas frequentes do aplicativo. A meu ver, isso não tem relação com falta de problemas. Afinal, como vimos, o serviço TOP é largamente criticado. A hipótese que podemos levantar é que ou as pessoas não encontram esse campo, ou elas têm resistência à leitura.
Essa porcentagem não muda tanto quando perguntamos se a pessoa já pediu suporte por telefone ou WhatsApp: 35,38% declara que sim; 52,31%, que não; e 12,31% não sabia dessa possibilidade.
Das pessoas que declararam já tê-lo utilizado, grande parte avalia o atendimento de mediano a muito ruim.
Algumas delas, inclusive, deixaram alguns comentários como justificativa:
Interessante notar como grande parte dos comentários apontam para o problema do atendimento por robôs. A mesma queixa estava presente nas nossas entrevistas em profundidade.
🟣 Comentários finais
Por fim, algumas pessoas escreveram suas opiniões sobre o aplicativo que, mais uma vez, casam com o que vimos na desk research e com as entrevistas em profundidade.
Ou seja, o fato de que não apenas o aplicativo é muito instável, mas também as máquinas de auto-atendimento (tótens). Ao mesmo tempo, apontam que a ideia do aplicativo e do QR code é algo positivo.
Considerações finais
Não conduzimos a survey como uma forma de induzir viés de confirmação para informações pré-concebidas.
No entanto, ela reforçou a visão das pessoas usuárias revelada pelas pesquisas anteriores. A saber, que os principais problemas do serviço TOP-SP é a sua desumanização e o mau desempenho do aplicativo em sua forma mais elementar.
Ela revelou que as pessoas respondentes não rejeitam o meio em si (compra online de bilhetes), mas o modo como esse meio foi construído (com muitas falhas).
Em outras palavras, apesar das suas limitações, a survey foi útil para reforçar elementos das descobertas precedentes, dando validade à argumentação construída ao longo desse processo.
