O que é uma variável latente e como medi-la? — Parte 2

Continuamos com a pergunta: o que é uma variável latente e como medi-la?

Dessa vez, vamos nos ater ao como medi-la, já que na Parte 1 já tratamos sobre o que é uma variável latente e como interpretar uma escala psicológica.

Afinal: como criar itens para medir uma variável latente? Quais os erros comuns ao se criar itens que mensuram atitudes?

O objetivo desse post é mostrar o passo a passo de como se criam itens, partindo da teoria, passando pelos erros mais comuns e chegando até a melhor forma para se escrever um item de um questionário.

Photo by American Heritage Chocolate on Unsplash

Vou utilizar neste texto principalmente a referência de Pasquali (1998) no seu ótimo texto Princípios de elaboração de escalas psicológicas. Nesse texto, Pasquali defende a necessidade de teorias sólidas para uma construção adequada de escalas psicométricas.

Embora no texto ele fale também sobre testes psicométricos, vou aqui focar apenas em escalas de autorrelato — escalas na qual o participante fala sobre si, assim como aquela que vimos na Parte 1.

Antes de tudo, uma teoria sólida

Construir um instrumento psicológico é um processo longo e que possui várias etapas. Dê uma olhada nessa figura que pode ser encontrada no artigo de Coluci, Alexandre, e Milani (2013).

Figura 1 do artigo de Coluci, Alexandre, e Milani (2013).

Aqui, vamos tratar de quase todas essas etapas, indo um pouco mais a fundo na construção de itens. Vamos partir da ideia de que queremos criar um instrumento que consiga medir o nível de engajamento no trabalho. Assim, engajamento no trabalho é nossa variável latente. Qual o primeiro passo que devo dar?

Definição do conceito

Nessa primeira parte, vamos apenas compreender a variável latente em si. Que variável quero medir? O que estudos científicos falam dessa variável? Ela já foi medida antes?

Se a variável latente já é medida, melhor do que inventar itens para seu questionário, busque os itens que você deseja em escalas já prontas e com evidências científicas de validade. Para encontrar estudos brasileiros, o mais simples é digitar “escala de variável x scielo”.

Em primeiro lugar, define-se o que está medindo e se isso já foi medido. Aqui a gente vai utilizar muito da teoria!

Vamos pegar como exemplo a variável latente engajamento no trabalho. Perguntas iniciais poderiam ser:

• O que é engajamento no trabalho?
• Ao que está associado?
• Por que existe?
• O que na literatura se sabe sobre ele?

Nessa parte, faz-se uma definição do atributo em si.

No caso do engajamento no trabalho, pode-se dizer que ele é tido como o grau de investimento individual em um cargo de trabalho (essa aqui foi uma definição curta). Aconselha-se escrever tanto quanto possível para conhecermos o que queremos medir.

Ainda nessa parte, é possível especificar de que forma essa variável vem a ser, quais as consequências de ela ocorrer e por que ela é importante de ser medida. Detalha-se o máximo possível o que se busca medir.

Detalhe, detalhe, e mais detalhe!

Definição operacional

Só após essa parte inicial, após entender a variável latente, podemos pensar em como ela aparece no cotidiano.

Na definição do construto, chamada por Pasquali de definição operacional, a gente é levado a pensar nas manifestações da nossa variável latente no cotidiano. Definições operacionais são frases curtas que indicam como a variável latente é expressada no dia a dia. Novamente, a teoria é essencial para pensar em quais são esses comportamentos.

Aqui, vai se partir dessa constatação: “o que uma pessoa que tem muito desse atributo faria?”

Para uma pessoa engajada em seu trabalho, poderíamos pensar nas seguintes definições operacionais:

• Trabalha bastante,
• Cria atividades novas em seu trabalho,
• Dedica-se às atividades de seu trabalho,
• Empenha-se em construir laços amigáveis em seu ambiente de trabalho.

Segundo Pasquali (2008), essas definições operacionais devem ser do tipo “vá lá e faça…”. Isso significa que não posso colocar aqui, por exemplo, a seguinte definição operacional: “Entende que o trabalho é bom”. Isso porque não posso falar para uma pessoa “vá lá e entenda que o seu trabalho é bom”. Não dá, não é possível.

Ainda, tais definições devem ser o mais abrangentes possíveis, tentando ao máximo abranger todas as possibilidades da variável latente. Isso porque, a partir das definições operacionais, os itens começam a ser construídos.

Construção de itens

Note que apenas depois de realizar todo o processo já descrito é que se começa a criar os itens. Isso é essencial para a criação de um bom instrumento psicológico. Não faz sentido eu criar itens para mensurar engajamento no trabalho se eu não entendo o que é esse engajamento e quais as suas manifestações no dia a dia.

A construção dos itens, assim, é um resultado da teorização e das definições operacionais. Ela é uma consequência lógica daquilo que já se tem. A partir do trabalho bem feito nas fases anteriores, sabemos o que estamos medindo e como esse atributo aparece.

Agora, na criação de itens, vamos criar itens que estejam contemplados nas fases anteriores. A maioria desses itens, de certa forma, já foram abordados ou tocados de alguma forma nas fases anteriores. Vamos começar o processo de criação de itens específicos para mensurar o que estamos querendo medir.

Pasquali menciona três possíveis fontes para o surgimentos desses itens:

• Entrevistas com público alvo.
  Por exemplo, conversar com os funcionários com maior desempenho em uma empresa, por entender que essas pessoas tendem a ser mais engajadas. A partir da entrevista, é possível entender melhor o comportamento dessas pessoas, o que elas fazem de diferente em relação ao construto medido, etc.
• Comportamentos já listados.
  Esses já foram descritos na fase de descrição operacional! Agora, podemos torná-los em itens de autorrelato. A definição operacional “Trabalha bastante” pode aqui se transformar em “Eu costumo trabalhar bastante.”
• Textos e escalas publicadas.
  Voltar para a literatura, procurar escalas já construídas ou que mensurem atributos semelhantes ao que queremos entender.

Como não escrever itens e como escrever itens

Ao todo, Pasquali cita 13 critérios para auxiliar na criação de itens! Aqui, nós veremos só os que eu, Gabriel, considero como sendo os principais.

Existem erros comuns que são feitos em algumas pesquisas. Quando se cria um questionário ou um conjunto de itens para mensurar determinada variável, é possível cometer alguns erros que contribuem para o aumento de erro na medida.

Vamos criar cinco itens ruins de engajamento no trabalho baseado no que já vimos aqui para tentar entender formas melhores de se escrever itens.

Lembre-se que a instrução para quem responde, geralmente, é de marcar de 1 (“discordo totalmente”), passando por 3 (“nem concordo, nem discordo”), até 5 (“concordo totalmente”).

Abaixo de cada item, vamos escrever o critério apontado por Pasquali e uma proposta de reformulação do item. Vamos lá!

Item 1: “Amo trabalhar e ficar no trabalho depois do expediente.”

Critério da simplicidade: um item deve expressar apenas uma ideia. Imagine que uma pessoa responda com “concordo totalmente” à afirmação acima. Ora, por que ela respondeu isso? Por que ela “ama trabalhar” ou por que ela ama “ficar no trabalho depois do expediente”?

Cada item deve expressar uma ideia única do atributo que se está medindo. A variabilidade de resposta de uma pessoa deve partir de apenas uma constatação.

Modificações possíveis:
Criação de dois itens:
1. “Amo trabalhar.”
2. “Adoro ficar no trabalho depois do expediente.”

Item 2: “Mesmo em dias fatigantes, nos quais pode-se passar muito tempo na atividade laboral, sinto que, na maioria das vezes, eu tenho energia para trabalhar.”

Critério da nitidez: um item deve ser curto e usar palavras de fácil compreensão. Isso porque queremos que o máximo de pessoas o possível entenda esse item.

Itens complexos, cheios de palavras e com expressões incomuns são difíceis de ser entendidos. Assim, simplifique o máximo possível, mantendo sempre a aparência de um item profissional (validade aparente).

Modificações possíveis:
Primeira modificação (colocando palavras fáceis):
“Mesmo em dias difíceis, nos quais pode-se passar muito tempo trabalhando, sinto que, na maioria das vezes, eu tenho energia para trabalhar.”
Segunda modificação (tirar o que não faz diferença para a frase, buscando diminuir o item):
“Mesmo em dias difíceis, tenho energia para trabalhar.”

Item 3: “Considero que meu trabalho não é extremamente ruim.”

Critério da modalidade: um item não deve utilizar expressões extremadas, já que é a resposta ao item é o que indica a intensidade da reação da pessoa. De maneira geral, deve-se evitar expressões extremadas, que geralmente evocam respostas binárias— ou muito positivas, ou muito negativas.

Além disso, o item acima é fácil. Não considerar o trabalho como “extremamente ruim” é algo relativamente fácil de se considerar, e não diferenciaria, a princípio, trabalhadores engajados de não engajados.

Itens fáceis geralmente são redundantes. Isso quer dizer que a inclusão desse item provavelmente não acrescentaria novas informações acerca do engajamento, pelo menos não do jeito em que ele está no momento.

Modificações possíveis:
“Meu trabalho é ruim.”

Item 4: “Se pudesse, aumentaria meu salário.”

Critério da relevância: um item deve ser relevante para o construto que está sendo medido. Isso quer dizer que um item deve medir o que a escala busca mensurar.

O item acima não mede engajamento. Ele mede a crença que uma pessoa tem sobre seu salário. Ele não é um bom item para mensurar engajamento.

Alguém poderia argumentar: “Gabriel, talvez o salário afete o engajamento no trabalho.” Mesmo esse sendo o caso, em uma escala que busca medir o construto x, deve-se medir o construto x, e não focar em outras medidas que talvez afetem esse construto.

Além disso, convenhamos, é um item fácil e que provavelmente receberia bastante concordância das pessoas.

Modificações possíveis:
Excluir o item, já que não mede nosso construto.

Item 5: “Às vezes gosto de trabalhar, às vezes não gosto.”

Critério da precisão: um item deve possuir uma posição definida no construto medido. Ou seja, se estou medindo engajamento, tenho vários itens que medem, cada um, determinados níveis de engajamento. No caso do item acima, não fica nítido se estou medindo um nível de trabalho engajado ou um nível de trabalho não engajado.

Pior ainda: pessoas que odeiam o trabalho e pessoas que amam o trabalho provavelmente teriam a mesma resposta ao item acima (“Discordo totalmente”).

Pense comigo: alguém que ama o trabalho provavelmente vai marcar “Discordo totalmente”, pois essa pessoa “gosta de trabalhar” com alta frequência. Alguém que odeia o trabalho provavelmente vai marcar “Discordo totalmente”, pois essa pessoa “não gosta de trabalhar” com alta frequência.

Modificações possíveis:
“Amo trabalhar.” — assim como já mencionado, a escolha pela palavra “amo” aqui busca diferenciar quem realmente gosta de trabalhar de quem moderadamente gosta. Nesse sentido, estaríamos aqui interessados no nível de pessoas muito engajadas.

Como montar uma escala?

Você seguiu as dicas anteriores! Para finalizar, é importante comentar sobre a escala em si. Ou seja, sobre a junção de todos os itens criados em um só lugar.

O ideal, como já comentado, é que essa escala possua itens diferentes o suficiente para mensurar toda a amplitude da variável latente. Isso significa que se eu quero medir engajamento no trabalho, eu tenho itens o suficiente para diferenciar trabalhadores engajados de trabalhadores muito engajados, trabalhadores pouco engajados de trabalhadores nada engajados.

Da mesma forma, é interessante que se busque igualar o número de itens positivos e o número de itens negativos, a fim de diminuir os efeitos da desejabilidade social. Ou seja, possuo itens nos quais a alta concordância aponta para um alto engajamento — itens positivos como “Amo trabalhar” — e itens nos quais a alta concordância aponta para um baixo engajamento — itens negativos como “Odeio trabalhar”.

Não é fácil medir variáveis latentes

Como vimos desde a Parte 1, medir variáveis latentes não é uma tarefa simples. Apesar de todos esses procedimentos que vimos nessas duas partes, ainda faltariam alguns outros a fim de garantir a mensuração correta daquilo que realmente estamos buscando acessar.

Dentre esses processos está a validade de conteúdo, no qual perguntamos à uma amostra da população-alvo se elas compreendem os itens mensurados. Isso pode ser perguntado em grupo ou individualmente. Por que se pergunta se as pessoas entendem o item? Ora, uma pessoa que não entende o que um item quer dizer não vai dar uma resposta confiável àquele item — nosso erro de medida aumenta muito!

Além da preocupação com a estrutura dos itens, há uma preocupação voltada para a dimensionalidade da escala. Se eu crio itens para engajamento no trabalho a partir de uma base teórica que estabelece três dimensões para o engajamento, será que é isso que as respostas das pessoas aos itens vai refletir? Ou será que vou encontrar apenas duas dimensões? Julgando que os processos anteriores foram bem feitos, esses procedimentos de verificação da dimensionalidade são geralmente feitos a partir da Análise Fatorial Exploratória ou da Análise Fatorial Confirmatória. Além dessas, pode haver aplicação da Teoria de Resposta ao Item para investigar a dificuldade e discriminação que cada item apresenta (de forma breve, procedimentos de TRI são mais acurados e preferíveis atualmente por trazerem respostas importantes a problemas da Teoria Clássica dos Testes).

Outra parte importante para garantir a mensuração correta do construto trata-se da reunião de evidências de validade de que a escala realmente parece mensurar o que está se propondo a mensurar. Como fazer isso? Isso pode ser feito através de uma análise de correlação da escala que está sendo criada com uma escala que já possua evidências científicas de validade. Essa é a chamada evidência de validade convergente.

Depois de todas essas etapas, é possível que os itens dos instrumentos possuam comportamentos diferentes dependendo de características sociodemográficas como gênero, nível de escolaridade, idade, nível socioeconômico, etc. Nesse sentido, é possível realizar análises fatoriais em amostras com grupos diferentes da população-alvo a fim de verificar a existência ou não dessas diferenças.

De qualquer forma, o importante é reunir o máximo de evidências possível de que a escala parece estar mensurando o que se propõe a mensurar. Cientificamente, durante um processo de construção de uma escala, você deveria se esforçar para refutar a hipótese nula de que, na verdade, a sua escala não mede nada. Você faz isso reunindo evidências de validade o suficiente para o contexto em que está inserido. Se você for começar esse processo, boa sorte!

Contato

Espero que tenha gostado! Qualquer dúvida, observação ou comentário são muito bem-vindos! Fique à vontade para se manifestar e vamos aprender juntos 😄

Para falar comigo, é só entrar em qualquer um desses links.