A metodologia das pesquisas

No dia 26 de agosto passado, houve um debate no CONRE (Conselho Regional de Estatística) sobre a estatística na pesquisa eleitoral.

Nesse debate foi apresentado trabalho de José Ferreira de Carvalho e Cristiano Ferraz, com base na exposição de Márcia Cavallari, a principal estatística do IBOPE.

Dizia ela:

1. a amostragem conduzida pelo IBOPE não é probabilística; ela se baseia no esquema de quotas;

2. o esquema de quotas é usado, em que pese o reconhecimento das “vantagens” de um esquema probabilístico, por questões de tempo de execução;

3. o professor Leslie Kish, em seu livro, apresenta e justifica o emprego de amostragem por quotas;

4. houve estudo feito na Inglaterra, em que se mostrou a adequabilidade do esquema de amostragem por quotas.

5. Quando houve problemas com uma pesquisa em Brasília, o problema foi solucionado com o uso correto da amostragem probabilística que foi demorada e mais custosa.

O trabalho cita um estudo baseado em pesquisas ocorridas em 1952 em Birmingham, Bristol e Edinburgh, para demonstrar a precariedade do sistema de cotas:

Concluem os autores: “A amostragem por quotas, largamente usada em pesquisas de opinião e em pesquisas de mercado, não pode ser considerada alternativa válida à amostragem probabilística. Problemas de presteza na execução e de orçamento não servem como justificativa. O problema é que não há como se estimar parâmetros populacionais cientificamente, a partir de uma tal amostragem. As margens de erro declaradas, como admite o IBOPE, são baseadas em fórmulas de amostragem aleatória simples, a conhecida expressão para a variância, pq/n. Mas esta variância não se aplica à amostragem por quotas ou a qualquer método de amostragem não probabilística”.

Ou seja, ao mencionar margem de erro na pesquisa, tanto IBOPE quanto Datafolha estão apenas atendendo formalmente a uma exigência do Tribunal Superior Eleitoral.

PS – No sistema probabilístico, há um sorteio entre os nomes a serem pesquisados, o que torna quase impossível a pesquisa. No sistema de cotas, selecionam-se cotas de pessoas, de acordo com sexo, faixa etária, classe social.

Do leitor Annibal Figueiredo

Existe um problema mais serio. Na amostragem por divisao em cotas pode-se estimar o erro, deste que aplicado separadamente para cada cota. Devido a baixa representatividade de cada cota, este erro seria bem maior para cada parcela. Se levarmos em conta todos os erros a margem final seria intolerável.

Mas existe um problema anterior. Existe uma confusão entre o que se chama de margem de erro da uma pesquisa e a exatidao da mesma em relacao a sua capacidade de estimar a realidade. O primeiro apenas significa que se voce reproduzir a sua pesquisa com a mesma metodologia, os resultados obtidos irao diferir entre si na margem de erro e dentro de um intervalo de confianca.

Isto nao tem nada a ver com a capacidade da o pesquisa reproduzir o resultado exato da realidade. Imagine uma amostragem viciada, por exemplo o Tracking, onde apesar dos telefones serem escolhidos aleatoriamente, muita gente fica de fora pois nao tem telefone. Suponha que exista uma diferenca signficativa entre eleitores que tem e nao tem telefone, logo voce vai inferir um resultado errado, onde a margem de erro da sua pesquisa pode ser bem pequena.

Todo modelo que depende de parametros previos, a cota eh so um exemplo, depende da confiabildade destes parametros. Um erro na estimacao do mesmo pode distorcer o resultado. Se o eleitorado eh muito dividido em relacao as cotas estabelecidas pela metodologia de pesquisa, entao o resultado da pesquisa passa a ser forte e sensivelmente dependente da estimativa destes parametros.

Acredito que o maior esclarecimento a opina publica seria dado explicando bem a diferenca entre margem de erro que nao eh e nem pode ser usado como um parametro para medir o grau de certeza de uma certa previsao. Ele eh um parametro de controle da metodologia e nao da sua capacidade de prever corretamente.

Enviado por: Carlos Pereira

(…) A técnica de estimação de proporções por intervalos de confiança – com quotas ou seleção probabilística, repetimos – jamais logra obter probabilidades de uma proporção ser maior que outra, pela sua própria concepção. Trata-se de uma técnica brilhante, concebida no Século XX, quando os atuais recursos computacionais eram ainda inexistentes. Contudo, sempre foram inadequadas para responder às singelas perguntas feitas por eleitores, candidatos, jornalistas, analistas políticos, enfim por todos: “O candidato A vai ter mais votos do que o L? Qual a chance? Haverá 2º turno? Qual a chance?”

E não cabe tachar os que fazem tais perguntas de leigos. São perguntas naturais. A profissão não pode ficar calada nem anunciar as evasivas típicas resultantes da verificação de intersecção ou não de intervalos de confiança para proporções – Nada pode ser afirmado! Talvez haja 2º turno! Há um empate técnico! -. A ciência seria tão impotente? Não é!

O estudante de primeiro ano, ainda livre dos preconceitos que cercam métodos indutivos, sabia, às 19:15 do último domingo, que o 2º turno era bem mais provável que a vitória do candidato Lula no 1º turno. E por volta das 20:45 tinha praticamente certeza da ocorrência de 2º turno. (…)

Ah! Quantos equívocos foram cometidos nessa eleição pelos institutos de pesquisa. E sempre por “culpa do acaso”.

Perguntas bem formuladas, objetivas e justas merecem dos métodos científicos respostas não menos simples ou diretas. Merecem, enfim, serem respondidas!

Carlos A de B Pereira
e Sergio Wechsler, professores de estatística do Instituto de Matemática e Estatística – USP

0 Comentário