Os métodos de avaliação de projetos e programas das empresas que fazem investimento social no Brasil possuem 17 pontos críticos que podem tornar as análises deficientes. As conclusões fazem parte de um estudo elaborado pelo consultor em avaliação, Eduardo Marino, com base em sua tese de doutorado Diretrizes para Avaliação de Programas de Investimento Social Privado.

Ele participou do encontro do Grupo de Afinidade em Indicadores promovido pelo GIFE no último dia 13, em São Paulo, quando debateu suas conclusões com o diretor de Estudos em Economia e Chief Technology Officer de Desenvolvimento e Econometria para St. Edmund's e Downing Colleges da Universidade de Cambrigde, Flávio Comim.

Em seu estudo, Marino dividiu os 30 princípios orientadores para as boas práticas em avaliação de projetos e programas - conceito pensado por pesquisadores norte-americanos nos últimos 30 anos - em quarto grandes critérios (standards) de medição: utilidade, para assegurar que uma avaliação estará a serviço das necessidades de informação dos usuários intencionais; viabilidade, que assegura resultados realistas, prudentes, e diplomáticos; propriedade, para a sua condução dentro de normas legais e éticas; e precisão, para uma avaliação revelar e produzir informações tecnicamente adequadas.

"Um dos objetivos foi disponibilizar uma reflexão sobre parâmetros para profissionais interessados no estudo da utilidade, viabilidade, propriedade e precisão das avaliações. Além disso, serve para verificar se a adoção dos standards pode vir a impulsionar boas práticas de avaliação de programas no Brasil", explica.

O trabalho deixou claro para o pesquisador, que na área de utilidade, as avaliações de projetos sociais realizadas no Brasil (dentre uma amostragem de cinco projetos analisados) não cumprem - ou cumprem mal - três pontos importantes: identificação dos interessados, clareza dos relatórios (que devem ser entregues a tempo e disseminados) e o impacto do documento final.

"O fornecimento de relatórios intermediários e finais a serem disseminados junto aos usuários intencionais deve obedecer a prazos negociados, levando-se em consideração os limites de tempo para a utilização das informações a serem disponibilizadas", exemplifica Marino.

No campo da viabilidade, o consultor encontrou problemas em duas áreas significativas. Na primeira, viabilidade política, as avaliações falham por não serem planejadas e conduzidas tendo-se "clareza antecipada dos diferentes posicionamentos dos vários grupos de interesse". Outro ponto, a equação de custo e efetividade não é esclarecida nos documentos finais. A lista segue na questão de propriedade, nos processos de acordos formais, avaliação completa e justa (que discorre sobre o registro dos principais pontos positivos e limitações do programa avaliado), na divulgação dos resultados, no conflito de interesses e na responsabilidade fiscal.

Por fim, em precisão, nota-se a necessidade de um detalhamento mais incisivo de contexto, de fontes de informações defensáveis e informações válidas e da apresentação de uma análise de informações qualitativas. Além disso, foi diagnosticado ser imprescindível ter imparcialidade de relatórios de interesses e na incorporação da meta-avaliação (uma espécie de avaliação da avaliação com base em critérios como os 30 princípios orientadores defendidos por ele).

"O investimento social privado é algo que está crescendo no Brasil, mas poucas organizações possuem a prática de avaliação estruturada. A saída é aprofundar a discussão enquanto área de conhecimento, ao diferenciar a avaliação de pesquisa, instrumento para comunicação ou marketing. Mais do que isso, colocar o debate como campo de atuação profissional", argumenta.

Para o Chief Technology Officer (CTO), Flavio Comim, os problemas com as avaliações correntes são inúmeros. Ele conta que o uso de métricas subjetivas, a falta de sistematização de resultados, o emprego de metodologias top-down e a limitação na análise de impacto distributivo são equívocos freqüentes nos processos de análise.

"Você não consegue descrever um ser humano em uma característica. Você deve trabalham com sua multidimensionalidade. Nesses sentido, como o uso de técnicas de estatística multivariada pode ser limitada?", questiona Comim.

Ele defende a adoção de uma metodologia de análise que parte do micro ao macro dos projetos, calcada em pesquisas para a definição de critérios universais a todos os stake holders. Por exemplo, que se trate de uma avaliação mais objetiva do programa menos dependente de avaliações gerais subjetivas de seus participantes.

Outras sugestões apresentadas pelo especialista apontam para o monitoramento voltado para uma análise evolutiva do progresso dos alunos, além de uma análise cross-section (época específica). "As variáveis são muito grandes para fazer apenas um corte temporal".

A comparabilidade entre os resultados, menos dependentes de análises puramente descritivas, ao lado de uma sincronia com padrões internacionais de avaliação de programas sociais também são recomendadas por Comim. "Você precisa comparar para saber onde determinado processo não funcionou. Em um programa de educação, deve saber o porquê em uma escola deu certo e na outra não."

Texto do Grupo de 3Setor, enviado por Rodrigo Zavala.