Avaliação de políticas públicas : experiências brasileiras : procedimentos metodológicos

Abstract

A eficácia de avaliação de políticas públicas, como no caso do ProInfo, implica em isenção da equipe de avaliadores, pressupondo avaliação externa e ausência de vínculos e de envolvimento direto com o Programa e seu objeto. A avaliação do ProInfo foi feita por uma equipe do Departamento de Administração da Universidade de Brasília.

Na avaliação, foi adotada a abordagem sistêmica do Programa. Buscou-se, antes de tudo, a avaliar a unidade resultante da inter-relação entre as parte e os elementos que definem a introdução de novas tecnologias no processo ensino-aprendizagem, e entre elas e o ambiente externo, do que no desempenho particular de cada parte.

Os elementos dos parâmetros do sistema orientaram a definição dos conteúdos a serem pesquisados: inputs, ou seja, a adequação do projeto, da infra-estrutura e dos recursos humanos aos objetivos estratégicos do Programa, o processamento dos inputs nos processos de gestão pedagógica, e outputs, vale dizer, efeitos e impactos do Programa na escola, na comunidade escolar e no ambiente sócio-cultural da escola.

Como técnica de levantamento de dados foi adotada a realização de um survey, com aplicação de questionários e realização de entrevistas, e, ainda, um conjunto de estudos de caso.

Para o survey, foi dado duplo tratamento ao universo: censitário e amostral. O tratamento censitário foi dado aos órgãos de coordenação e treinamento do Programa, os Núcleos de Tecnologia da Educação (NTE), e ao subconjunto de escolas situadas em unidades da Federação com menos de 30 escolas beneficiadas pelo ProInfo. O tratamento amostral foi reservado para as escolas das demais unidades federativas. Como parâmetros estatísticos de amostragem, foram estabelecidos nível de confiança de 95% e erro de estimativa de 5%.

O survey foi realizado nos últimos dois meses de 2001. Na pesquisa, foram aplicados questionários em 223 NTE e 526 escolas; entrevistados 3.541 professores e 5.366 alunos. Ao final da pesquisa, haviam sido levantados 1.179 tipos distintos de dados e consultadas 11.237 pessoas.

Os estudos de casos foram feitos em separado, após a conclusão do "survey", a partir de setembro de 2002. Compreendem 40 casos, sendo 20 do ProInfo e 20 relativos a 10 escolas do Projeto Integrar, um programa governamental objetivando a integração entre a informática e televisão nas escolas. Os casos do Projeto Integrar se realizaram em duas etapas: uma avaliação ex ante, para mapear a situação da escola, e uma avaliação ex post,para analisar as transformações ocorridas, em função de iniciativas da própria escola ou como resultado de intervenções do Ministério da Educação e das Secretarias Estaduais de Educação com o objetivo integrar as tecnologias de informação e comunicação.

A utilização adequada de metodologias permite tirar conclusões seguras para orientar as políticas governamentais.