1A relação entre Estado e coletividades científicas, no Brasil, na década de 1990, se expressa em políticas públicas, pelas quais o Estado, com o apoio parcial dos cientistas, institui a “excelência” como o centro da re-organização do desenvolvimento científico e tecnológico brasileiro, tomando-a como condição essencial para a obtenção dos níveis de competitividade exigidos para a inserção do País na nova ordem econômica mundial. Um dos elementos centrais dessas políticas é a avaliação. Show
2Na década de 1990 manifestou-se, articulado com as políticas de organismos internacionais de assistência técnica e financiamento (Fundo Monetário Internacional (FMI), Organização dos Estados Americanos (OEA), Banco Mundial (BIRD), Comissão Econômica para a América Latinal), um forte processo de indução externa de reformas educacionais em muitos países da América Latina. Diagnósticos e pesquisas foram efetuados, apontando sérios problemas e deficiências dos sistemas educativos públicos, face aos requerimentos das formas econômicas e institucionais, no âmbito de uma nova ordem mundial.1 Questionava-se, fundamentalmente, a ineficiência desses sistemas para responder às necessidades próprias do momento histórico do capitalismo. O diagnóstico principal era que a consolidação de um cenário globalizado exigia competitividade dos mercados, independente da conjuntura de desenvolvimentos dos distintos países. Apontava-se a necessidade de adequar os serviços educativos à demanda do mercado e, ao mesmo tempo, de implementar mecanismos de avaliação, de modo a garantir o cumprimento dos requisitos de melhoria da qualidade do ensino. Organização e gestão dos sistemas tornaram-se, então, dimensões privilegiadas nas reformas educacionais (Rosar e Krawczyr, 2001). 3A esse processo associou-se um renovado interesse pela avaliação em distintos âmbitos e em várias instâncias do setor de C&T. A seguir será feito um breve retrospecto histórico-conceitual sobre a temática da avaliação. 1.1. A avaliação: elementos teóricos, metodológicos e históricos4O tema da avaliação traz, como elemento intrínseco, a questão da qualidade e a atitude comparativa. Quanto à qualidade, é importante ter presentes as dificuldades associadas à falta de um debate mais aprofundado sobre as razões e fontes últimas do julgamento sobre qualidade (o que é realmente qualidade?). Em geral, nas discussões sobre o assunto, o que está em jogo é o consenso e dissenso existentes acerca do tema, entre a coletividade científica (ou melhor, parte dessa coletividade: aquela considerada “qualificada” para avaliar). 5Como afirmam Davyt e Velho (2000), a avaliação é parte integrante do processo de construção do conhecimento científico, podendo suas origens ser identificadas com o surgimento da própria ciência. Por outro lado, o exercício da avaliação implica o uso de valores e julgamentos subjetivos, que incorporam uma série de elementos, condições e variáveis de contexto. 6Uma caracterização genérica dos processos avaliativos no setor de C&T pode ser efetuada a partir dos seguintes parâmetros: dependendo da finalidade da avaliação, essa incide sobre a pesquisa já feita ou por fazer; de acordo com o agente, a avaliação pode ser efetuada por pares da coletividade científica (peer review), ou por equipes intramuros da agência financiadora (corpo técnico); quanto ao modo de avaliação, este pode ser predominantemente qualitativo ou predominantemente qualitativo; quanto ao universo, pode-se trabalhar com um universo conhecido ou implícito; e, finalmente, quanto ao tempo, os processos podem ser contínuos ou ad hoc. Há diversas combinações possíveis entre esses elementos (Castro e Soares, 1986; Guimarães, 1994). 7A figura seguinte representa as diversas formas dos processos avaliativos. Figura 1  8A pesquisa já realizada passou a ser avaliada como meio de comunicação e controle do trabalho científico pelos próprios cientistas. A passagem do domínio privado para o público, através de técnicas específicas, tem sido uma das principais formas de conferir credibilidade a pesquisas (Shapin, 1996). Por outro lado, a avaliação de projetos de pesquisa (pesquisa por realizar) está baseada na necessidade do financiador de reduzir seus riscos para a alocação de recursos. Enquanto a revisão de artigos científicos foi instituída por iniciativa dos próprios cientistas, a revisão para fins de financiamento tem sua origem nas agências de fomento, estabelecendo relação entre organismos de Estado e cientistas (Davyt e Velho, 2000; Rip, 1994). 9A avaliação por pares tem como base, em princípio, o conhecimento dos cientistas, reconhecidos pela coletividade científica, na qual se situam, como possuidores de condições privilegiadas para julgar as pesquisas e instituições de sua área. Para Chubin e Hackett (1990), a revisão por pares é o mecanismo auto-regulador da ciência moderna. Como tal, se pode dizer que contribui de maneira substantiva para a consolidação das coletividades científicas, pois são seus integrantes os únicos que definem as regras de acesso e de exclusão, distribuindo internamente prestígio e autoridade (Nicoletti, 1985). 10Castro e Soares (1986) afirmam que, de forma geral, cientistas tendem a julgar conscienciosamente seus colegas. O autor reconhece, entretanto, diversos problemas nesse tipo de avaliação, tais como: possibilidades de favoritismo, discriminações, pressões. Para sanar essas dificuldades, várias precauções poderiam ser tomadas como, por exemplo, definir um número expressivo de juízes, promover sua renovação com freqüência, manter o sigilo sobre sua identidade, o double-blind, procedimento no qual juízes e trabalhos perdem sua identificação. 11Como restrição adicional ao método da avaliação por pares, Castro e Soares apontam o seu caráter de refletir um conhecimento compartilhado na coletividade científica, instância na qual circulam mitos e enganos. Além disso o autor afirma que “[u]tilizando a analogia de Irving e Martin, o juízo dos pares funciona bem nos regimes de ‘concorrência perfeita’ e é falho nos casos de ‘oligopólio’” (Castro e Soares, 1986: 154). 12A idéia de contrato social entre ciência e sociedade e a utilização da análise de pares como procedimento de alocação de recursos para pesquisas estão relacionados ao conceito de modelo linear de inovação que supõe uma cadeia que parte da ciência pura e chega ao progresso econômico e social. O modelo que se construiu a partir daí teve como base a idéia que o investimento público em ciência retornaria para a sociedade, sempre que fosse apoiada a “ciência de qualidade”, identificada apenas pelos próprios cientistas, passando as coletividades de cientistas a terem grande autonomia na distribuição interna dos recursos. Esse modelo de institucionalização da política científica teve origem nos Estados Unidos da América e influenciou os governos de outros países (Salomon, 1977; Ronayne, 1984; Dickson, 1988). 13Mesmo nos chamados países em desenvolvimento essa prática foi logo incorporada, a partir de políticas para essas nações promovidas por organismos internacionais como a Organização dos Estados Americanos ou a Organização Educacional, Científica e Cultural das Nações Unidas, e de pressões das coletividades locais de cientistas (Davyt e Velho, 2000). 14Nesse contexto, entre as décadas de 1950 e 1960, desenvolve-se o interesse dos organismos públicos na medição das atividades científicas, interesse que se consolida com o desenvolvimento da teoria e metodologia de indicadores de C&T (Holbrook, 1992). 15A cientometria (ou bibliometria), que trabalha com avaliações quantitativas, tem sido vista como alternativa importante para utilização conjunta com a avaliação por pares, pois, em princípio, proporia critérios mais desvinculados de julgamentos subjetivos e imediatos. Há que considerar, não obstante, que a bibliometria se baseia em julgamentos qualitativos, reaproveitando avaliações geradas para outros fins e utilizando técnicas quantitativas para o seu tratamento (Castro e Soares, 1986; Martínez, 1994). 16Um dos pressupostos da cientometria é a idéia de ciência como processo de produção (insumo-produto), em que recursos – humanos, capital, equipamentos, materiais (insumos), alimentam condições para a emergência de resultados – artigos em periódicos, livros, patentes, processos (produtos), cuja medição indica a produtividade da ciência. Os indicadores tradicionais, de caráter quantitativo, foram desenvolvidos para medir a ciência nos países centrais e se ajustam à situação desses países e, portanto, sua aplicação para os países periféricos oferece sérias dificuldades e inadequações. Apesar disso, os países latino-americanos têm se conformado em utilizar esses indicadores, sequer buscando processos de validação para os mesmos (Martínez, 1994). 17Por outro lado, há críticas a esse sistema de avaliação mesmo nos países desenvolvidos. Entre essas críticas estão: a consideração que as contagens de publicações dão igual peso a contribuições de valores diferentes; o fato que as diversas áreas da ciência têm padrões distintos de publicação; e, na análise de citações, os diversos problemas como, por exemplo, o efeito que leva a apoiar mais a quem já ganha mais e também fenômenos espúrios, como as inúmeras citações por erros graves, por críticas ao trabalho, entre outros (Castro e Soares, 1986). 18Ao longo do século XX, gerou-se um padrão único, passível de ser utilizado internacionalmente, para a avaliação da qualidade científica. Nesse processo não se consideram as diferenças na organização da ciência, nos sistemas de comunicação e no comportamento e condições de atuação dos cientistas das diferentes áreas do conhecimento e de diferentes países (Cueto, 1989; Davyt e Velho, 2000). A partir do processo de construção das bases de dados internacionais, separam-se, por um lado, a literatura mainstream, ou seja, aquelas publicações que passam a ser consideradas os canais mais importantes de comunicação científica internacional (Garfield, 1983) e que sintetizam o padrão de excelência; e, por outro lado, a periferia científica, ou seja, uma ciência que não apresenta padrão e prestígio internacionais e que, portanto, é vista como não excelente. 19Os indicadores bibliométricos partem da suposição mertoniana que a meta principal da ciência é o avanço do conhecimento, que, por sua vez, é medido pela excelência. Daí a importância da avaliação e, também, ser esta vista como um instrumento para a formulação de políticas. Para compreender o significado dessa idéia de excelência é necessário retomar o conceito de autonomia de Merton, para quem, o objetivo da ciência é “a extensão do conhecimento certificado” (1942: 270). Nesse ponto de vista, é considerado como periférico o cientista que dirige suas pesquisas para outros objetivos como, por exemplo, a solução de problemas práticos. Lea Velho (1994) chama atenção para o fato que, se é indiscutível que o fim imediato da atividade científica é produzir novos conhecimentos, isso não pode ser considerado a única meta da ciência, pois a solução de problemas práticos, a educação de novos cientistas, a transmissão de uma perspectiva científica à população de um país, a educação de especialistas em diversos campos, a garantia da autonomia de um país em campos, setores ou atividades específicas, são, também, metas da atividade científica. Autores como Knorr-Cetina e Mulkay (1983) têm questionado a idéia da ciência por “amor à ciência” e a noção de dinâmica própria e lógica interna especial intrínsecas à ciência e independentes da sociedade. 20A outra suposição, também fundada em Merton (1974) (teoria da publicação e compensação) é que o produto da ciência reflete-se totalmente nos instrumentos escritos formais dos cientistas, especialmente revistas. Assim as investigações produzem novos conhecimentos, tornados conhecidos por publicações, cuja função é incentivar a produção científica e obter reconhecimento da coletividade, compartilhando resultados (Velho, 1994). 21Ambas suposições têm como fundamento uma perspectiva positivista sobre o conhecimento científico (Velho, 1994), desvinculado-o do momento histórico em que é produzido e das necessidades e interesses concretos que subjazem à sua produção, o que leva a pensar sobre a adequação da idéia de excelência (em abstrato) como elemento central e norteador da avaliação de C&T e, mesmo, de formulação e condução de políticas, notadamente nos países periféricos. 22Pode-se afirmar que a obtenção de uma pesquisa básica, com excelentes níveis de qualidade (e é inegável que apenas uma ciência de boa qualidade pode encontrar aplicação), não garante, por si só, inovação econômica ou social, pois a transformação do produto da investigação em inovações nesses campos depende de fatores socio-econômicos e políticos que se encontram fora do processo de investigação (Velho, 1994; Porter, 1990; Maciel, 2001). Por outro lado, altos níveis de concentração da base científica e da produção de conhecimento, e pequena massa de pesquisadores, dificultam a produção, acumulação e distribuição do conhecimento, sem o quê não há inovação. 23As transformações que acompanham as novas formas de produção da vida material e do próprio conhecimento (Gibbons et al., 1994; Castells, 2000), requerem articulações dinâmicas entre as instâncias de produção de conhecimento, as empresas e o Estado e dependem de capacidade de inovação tecnológica e social, tanto em termos de país, quanto de regiões, localidades (Figueiredo, 1989; Maciel, 2001). Requerem um ambiente institucional e cultural, além dos recursos materiais. Nesse sentido, a ampliação de possibilidades de produção e de disseminação do conhecimento científico e a preservação de seu locus privilegiado – a universidade e os institutos de pesquisa – são ações estratégicas, não só para a estrutura científica e tecnológica e para a economia de um determinado país, quanto para o funcionamento do próprio Estado e da sociedade. 24Essas questões metodológicas, teóricas e políticas, envolvidas nas atividades avaliativas, indicam diferentes possibilidades e caminhos no uso da avaliação. Por esse motivo, é importante considerá-las quando se procede a análise da gestão do setor de C&T, que, no caso do Brasil, é efetuada em conjunto pelo Estado e pelos cientistas, resultando na atual estrutura científica e tecnológica do país.
25A histórica vinculação entre a idéia mertoniana de autonomia da ciência e o conceito de comunidade científica,2 bem como os limites desse conceito para analisar as relações entre os cientistas e desses com a sociedade e o mercado, no “novo modo de produção de conhecimento” (Gibbons et al., 1994),levaram-me a buscar um outro conceito para expressar essas relações.3
26Entre as diversas alternativas conceituais à idéia de comunidade científica que têm sido propostas para a análise das relações entre cientistas e desses com a sociedade,4 foi escolhida, portanto, a de coletividades científicas (Yahiel, 1975), que se baseia na análise das inter‑relações sociais, incluídos os diversos componentes existentes na estrutura social investigada. 27Nesse enfoque, a atividade científica ocorre principalmente em coletividades determinadas, não por normas e valores, e sim por seu pertencimento a certas instituições ou disciplinas, podendo as coletividades e organizações científicas incluir tanto instituições totais como laboratórios individuais, sociedades científicas e grupos (Yahiel, 1975). Essa representação da atividade científica propõe, não somente o estudo das interações entre os cientistas, como o das relações entre o cientista e a sociedade, o que, desde o ponto de vista assumido pelo presente estudo, a coloca em posição privilegiada frente a outras alternativas ao conceito de comunidade científica. 28O ponto de vista das coletividades científicas permite, também, uma nova síntese conceitual, obtida a partir de sua utilização conjunta com outros conceitos significativos tais como: o de campo científico de Bourdieu (1983), com sua dimensão concorrencial e conflituosa, acrescido de outras instâncias e atores, além dos cientistas; o de arenas trans‑epistêmicas de Knorr-Cetina (1982); e o de mundos da ciência de Nunes (1996). 1.2 Estado e coletividade científica no Brasil: avaliação e excelência29A formação e o desenvolvimento da coletividade científica no Brasil sofreram forte influência das opções do Estado nas políticas de C&T, notadamente da escolha, feita pelo Estado, de buscar legitimidade na coletividade científica e a inclusão desta nas escolhas sobre as destinações do fomento, mantendo‑a, entretanto, apartada da decisão sobre o montante de recursos e dependente das verbas das agências. Essa opção contribuiu para que a coletividade científica assumisse uma face predominantemente acadêmica e buscasse formas de sobrevivência e de crescimento, a partir de uma progressiva atuação dentro das próprias estruturas do Estado. 30Ao analisar as relações entre o Estado e as coletividades de cientistas, Trigueiro afirma que são elas, em uma “combinação de interesses e de necessidades específicas, uma forma de mutualismo, que dão sentido e coerência a todo o processo em que se constitui e se consolida a nossa base científico-tecnológica” (2001: 37). 31As relações entre Estado e cientistas tiveram, sempre, como espaço privilegiado, as agências de fomento como o CNPq (Conselho Nacional de Desenvolvimento Científico e Tecnológico) e a Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior), as quais se caracterizam por longa história de interação com a coletividade científica através dos canais de representação destas, que se constituem nessas instituições – formalmente – segundo critérios embasados na competência técnico‑científica. Dessa forma, planejar e implementar as políticas de C&T vem sendo uma atividade compartilhada e, por que não dizer, dirigida pelos próprios cientistas. 32Por outro lado, a opção de uma política educacional privatizante (em termos de ensino superior) aliada à ênfase conferida à pesquisa tecnológica em termos de destinação de recursos durante a década de 1970, moldaram uma das características fundamentais da pesquisa universitária brasileira: o financiamento (primordialmente) com recursos externos à universidade. A falta de recursos orçamentários para pesquisa, nas universidades públicas, levou à necessidade de uma permanente busca de alternativas para o financiamento da pesquisa, que tem sido efetuado através de agências de fomento como Finep (Financiadora de Estudos e Projetos) e CNPq, de órgãos governamentais como Banco do Brasil e Banco Nacional de Desenvolvimento, de instituições privadas ou de organizações internacionais como o Banco Mundial e a Organização Internacional do Trabalho, entre outras (Guimarães et al., 1995). 33Cabe lembrar aqui que um dos problemas acentuado por essa característica foi a seletividade em termos de regiões e de instituições, de equipes de pesquisadores e de áreas prioritárias (Sobral et al., 1987). Alguns centros universitários, principalmente aqueles localizados em estados com melhores condições econômicas e culturais, conseguiam mais facilmente financiamento para suas pesquisas e qualificavam seus pesquisadores, formando centros de excelência, vindo a ocorrer uma alta concentração desses na Região Sudeste. A instabilidade do fomento foi outra conseqüência do financiamento externo. 34As características de autoritarismo, apelo nacionalista e planejamento centralizado do regime militar favoreceram a cultura clientelística e a organização da pressão corporativa na sociedade. Tais condições propiciaram a atuação de frações de classes sociais e de grupos de interesse no interior do Estado. 35Nesse contexto, e a despeito das dificuldades, a coletividade científica brasileira cresceu e se fortaleceu, buscando as armas políticas adequadas ao momento, fugindo do enfrentamento, e, dessa forma, alcançando avanços na expansão do setor de C&T e na satisfação de seus interesses. Para isso contribuíram instituições como a ABC (Academia Brasileira de Ciências) e a SBPC (Sociedade Brasileira para o Progresso da Ciência), além das inúmeras sociedades ligadas a diferentes áreas e disciplinas que se foram constituindo no decorrer do período. 36O modelo de relação entre Estado e coletividade científica acadêmica, que daí resulta, incorpora os cientistas de tal modo na gestão do setor de C&T, que esses passam a desempenhar uma participação decisiva nos rumos do fomento e na conformação da própria estrutura de C&T, não só executando a pesquisa, como também intervindo no planejamento e na gestão e coordenação do setor, mas não nas decisões sobre orçamento. 37Através de suas sociedades representativas, a coletividade científica passou, pois, a ser um elemento fundamental para o planejamento e gestão de C&T, atuando diretamente nas agências de fomento e, inclusive, no Ministério de Ciência e Tecnologia (MCT), implementando políticas, ações de investigação e desenvolvendo critérios de avaliação, por meio da participação de pesquisadores em comitês, comissões e conselhos, cujas indicações passaram a ser feitas mediante consultas à sociedades e associações. 38O efeito da presença da coletividade científica no setor de C&T, seja através da ação direta de representantes, seja por pressões exercidas sobre o governo (no sentido de preservar instituições, obter mais recursos, organizar o setor) foi inegavelmente benéfico. Essa atuação, não obstante, construiu-se no interior de uma política clientelista, fortemente associada a ações de grupos de interesses, cuja tendência é a auto-preservação, com base em esquemas apoiados na visão dos pares e em uma perspectiva excessivamente endógena e fragmentária da realidade (baseada em áreas e disciplinas). 39Por outro lado, a opção empresarial em preferentemente importar tecnologia, ou (no caso das estatais) desenvolver pesquisa no próprio âmbito das empresas, dificultou o estabelecimento de relações entre empresas e universidades. As lógicas distintas dos cientistas e das empresas tornam difíceis as relações entre os dois tipos de instituições e, de modo geral, o empresariado tem estado ausente tanto do investimento em C&T, quanto da formulação e implementação das políticas na área. 40Na perspectiva desse trabalho, as dificuldades de estruturação do campo científico, sua tênue vinculação com o setor produtivo e a baixa relação estabelecida entre ciência e qualidade de vida da população, resultando em demandas tímidas e restritas por parte da sociedade, favoreceram certo isolamento da coletividade científica acadêmica, tendência, essa, que acabou por se traduzir em dificuldade de perceber a prática científica como prática social, e na eventual exaltação de uma concepção “narcísica” da autonomia da ciência. 41Esse ponto de vista se articula à apologia da livre concorrência e da igualdade de oportunidades entre os cientistas, que competiriam de acordo com seus méritos, com a conseqüente recusa ao estabelecimento de prioridades externas aos interesses da própria coletividade científica e, principalmente, a negação de legitimidade de acesso aos recursos de regiões e de instituições que não possuam grupos consolidados. Por outro lado, visando a obtenção dos recursos crescentemente escassos, os cientistas buscam exercer influência efetiva sobre a destinação de recursos para a área, principalmente através das agências de fomento. 42Considera-se que a conjuntura do início da década de 1990, no Brasil, em que se alinhavam, por um lado, as questões decorrentes da crescente importância de C&T nos processos de acumulação, em nível internacional, resultando em novos patamares de competitividade; e, por outro lado, os sérios limites aos gastos públicos, impostos pela crise fiscal, no país, e a perspectiva de reforma do Estado, levou à crescente necessidade de justificação do apoio às atividades de pesquisa e de instrumentos de legitimação e priorização orçamentária. Esse contexto e as orientações vindas de organismos internacionais favoreceram uma atitude crescentemente avaliativa do Estado. As atividades de avaliação foram, a partir daí e cada vez mais, vistas como instrumentos fundamentais para a obtenção de um maior controle político da orientação a imprimir-se ao progresso científico e tecnológico do país. 43No Brasil, a experiência de acompanhamento e avaliação sistemáticos em ciência e tecnologia, com objetivos (explícitos) de planejamento, foi, até o início dos anos noventa, irregular e bastante pobre. Existiam poucos instrumentos eficientes para subsidiar uma avaliação mais global do setor de C&T, de maneira a informar o seu planejamento. Não obstante, havia significativos processos de avaliação nas agências de fomento, subsidiando a destinação dos recursos e a gestão de inúmeras atividades de C&T. A sistemática desses processos, como se verá adiante, está intimamente articulada à presença e ao papel da coletividade científica brasileira nas estruturas do Estado responsáveis pelo planejamento e gestão das atividades de C&T no Brasil. 44A seguir se irá examinar como a coletividade científica atua em duas das mais importantes agências de fomento do país: Capes e CNPq. O papel estratégico que a coletividade científica tem desempenhado na avaliação e definição de alocação de recursos apresenta algumas diferenças nas duas agências, dadas as características próprias de cada instituição. 2. A avaliação da pós-graduação: a coletividade científica e a Capes
45Na Capes a coletividade científica acadêmica está presente nas comissões de área, nas quais apenas os representantes de área5 têm mandato e, como afirma Nicolato: “cumprem uma pauta de trabalho regular e sistemático junto à Capes” (2000: 29). Os consultores não têm mandato, são escolhidos a cada avaliação.
46Há quarenta e cinco representantes de área, que têm por tarefa formar as comissões de área (escolhendo, via de regra, os integrantes das comissões) e coordenar a avaliação6 em suas respectivas áreas, bem como, eleger entre si os representantes (dois) para cada uma das oito grandes áreas (Ciências Exatas e da Terra, Ciências Biológicas, Engenharias, Ciências da Saúde, Ciências Agrárias, Ciências Sociais Aplicadas, Ciências Humanas e Lingüística, Letras e Artes). Esses representantes passam a integrar uma instância colegiada, o Conselho Técnico Científico7 (CTC) responsável pela “...articulação das atividades dos representantes de área de seus respectivos campos de ação, intermediação das relações entre tais representantes e o CTC e estabelecimento de elo de ligação entre a comunidade acadêmica e a direção e colegiados superiores da Capes” (Nicolato, 2000: 29). 47O CTC subsidia a Capes no planejamento, coordenação e decisões referentes a todas as etapas dos processos de avaliação da agência e, nos últimos anos da década de noventa, vem participando de forma bastante destacada no esforço empreendido pela Capes, no sentido de ajustar seus critérios de avaliação aos padrões de desempenho adotados internacionalmente, e na busca de uma uniformização desses critérios pelas comissões de áreas (Nicolato, 2000; Guimarães, 2002; Vasques, 2002). 48A coletividade científica tem, ainda, assento no Conselho Superior, colegiado que delibera sobre a condução geral da agência, tratando de temas tais como as propostas de planos de desenvolvimento da pós‑graduação e de formação de recursos humanos de alto nível; escolha de representantes de área; programação anual e execução orçamentária, entre outros. 49O sistema de avaliação da Capes é bastante recente, tendo iniciado em fins da década de 1970, e sua estruturação decorreu do crescimento acentuado da pós-graduação no país a partir desse período. Hoje, além da sua atuação como agência de fomento, a Capes é responsável pela avaliação do Sistema Nacional de Pós-graduação. 50Na origem da avaliação da Capes, encontra-se o objetivo de alocar mais bolsas aos melhores programas de pós-graduação (um processo seletivo), sua unidade de análise são os cursos de mestrado e doutorado do país. Desde a fase de implantação do sistema, a avaliação ocorria através do julgamento por pares. A agência formou uma carteira de consultores, selecionando-os entre cientistas destacados em sua área. Cada área possuía uma lista de consultores e um presidente de comissão com mandato de dois anos (Castro e Soares, 1986) e a sistemática do processo consistia no envio dos relatórios padronizados para os cursos, preenchimento dos relatórios e reenvio para a Capes, onde os relatórios eram debatidos pelas comissões de pares, sendo gerado um relatório conclusivo (eventualmente com proposição de visita ao curso), que, por sua vez, era enviado de volta ao coordenador do curso, com a classificação do mesmo. Aos cursos eram atribuídos conceitos de A a D e a avaliação era utilizada, primordialmente, para a distribuição de bolsas, de forma proporcional ao conceito. 51A partir da década de 1990, que a Capes se consolida como a principal agência do sistema nacional de pós-graduação. Em meados da década, o processo de avaliação dos cursos sofreu modificações, sendo ampliado o leque das áreas, subdividindo-se algumas, como Biologia, Medicina e outras em que havia apenas um coordenador para uma grande diversidade de áreas. Por outro lado os resultados de avaliação, que indicavam o crescimento dos conceitos A, levaram a debates entre agência e consultores visando estabelecer critérios mais rígidos (política mais seletiva) para a atribuição do grau máximo. 52No terço final da década foi elaborado pela Capes um documento que apresentava um diagnóstico do modelo a ser superado e propunha, para superação desse modelo, uma política de desenvolvimento da pós‑graduação voltada a uma maior inserção no contexto mundial de produção do conhecimento científico (Capes, 1998). 53As alterações propostas para o sistema de avaliação da Capes foram feitas, gerando um novo modelo que passou a avaliar os programas de pós‑graduação e não mais os cursos por ele oferecidos. Como referência para avaliação passaram a ser adotados os padrões internacionais de qualidade das respectivas áreas do conhecimento, estabelecendo-se, com isso, o princípio de revisão periódica dos parâmetros do processo de avaliação, visando ajustá-los aos contínuos avanços do conhecimento em cada área. As avaliações gerais passaram a ser feitas a cada triênio e foi adotada uma escala de notas de 1 a 7, sem frações. As notas 6 e 7 passaram a ser exclusivas para programas com doutorado e com nível de excelência internacional; a nota 5 é a nota máxima admitida para programas que não oferecem doutorado; e a nota 3 representa o padrão mínimo de qualidade, aceito para a validação dos diplomas pelo Ministério de Educação (Nicolato, 2000). 54A ênfase na adoção de padrões internacionais de qualidade, como parâmetro para avaliação dos programas (com base em uma perspectiva baseada na produtividade, visando competitividade), aliada a uma crescente utilização de indicadores quantitativos e de critérios padronizados, parece, entretanto, estar vindo em prejuízo de algumas áreas (Humanas e Sociais aplicadas, Saúde), regiões (Norte, partes da Região Sul, partes do Nordeste) e instituições (universidades e institutos de pesquisa menos consolidados). 55Algumas questões levantadas por ex-dirigentes da agência e por membros da coletividade científica nacional e internacional corroboram as afirmativas acima. Um dos problemas mais graves identificado é a hegemonia de algumas áreas (e da perspectiva disciplinar) na definição de critérios e de níveis de excelência. Na alteração que foi efetuada a partir da avaliação de 1998, os critérios para medir qualidade (por exemplo para selecionar os periódicos) foram redefinidos pela grande área e grande parte ou a totalidade da produção de pesquisadores de áreas ou subáreas não hegemônicas ficou de fora, pois não se adequava aos critérios assumidos.
56Outro problema importante apontado, até mesmo por avaliadores internacionais,8 além dos próprios programas de pós-graduação, é o critério de publicação internacional em revistas reconhecidas, que se torna problemático quando generalizado. De acordo com Loyola (2002), esse modelo, incorporado pela Capes, tem origem no modelo utilizado pelos pesquisadores do CNPq, que, por sua vez, inspira-se na área das Ciências Exatas. As características específicas da área das Ciências Exatas permitem um alto nível de internacionalização em sua produção científica, caso semelhante ao de áreas biológicas e biomédicas. Outras áreas, entretanto, são mais voltadas para questões nacionais e locais, ou mesmo, encontram mais dificuldade de publicar fora. 57Ao lado disso haveria, também, o risco de uma postura centrada “numa visão tecnológica de ciência” que vem se afirmando como dominante e que pode levar a uma drástica redução do investimento na formação de recursos humanos em um sentido humanista e no recrudescimento ou radicalização de uma perspectiva tecnológica e produtivista, que acabe levando ao desmonte das agências e, mesmo das universidades (Loyola, 2002). 58Em entrevista concedida em meados de 2001 (Ferreira e Moreira, 2002: 100-101), Cláudio de Moura Castro levanta a questão do corporativismo dos comitês assessores e a “estreiteza disciplinar” imperante nos mesmos. Outrossim, se o sistema de mérito vem possibilitando manter o alto nível de agências como a Capes e de seu sistema de avaliação, é, também, um sistema perverso, tipo “bola de neve”, no qual quem mais tem mais leva, daí a necessidade do estabelecimento de políticas compensatórias e, se poderia agregar, de um planejamento a partir de uma perspectiva menos parcializada. Diversos avaliadores internacionais apontaram a dificuldade em ver uma política e um planejamento por trás do sistema de avaliação. 59Concordando com Loyola (2002), pode-se afirmar que a coletividade, apesar de se constituir em um apoio importante e fundamental na implementação das políticas no setor de C&T, é muito setorizada e interessada (os grupos defendem interesses de suas instituições e áreas, enquanto o papel do gasto público é outro, devendo transcender interesses acadêmicos e corporativos). Se, de um lado, é importante para a C&T brasileira perseguir a inserção internacional, também é verdade, por outro lado, que se deve evitar que essa busca se faça às custas do desenvolvimento de áreas, grupos, voltados para a obtenção de conhecimentos que subsidiem a solução dos graves problemas nacionais e locais, ou, ainda, que agrave as disparidades regionais no setor. 60Outro problema bastante discutido é a crescente quantificação. Para Castro (2002) a avaliação da ciência é qualitativa e, ao avaliar pela média, corre-se o risco de mediocrizar. Há diversas manifestações dos avaliadores internacionais, com relação ao problema da excessiva quantificação e da grande quantidade de dados, que não necessariamente servem para a avaliação. Observam, ainda, que deveria haver coletas diferenciadas e não um conjunto universal de dados para todas as especialidades, argumentando que solicitar informações padronizadas a todas as áreas é supor uma igualdade que não existe (Spagnolo e Calhau, 2002: 23 e 27).
61Os esforços no sentido de desenvolver e aplicar sistemas quantitativos para a avaliação em ciência, visando obter subsídios para o planejamento e a gestão de C&T, têm assumido importância crescente nos países periféricos (Velho, 1994).9 No Brasil, em 20 anos, a produção científica catalogada na base de dados do ISI cresceu significativamente, passando de 68 artigos (0,01% da produção mundial), em 1970, para 9.511 artigos completos em 2000.10 62Cumpre destacar que a demanda crescente pela elaboração de mecanismos que acompanhem e avaliem o crescimento expressivo da produção científica de qualidade no Brasil tem estimulado instituições brasileiras a desenvolverem bases de dados que possam gerar informações que permitam construir indicadores para a produção científica brasileira. Entre as diversas iniciativas recentes desenvolvidas nesse sentido, encontram-se o Catálogo Indexado por Endereços e Nomes de Cientistas e por Periódicos e Assunto – C.I.E.N.C.I.A., a Scientific Electronic Library Online – SciELO, o Diretório dos Grupos de Pesquisa do CNPq e a QUALIS (Souza e Paula, 2002).
63A base de dados QUALIS,11 tema muito debatido na avaliação da Capes, é um aplicativo externo ao Sistema de Avaliação dos Programas de Pós-graduação cujo objetivo original era permitir a composição de indicadores de qualidade da produção dos programas de pós-graduação a serem utilizados na avaliação desse nível de ensino. A classificação dos periódicos, com vistas ao processo de avaliação dos programas de pós‑graduação da Capes, era feita de forma artesanal, com baixa sistematização e pouca uniformidade, entre as diversas comissões de áreas. A base QUALIS foi implantada em 1998 estando, desde então, em processo de construção (Capes, 2003).
64Diversas críticas têm sido dirigidas à avaliação da Capes e, especificamente, à base QUALIS, não só pelos programas avaliados, como também por outros integrantes da coletividade científica. Os principais questionamentos referem-se aos critérios utilizados na classificação dos periódicos e ao problema da inserção internacional e da relação periódicos nacionais versus internacionais. Quanto aos critérios, esses são vistos como pouco claros, bastante subjetivos e com variação muito freqüente, tanto no âmbito de uma mesma área (quando se alteram as comissões), quanto entre as áreas.12 No que se refere à questão da inserção internacional, as críticas dirigem-se à importância exagerada que estaria sendo atribuída à publicação em periódicos internacionais, apontam a existência de conflitos na interpretação do que é artigo internacional e a necessidade de serem consideradas as condições específicas de cada área (Souza e Paula, 2002; Capes, 2003).13 65A centralidade da Capes para o funcionamento do sistema nacional de pós-graduação, sua posição estratégica, não só como órgão de fomento específico da pós-graduação, mas também, como um parâmetro avaliativo para outros tipos de fomento e apoios e ela articulados indica a necessidade de refletir sobre essas questões, situando-as no quadro mais amplo da estrutura atual de C&T e da gestão do setor, o que, entretanto, escapa aos limites desse trabalho. 3. A avaliação no CNPq66Passando para o caso do CNPq, pode-se afirmar que nessa agência, diversamente da Capes, a coletividade científica acadêmica se faz representar, de forma permanente, nos comitês assessores, que julgam os projetos de pesquisa e as bolsas para pesquisadores e estabelecem, também, os critérios para julgamento dos projetos e para classificação dos pesquisadores, candidatos à bolsa produtividade. Os membros dos comitês têm mandato de dois anos e são designados a partir de indicação dos programas de pós-graduação e de associações científicas. Um colegiado, composto por quinze membros do Corpo de assessores (dos quais, nove das áreas do conhecimento, três de áreas interdisciplinares e três de áreas de desenvolvimento tecnológico), o Comitê Multidisciplinar de Articulação (CMA) – antiga Comissão Coordenadora dos Comitês Assessores (CCCA) – assessora a Diretoria Executiva (DEX) do CNPq, nos assuntos relacionados aos sistemas de fomento e formação de pesquisadores, possuindo grande importância política. Os membros do CMA são escolhidos, pelo Conselho Deliberativo (CD), entre os componentes do Corpo de assessores (coordenadores) e têm mandato de um ano, renovável por igual período. 67O CNPq possui, portanto, uma assessoria técnico-científica, composta pelo Corpo de assessores, integrado por cerca de 300 pesquisadores escolhidos pelo Conselho Deliberativo, após consulta à coletividade científica e tecnológica; pelo Comitê Multidisciplinar de Articulação e por Consultores ad hoc, especialistas, em sua maioria bolsistas de produtividade em Pesquisa, que analisam o mérito cientifico e a viabilidade técnica dos projetos de pesquisa e solicitações das bolsas 68Estudando os processos de avaliação no CNPq, Castro e Soares identificaram que até meados dos anos 70, seus métodos de triagem de projetos “baseavam-se em juízos informais de um grupo limitado de cientistas transformados em administradores, que se valiam, quando necessário, de pareceres de colegas” (1986: 166). Os Comitês Assessores (CAs), grupos permanentes, separados em áreas do conhecimento e formados por cientistas com mandatos periódicos, surgiram como resultado de uma reformulação interna da agência e, desde então, há uma divisão de responsabilidades entre agência e coletividade científica, através dos CAs, que têm uma grande autonomia e total poder decisório na avaliação das propostas de fomento que são selecionadas dentro dos orçamentos disponíveis. 69A substantiva reforma nos estatutos do CNPq, ocorrida em 1974, ampliou suas funções, colocando-o como órgão coordenador do Sistema Nacional de Desenvolvimento Científico e Tecnológico. A ênfase no papel do planejamento, característica do período, manteve-se até 1985, quando novamente ocorreram mudanças em sua estrutura e funções, reconstituindo-se o Conselho Deliberativo, com ampla participação da coletividade científica. 70No início da década de 1990, o CNPq era, como lembra Guimarães (1994), entre as agências federais, a mais permeável pela coletividade científica, assumindo essa interação um caráter permanente e amplo. O sistema de funcionamento da avaliação incluía 31 comitês assessores organizados em áreas e subáreas do conhecimento, mobilizando cerca de 170 pesquisadores (esses número poderia variar) que possuíam mandato bienal. A escolha desses assessores dava-se a partir de um complexo sistema de consultas coordenadas pelo CD e incluía votos dos pares nas sociedades científicas e nos programas de pós-graduação, sendo escolhidos os mais votados. Os comitês reuniam-se duas vezes por ano, examinando, de forma concentrada, o conjunto da demanda existente até então (Guimarães, 1994). 71A sistemática dos julgamentos, que, até hoje, se mantém praticamente inalterada, envolve consultores, além dos comitês. O corpo técnico da agência encaminha as solicitações de auxílio a um consultor para elaboração de parecer ad hoc, o qual é anexado ao processo que contém os projetos examinados pelo comitê assessor. Esses pareceres servem como critério de exclusão (quando negativo) ou de balizamento para a decisão dos comitês, que se constituem em importante arena de exercício político, decidindo a alocação de um montante expressivo de recursos.
72Reinaldo Guimarães, analisando a avaliação e o fomento de C&T no Brasil, no início da década de noventa, apontou alguns problemas enfrentados pelo sistema de avaliação do CNPq. Esses problemas diziam respeito, principalmente, à falta de condições da agência para o acompanhamento da performance de seus bolsistas (na área de bolsas) e a uma deficiência que apontava, à época, como central no sistema de avaliação de C&T no país, qual seja, a falta de um adequado sistema de informações sobre os grupos de pesquisa em atividade no país, ou, nas palavras de Guimarães, “a ausência de um diretório regularmente atualizado da atividade de pesquisa no país”, instrumento que colocava como essencial, em face da grande heterogeneidade intra-institucional no Brasil (1994: 71).14 73A identificação da inexistência de um sistema de informação, a partir do qual fosse possível às instâncias de planejamento do setor de C&T coordenar, acompanhar, avaliar e propor rumos, foi o ponto de partida para a concepção e desenvolvimento do projeto denominado Diretório dos Grupos de Pesquisa do CNPq, coordenado por Reinaldo Guimarães, pesquisador visitante do CNPq à época.O objetivo do projeto era “a constituição de um sistema de informação sobre a atividade de pesquisa científica e tecnológica no âmbito de universidades e institutos de pesquisa, com cobertura nacional”(Guimarães, 1994: 111). Sua utilidade, segundo o autor estava em:
74Uma das características essenciais desse sistema de informações, segundo seus formuladores, é que ele deveria abrir caminho para a elaboração de uma classificação hierarquizada do parque de pesquisa brasileiro (Guimarães et al., 1995). A unidade básica da informação e análise é o grupo de pesquisa, visto como uma “unidade de produção de conhecimento científico e tecnológico”. 75A implantação do Diretório iniciou-se nos primeiros anos da década de 1990 e os dados de sua primeira versão (1.0) foram publicados na revista Ciência Hoje, em maio de 1995. A partir daí o CNPq (e todo o setor de C&T) passou a contar com informações detalhadas e abrangentes sobre a pesquisa acadêmica no país. As versões subseqüentes foram sendo aperfeiçoadas a partir de sugestões de membros da coletividade e correções de problemas identificados, pelo grupo que elaborou e desenvolveu o sistema. 76A riqueza de informações levantada pelo Diretório, sua amplitude (abarca aproximadamente 90% da produção científica nacional) e importância são inegáveis. O que, entretanto, muitas vezes não é levado em conta na utilização desses dados e informações, é o seu caráter de “mapa”. Sua incapacidade em medir qualidade e, mesmo, produtividade, a não ser em grandes linhas quantitativas, o que, muitas vezes oculta importantes características da pesquisa e pode levar a decisões equivocadas de gestão quando ignoradas essas ressalvas. 77Em resumo, dois tipos de problemas podem ser atribuídos ao modelo de avaliação vigente no CNPq: 1) o peso determinante da coletividade científica, que se encontra presente na gestão das políticas da agência, desde a formulação dos critérios para julgamento e avaliação de projetos e dos próprios pesquisadores e sua produção, passando pela seleção dos mesmos, até a decisão sobre a destinação dos recursos (auxílios e bolsas), pois é a própria coletividade que hierarquiza e estabelece as prioridades através dos comitês de área, caracterizando um modelo de fomento impulsionado pela ciência (modelo da autonomia) e não por necessidade sociais e/ou econômicas (o chamado balcão); e, em parte como decorrência do primeiro, 2) a reposição das desigualdades regionais na distribuição dos recursos de C&T. Os dados, abaixo, sobre os comitês assessores e destinação de recursos ilustram essa afirmativa.
78A composição dos comitês assessores atuantes em 1990 registrava 64% de pesquisadores da Região Sudeste, 33% de São Paulo, e 19% da USP. Com relação à instituição de origem dos assessores, 86% dos mesmos eram vinculados a universidades ou instituições isoladas de ensino superior. Do total dos recursos envolvidos nos julgamentos no período, 62,5% foram destinados à Região Sudeste, assim como 60,0% dos recursos destinadas a auxílios e 63,7% das bolsas, foram para essa região. São Paulo recebeu 32,7% da totalidade dos recursos, 27,3% dos recursos para auxílios e 31,8% do número total de bolsas.15 79Doze anos após, a análise de dados levantados pela pesquisa mostra a manutenção dessa composição: 65,3% dos pesquisadores atuantes nos comitês são da Região Sudeste, 16% da Região Sul, 13% Nordeste e 5,3% das Regiões Norte e Centro-Oeste. Manteve-se, também, a concentração de recursos financeiros. Em 1999, o CNPq despendeu aproximadamente 364,5 milhões de reais em bolsas e apoio à pesquisa, com a seguinte distribuição: 60,2% para a Região Sudeste, 15,4% para a Região Sul, 13,7% para o Nordeste e, por fim, 7,3% e 3,0% para as Regiões Centro-Oeste e Norte, respectivamente (Diniz e Guerra, 2000). 4. Conclusão
80A abordagem efetuada, nesse artigo, sobre as inter-relações entre coletividades científicas, Estado e sociedade, que resultaram no modelo de desenvolvimento científico e tecnológico brasileiro, permite vislumbrar algumas das características desse modelo, tais como, o peso determinante da coletividade científica acadêmica nas decisões sobre avaliação e sobre o fomento, sem que, entretanto, essa coletividade participe, jamais, na decisão sobre o montante de recursos destinados ao setor, montante esse que é definido “tecnicamente” pela área fazendária16 (executivo) e politicamente pelo parlamento; e, também, a significativa influência dessas escolhas na configuração da base técnico-científica brasileira. 81Grandes disparidades regionais e desigualdades em termos da distribuição de instituições, equipes, massa crítica e recursos para o desenvolvimento de C&T representam distorções no planejamento e na gestão de C&T que podem ser relacionadas ao jogo político dos grupos hegemônicos da coletividade científica nacional, que, com a conivência do Estado, tenderam a manter as desigualdades já existentes no início da década. 82As políticas formuladas e, principalmente, implementadas, no setor de C&T, não foram na direção de resolver as questões ligadas às disparidades regionais ou aos graves problemas sociais relacionados à exclusão social, pelo contrário, pode-se afirmar que a tendência, na última década, de copiar “modelos” e aplicar políticas e estratégias de análise e de ação, moldados na realidade dos países centrais (Maciel, 2002), levou ao domínio de uma perspectiva produtivista nas direções dos órgãos de C&T, o que aliado à posição autonomista e centrada em uma certa mitificação da idéia de excelência, por parte de parcela da coletividade científica acadêmica que participa da gestão do setor, acabou resultando em políticas e ações que tendem a agravar as distorções da base técnico-científica brasileira, reforçando a oligopolização de oportunidades e recursos por parte de alguns grupos e instituições. |
Um dos parametros que os cientistas ou tecnicos
Postagens relacionadas
direito autoral © 2024 ptfrojeostern Inc.
