Como Pensam os Professores, de Michèle Lamont. [How Professor Think. INSIDE THE CURIOUS WORLD OF ACADEMIC JUDGMENT].

APÊNDICE

As organizações que participaram desta pesquisa são o American Council for Learned Societies, o Social Science Research Council, a Woodrow Wilson Society of Fellows, uma fundação anônima nas ciências sociais e uma Society of Fellows em uma universidade de elite. Elas foram escolhidas com base em uma combinação dos seguintes critérios: (1) centralidade no mundo do financiamento das ciências sociais e humanas, (2) diversidade nos tipos de painéis, (3) conveniência (contatos pessoais que facilitariam o envolvimento) e (4) disposição para participar. Os dois últimos fatores são particularmente importantes porque os dados que eu pretendia obter são altamente confidenciais e muito raramente disponibilizados aos pesquisadores. Tive que me envolver em longas negociações com algumas dessas organizações antes de ter acesso; também tive que assinar um acordo formal cobrindo as condições de envolvimento dos participantes e a proteção da confidencialidade.

As condições para o recrutamento dos painelistas variaram. Duas agências de financiamento encorajaram fortemente os painelistas a se voluntariarem para serem entrevistados e três tornaram meu acesso dependente do acordo unânime dos membros do painel para participar. Em todos os casos, escrevi aos membros do painel para garantir seu consentimento individual, fornecer-lhes informações básicas sobre o projeto e convidá-los a discutir a pesquisa e suas preocupações. Essas cartas-convite declaravam inequivocamente o propósito da pesquisa e asseguravam aos destinatários que, na apresentação dos resultados, todas as informações que pudessem levar à sua identificação seriam salvaguardadas.

RESPONDENTES

Foram conduzidas um total de 81 entrevistas, incluindo 66 entrevistas com 49 membros diferentes do painel (17 painelistas foram entrevistados duas vezes, porque atuaram em painéis durante os dois anos do período de estudo). Quinze entrevistas adicionais foram conduzidas com diretores e presidentes de programas relevantes para cada painel, que forneceram detalhes sobre o que aconteceu durante a deliberação do painel na ausência de observação direta. Os painelistas estão distribuídos em uma variedade de disciplinas. As disciplinas mais representadas são, em ordem decrescente, história (14); literatura e antropologia (7 cada); ciência política e sociologia (6 cada); antropologia (5); musicologia (3); história da arte, economia, clássicos e filosofia (2 cada); e geografia e biologia evolutiva (1 cada).

Além de sua afiliação disciplinar, alguns entrevistados se identificaram como tendo mais de um campo. Por exemplo, uma dúzia de indivíduos se descreveram como envolvidos em estudos femininos ou em estudos afro-americanos. Assim, nas entrevistas, esses dois campos surgem como áreas interdisciplinares em expansão que estão remodelando significativamente as ciências sociais, bem como as humanidades.(1) Eles também apresentam algumas das características de disciplinas “fracas”, conforme descrito por Thomas Bender — são campos que não exibem limites externos rígidos ou forte consenso interno.(2)

 Entrevistei um pouco mais homens do que mulheres. Os entrevistados incluíam sete acadêmicos afro-americanos e um asiático. Quase dois terços dos painelistas lecionavam em instituições privadas, com 27 lecionando em uma universidade da Ivy League. Esse número é particularmente alto em parte porque a Society of Fellows está localizada em tal universidade. Todos os painelistas eram titulares e a grande maioria tinha experiência anterior atuando em painéis de financiamento. Eles não receberam honorários pelo serviço que prestaram, exceto no caso de uma competição de financiamento.

ENTREVISTAS

 Esta pesquisa se baseia diretamente em meu trabalho anterior em sociologia cultural, em particular, no estudo de critérios de avaliação. Com base em clássicos como Learning from Strangers, de Robert Weiss, usei uma técnica de entrevista aberta e indutiva semelhante aqui para identificar e explorar os critérios tidos como certos nos quais os membros do painel confiam para traçar limites entre projetos de pesquisa merecedores e não merecedores.(3)

As entrevistas geralmente duravam cerca de noventa minutos. Decidi abrir mão de entrevistas presenciais na maioria dos casos porque estava ansioso para coletar insights dos painelistas logo após eles terem concluído suas deliberações. Assim, a maioria das entrevistas foi conduzida por telefone algumas horas ou alguns dias após a reunião dos painelistas. Entrevistas presenciais foram conduzidas com painelistas localizados a uma distância de carro da minha universidade. Normalmente nos encontrávamos em um café ou no escritório do entrevistado. Li uma grande amostra de propostas antes das entrevistas e pude fazer perguntas específicas sobre os argumentos apresentados a favor e contra o financiamento delas.

OBSERVANDO

Consegui observar três painéis. Os painelistas foram informados da minha presença com antecedência e concordaram com isso. Consegui discutir meu projeto com eles antes das deliberações. Também socializei com os painelistas durante os intervalos para café e no almoço, para tentar borrar a fronteira entre eles e eu. Em todos os casos, acredito que fui tratado mais como um colega do que como um estranho. Isso foi facilitado pela atitude acolhedora que os oficiais do programa e os presidentes dos painéis manifestaram em relação a mim desde o início. Durante o curso da deliberação, tentei ser o mais discreto possível, pois fiquei sentado em silêncio na ponta de uma mesa. Tomei muitas notas escritas e evitei revelar minhas reações aos argumentos feitos pelos avaliadores.

REATIVIDADE E CONFIDENCIALIDADE 

Reconheço que a reatividade (o impacto da identidade do entrevistador no objeto de estudo) provavelmente caracterizou tanto a dinâmica dos painéis que observei quanto o conteúdo das entrevistas que conduzi. É provável que, na expectativa de serem entrevistados, os painelistas fossem mais reflexivos sobre os critérios que usavam e sobre seu comportamento como avaliadores. Eles podem ter sido mais conscientes de possíveis vieses e mais propensos a se esforçar mais para tentar limitar seu impacto. Assim, sua ênfase em que "o creme cresce" foi certamente acentuada pela situação da entrevista. Mas as entrevistas em profundidade que conduzi me convenceram de que essa visão é tão difundida (conforme ilustrado pelos dados citados neste livro) que não pode ser explicada apenas pelo ato comunicativo que a entrevista representa.

Um dos painéis que observei no Ano 1 foi bastante controverso. A organização financiadora se recusou a me deixar observar as deliberações no Ano 2, em parte porque o presidente estava preocupado com a reatividade e também talvez por causa do desconforto que os painelistas experimentaram ao ter debates acalorados na frente de um observador externo.

Os relacionamentos que tive com os painelistas tiveram um pequeno impacto nas entrevistas. Tive conexões próximas com apenas dois entrevistados (um é um amigo pessoal; o outro, um colega próximo na minha área). Tive um relacionamento mais distante com três outros painelistas; suas áreas de pesquisa eram de alguma forma relacionadas às minhas. Esse grau relativamente baixo de conexão provavelmente enfraqueceu o impacto da reatividade em meus resultados.

Como estou comprometido em preservar o anonimato dos painelistas e remover informações que possam levar à sua identificação, não forneço uma análise detalhada das maneiras pelas quais sua inserção nas redes pode moldar suas avaliações. Nem forneço informações específicas sobre como características organizacionais distintas influenciam a avaliação. Conforme meu acordo com as organizações participantes, o estudo explicitamente não diz respeito ao funcionamento de agências de financiamento específicas. Em vez disso, trato as agências como pontos de entrada para o mundo da revisão por pares, canais pelos quais se pode explorar o discurso sobre excelência que prevalece nas universidades americanas e fornecer a instanciação desse discurso. Em uma análise separada, focada nos critérios de originalidade, meus colegas e eu consideramos diferenças nos critérios avaliativos usados nos painéis. Não encontramos diferenças significativas.(4)

ANÁLISE DE DADOS

As entrevistas foram gravadas e transcritas. Comecei realizando uma análise qualitativa das transcrições que era indutiva e temática por natureza, usando matrizes analíticas que permitem uma identificação sistemática de critérios de avaliação.5 A análise centrou-se nas diferenças e semelhanças entre e dentro das disciplinas, concentrando-se nos critérios usados por pessoas dentro dos campos em estudo. Também prestei atenção especial a como as pessoas em diferentes disciplinas avaliaram a qualidade da mesma proposta ou candidato, bem como a como as pessoas no mesmo campo os avaliaram. Além disso, considerei as categorias formais de avaliação e critérios fornecidos pelas instituições de financiamento, se e como eles foram usados pelos painelistas e quais outras categorias e critérios eles usaram.

Também pedi a dois assistentes de pesquisa para analisar o conteúdo das entrevistas de forma independente usando o popular software Atlas.ti.6 Este pacote de software aumenta a confiabilidade entre codificadores, tornando possível padronizar o conjunto de códigos a serem usados, rastrear os códigos atribuídos por cada codificador e submeter cada transcrição à codificação por um codificador e verificação por outro. O esquema de codificação assumiu a seguinte forma: cada palavra descritiva usada por um respondente foi classificada dentro de várias categorias e critérios de avaliação, muitos dos quais foram identificados a partir de observações e entrevistas usando matrizes analíticas. Os códigos também foram derivados indutivamente, com cada codificador inicialmente codificando as mesmas duas transcrições e desenvolvendo seu próprio esquema de codificação. O esquema de codificação foi então padronizado e as transcrições divididas aleatoriamente entre os codificadores. Após essa rodada inicial de codificação, os codificadores trocaram transcrições e verificaram e melhoraram o trabalho uns dos outros. Para maior confiabilidade, um terceiro codificador que não estava envolvido no desenvolvimento da chave de codificação recodificou todas as transcrições. Quaisquer conflitos foram discutidos comigo e resolvidos. A chave de codificação está disponível mediante solicitação.

Observe que as entrevistas que conduzi com oficiais de programa não estão incluídas em nossa análise da frequência de uso de critérios formais e informais de avaliação e de estilos epistemológicos. As cinco entrevistas que conduzi com três presidentes de painel diferentes estão incluídas, uma vez que também serviram como revisores por pares e foram questionados sobre seus critérios de avaliação. 

 A última fase da análise de dados foi conectar a análise temática das transcrições com uma análise das frequências de temas e critérios produzidos com a assistência do Atlas.ti. A combinação desses dois métodos permite profundidade na interpretação e análise quantitativa sistemática de temas e padrões dentro dos dados.

LIMITAÇÕES DO ESTUDO

Em todas as fases deste estudo, tenho estado muito ciente das muitas maneiras pelas quais sou devedor do trabalho de pesquisadores que vieram antes, mesmo quando sou crítico de alguns de seus pontos cegos. Essa consciência fortaleceu minha visão da pesquisa como um esforço verdadeiramente coletivo (e intergeracional). É contra esse pano de fundo que destaco algumas das fraquezas do livro:

A) Este estudo diz respeito apenas a painéis multidisciplinares. Nossos entrevistados sugeriram que os painéis interdisciplinares são menos contenciosos do que os painéis disciplinares, na medida em que os painelistas tendem a ser menos críticos de propostas que falam de áreas de pesquisa com as quais estão menos familiarizados. Além disso, os painéis interdisciplinares são percebidos como menos rigorosos de uma perspectiva metodológica do que os painéis disciplinares por causa da norma de contextualização cognitiva. Como disse um cientista político, "o painel da National Science Foundation em que eu estava estava muito preocupado em ser uma boa ciência, estar na vanguarda da metodologia e isso não era um critério para mim no painel atual". Conforme concebido originalmente, este livro era para comparar painéis multidisciplinares com painéis disciplinares. Tentei fazer uma tentativa nas diferenças entre painéis disciplinares e multidisciplinares em outros lugares.7

B) Este estudo considera apenas a qualidade conforme definida em painéis de revisão por pares de subsídios. Em vez de focar na representação de qualidade dos painelistas, eu poderia ter considerado o processo de tomada de decisão em contratação e promoção acadêmica, revisão por pares em periódicos acadêmicos e publicações acadêmicas, ou mudanças históricas em padrões de avaliação. Ou eu poderia ter entrevistado painelistas veteranos sobre suas experiências passadas ou reunido grupos focais qualificados para avaliar propostas. Acredito que a estratégia que adotei é preferível por duas razões principais: (1) Focar em programas nacionais de financiamento, em oposição a decisões locais de contratação e promoção, permite maior generalização das descobertas sobre categorias institucionalizadas e critérios de avaliação. Além disso, as decisões de promoção são baseadas em fatores como ensino e serviço à universidade, e são menos exclusivamente sobre definições concorrentes de excelência acadêmica. Finalmente, analisar painéis de revisão por pares em várias instituições de financiamento apresenta as vantagens de ser econômico, de facilitar uma abordagem sistemática e de recorrer a dados coletados em locais aproximadamente comparáveis — embora os painéis de financiamento considerados distribuam bolsas de pesquisa, bem como bolsas de dissertação, pesquisa e acadêmicos residentes; e (2) uma abordagem histórica impediria amplamente recorrer a entrevistas com avaliadores, bem como levar em consideração propostas malsucedidas, uma vez que os periódicos geralmente descartam revisões de manuscritos rejeitados.

C) Este estudo é baseado em um número limitado de entrevistas. Negociar o acesso a painéis de financiamento exigiu superar obstáculos importantes. Fiz o melhor que pude, dada a disponibilidade de organizações de financiamento dispostas a participar do estudo. Só posso desejar que outros acadêmicos encontrem inspiração aqui e assumam projetos de pesquisa relacionados que vão além do que eu realizei.

NOTAS

1. Klein (1996). 

2. Bender (1998). 

3. Weiss (1994). Sobre minha aproximação para conduzir entrevistas, ver Lamont (2004b). 

4. Guetzkow, Lamont, and Mallard (2004). 

5. Miles and Huberman (1994). 

6. On Atlas.ti, see Kelle, Prein, and Beird (1995). 

7. Lamont and Huutoniemi (2007).

BIBLIOGRAFIA

Bender, Thomas. 1998. “Politics, Intellect, and the American University, 1945–1995.” Pp. 17–54 in American Academic Culture in Transformation: Fifty Years, Four Disciplines, ed. Thomas Bender and Carl E. Schorske. Princeton: Princeton University Press.

Klein, Julie T. 1996. Crossing Boundaries: Knowledge, Disciplinarities, and Interdisciplinarities. Charlottesville: University of Virginia Press.

Lamont, Michèle. 2004b.“Theoretical Growth and Conceptual Foreplay.” Perspectives: Newsletter of the ASA Theory Section 27 (3): 1.

Guetzkow, Joshua, Michèle Lamont, and Grégoire Mallard. 2004. “What Is Originality in the Social Sciences and the Humanities?” American Sociological Review 69 (2): 190–212.

Miles, Matthew B., and A. Michael Huberman. 1994. Qualitative Data Analysis: A Sourcebook of New Methods. Beverly Hills, Calif.: Sage.