Síntese da sessão 5

O Modelo de Auto-Avaliação das Bibliotecas Escolares: metodologias de

operacionalização (Parte I)

Foram objectivos desta sessão:

• Compreender como é que a auto-avaliação pode ser concretizada para

demonstrar a contribuição da BE para o ensino e aprendizagem e a missão

e objectivos da escola.

• Ganhar familiaridade com o processo de auto-avaliação adoptado pelo

Modelo de Auto-avaliação RBE e capacitar para a sua aplicação.

• Conhecer as técnicas e instrumentos propostos, o modo como se

organizam e podem ser usados

A actividade solicitada estruturou-se do seguinte modo:

a) Solicitou-se aos formandos que escolhessem, em alternativa, um dos

seguintes Domínios/Subdomínios: A.2. (Promoção da Literacia da

Informação); B. (Leitura e Literacia) ou C.1. (Apoio a Actividades Livres,

Extra-Curriculares e de Enriquecimento Curricular)

b) Escolhessem no Domínio/Subdomínio seleccionado dois Indicadores, um

que considerassem de Processo e outro que considerassem de

Impacto/Outcome, e analisassem detalhadamente esses indicadores.

c) Estabelecessem um Plano de Avaliação em profundidade daqueles dois

Indicadores, recorrendo ao Texto da Sessão, às Orientações para a

aplicação do Modelo incluídas na versão actualizada do mesmo, e ao texto

de leitura complementar Basic Guide To Program Evaluation.

A existência desta sessão e desta actividade encontra a sua maior justificação,

ao constituir-se como uma oportunidade dos formandos abordarem o modelo

numa perspectiva prática de operacionalização, que se pretendeu iniciar com a

planificação do processo de aplicação.

Sobre o cumprimento das tarefas, realizaram as actividades 31 formandos,

tendo os textos da sessão sido aparentemente lidos e estudados pela sua

grande maioria, e alguns fundamentado mesmo os passos do seu trabalho

através de citações-chave retiradas daqueles textos.

A forma como cada um apresentou o seu Plano foi mais ou menos variada,

mas todos, de um modo geral, se fizermos uma leitura cumulativa, dado uns

terem ido mais longe e outros terem apresentado planos mais limitados,

apresentaram uma planificação englobando os diferentes aspectos ou etapas

referidos na bibliografia, de enquadramento, diagnóstico, identificação do

problema e objecto da avaliação, indicação dos factores críticos aplicáveis,

selecção dos métodos e técnicas a utilizar, enumeração dos intervenientes no

processo, aplicação dos instrumentos identificados, recolha e tratamento dos

dados, análise e interpretação da informação obtida, síntese e comunicação

dos resultados, etc.

As conclusões gerais retiradas da elaboração e avaliação dos diferentes

trabalhos, oferecem-nos a realização de alguns comentários gerais, em que

cada um se poderá reconhecer (ou não), consoante a forma como orientou a

execução do seu Plano de avaliação:

O primeiro comentário sintetiza-se na seguinte observação: O Modelo não

pode ser visto ou antecipado como uma abstracção, vazia de conteúdos.

Quer isto dizer, que quando, por exemplo, no Indicador B1 se identifica como

factor de sucesso, a organização de actividades de promoção de leitura e se

remete na recolha de evidências para os registos dessas actividades, o que se

solicita à BE através do processo de auto-avaliação do Domínio não é apenas

que diga que organizou as ditas actividades (é por isso que as fotografias não

podem ser consideradas em si mesmas evidências), mas que as identifique

apontando os dados (evidências) que lhe permitem sustentar o seu valor em

termos de desempenho da BE e/ou dos seus utilizadores. Isto implica uma

indicação das actividades planeadas onde à partida se incorpora desde logo a

respectiva avaliação. O Plano de avaliação articula-se necessariamente com o

Plano de actividades. A avaliação não é uma coisa à parte que possa ser

pensada em abstracto e de forma separada das actividades, cujo processo,

resultados ou impactos pretendemos avaliar. Planificação e avaliação são duas

faces da mesma moeda. Uma não tem sentido sem a outra, por isso o nosso

Plano de avaliação tem necessariamente de acompanhar o desenvolvimento

do nosso Plano de Actividades, cujas acções se enquadram num determinado

Domínio/Sub-domínio/Indicador e cujo nível de execução ou sucesso se

avaliará em confronto com os respectivos factores críticos.

Se quisermos dar outro exemplo, desta feita sobre um indicador de impacto,

como o B3, o mesmo se lhe aplica. Não basta referir genericamente que os

alunos desenvolveram as competências a ou b. Devem identificar-se as

actividades concretas que foram realizadas em relação com esse objectivo e

que sustentaram a recolha de dados que atestam que essas competências

foram efectivamente desenvolvidas. Isto significa que para avaliar um

indicador, temos que utilizar como “matéria-prima” actividades concretas

(tangíveis), sejam elas relacionadas com as acções de gestão desencadeadas

pela biblioteca em relação com o domínio da leitura e da literacia, sejam elas

incidentes nos campos da aprendizagem ou da formação global dos alunos no

mesmo domínio.

Daqui resultaram, deste modo, duas abordagens diferentes de pegar nesta

actividade, uma mais macro ou ampla, seguindo uma linha mais teórica e mais

próxima do documento do Modelo e dos textos de apoio; outra mais específica,

relacionada com o Plano de Actividades e com as acções que dele fazem

parte, respeitantes ao domínio que cada um se propôs planear.

A maioria optou por seguir de muito perto as tabelas, reproduzindo quase

sempre a “tipologia” de acções a que fazem referência os factores críticos de

sucesso, de que não chegam a distanciar-se, avançando pouco numa

planificação/avaliação que desejavelmente se pretendia o mais possível

específica e concretizada.

Este exercício exigia, portanto, um esforço de aplicação, adaptado a cada

biblioteca e ao trabalho que aí se desenvolve.

Uma segunda observação, decorrente da primeira, pode sintetizar-se na frase:

a estrutura do Modelo em tabelas não configura em si mesmo qualquer tipo

Plano de avaliação.

Prende-se esta observação com o facto de alguns dos Planos propostos se

restringirem muito à indicação dos indicadores, factores críticos de sucesso e

instrumentos de recolha/evidências, decalcando, deste modo, em grande

medida as tabelas do Modelo. Em geral verificou-se que outros aspectos como,

por exemplo, o das acções de preparação da aplicação do modelo junto da

escola, da indicação discriminada dos intervenientes a implicar em cada uma

das acções, do trabalho a realizar sobre cada tipo de dados, de produção

escrita e divulgação de conclusões ou de indicação detalhada do calendário

das diferentes acções, aparece indicada de uma forma muito global, muitas

vezes em quadros separados, ou numa introdução ou final, não sendo fácil

cruzar longitudinalmente ou horizontalmente num mesmo quadro ou

panorâmica todos os elementos em jogo.

Uma tabela de planificação do Modelo deve ser certamente distinta das tabelas

do Modelo e, se possível, abarcar e cruzar todos os aspectos inerentes à sua

aplicação.

A forma de texto corrido apresentado ainda por alguns formandos representou,

deste ponto de vista, quase sempre mais um resumo e reflexão sobre os

conteúdos constantes dos textos da sessão, que reproduziram de forma mais

ou menos exaustiva, do que propriamente um Plano de avaliação, como temos

vindo a referir até aqui.

Uma terceira observação/correcção sobre os trabalhos apresentados,

relaciona-se com uma certa confusão na distinção entre indicadores de

processo e de impacto.

Processos e impactos remetem para aspectos de natureza diferente. Os

processos dizem respeito ao que a BE faz nos diferentes domínios da sua

actuação. Os indicadores (ou factores) de processo têm geralmente uma

redacção do tipo: A BE desenvolve, colabora, assegura, realiza, etc.

Os impactos dizem respeito às consequências em termos de novas

aprendizagens, desenvolvimento de capacidades, atitudes, etc., que aquelas

acções têm, fazendo uso de expressões como: os alunos revelam, aplicam,

estabelecem, desenvolvem, usam, participam, etc.

O exercício de selecção de um indicador de processo e outro de impacto,

aparentemente tão simples, não era, portanto, assim tão linear, obrigando a

olhar com atenção para a sua composição, através da análise dos respectivos

factores críticos.

Por exemplo, quem escolheu o A2.1 sobre a formação de utilizadores, e o

designou de processo, sem mais, não reparou que ele, ao contrário dos

restantes indicadores do A2, onde separámos sempre os processos dos

impactos, reúne 2 factores de processo (Ex. O plano de trabalho da BE inclui

actividades de formação de utilizadores ou A BE produz materiais informativos

e/ou lúdicos de apoio à formação dos utilizadores) e 1 factor de impacto

(Alunos e docentes desenvolvem competências para o uso da BE revelando

um maior nível de autonomia na sua utilização após as sessões de formação

de utilizadores).

O mesmo acontece exactamente em relação, por exemplo, ao C1.1 e ao C1.3,

os únicos com factores de impacto directos e que podiam ser usados como seu

exemplo.

No Domínio B, o B1 e o B2 são nitidamente indicadores de processo no seu

todo e o B3, um indicador de impacto.

Finalmente, registo uma última observação em que creio, parece nunca ser

demais insistir: Instrumentos de recolha de evidências e evidências são coisas

diferentes.

Algumas formandas estabelecem alguma confusão entre uma coisa e a outra,

não sei se por coincidência. Os PAA, PCT, Guia e Guiões, os trabalhos

escolares, são documentos de onde podemos extrair evidências, mas não são

eles próprios evidências. Sessões de formação, reuniões entre docentes, etc.

são actividades. Os registos associados a estas actividades é que nos podem

fornecer evidências. Inquéritos e Grelhas de observação são instrumentos

(meios) de recolha de informação. Os resultados da sua aplicação e

interpretação é que nos fornecem evidências.

Finalmente, gostava de fazer nota das observações de alguns formandos que

consideraram, independentemente de todos reconhecermos unanimemente as

dificuldades de gestão do tempo para a recolha e registo de evidências, o

tratamento de dados, etc, constituir o Modelo mais um acto de burocracia ou

que retira tempo necessário para fazer as outras “Coisas”. Ora, julgo que o

propósito desta formação, reconhecendo a abrangência e complexidade do

Modelo, é, entre outros, precisamente o de desmontar esta ideia. Pergunto, a

este propósito, será que terá sentido continuar a fazer, fazer, fazer,… sem nos

preocuparmos em saber o que alcançámos com o que fizemos, que efeitos e

benefícios trouxe o que fizemos para a escola, para os colegas, para os nossos

alunos? Será que alguma vez o trabalho da biblioteca e do professor-

bibliotecário serão devidamente reconhecidos e valorizados, se não

conseguirmos demonstrar perante a escola, perante a comunidade, perante o

Ministério ou perante a Inspecção, que esse trabalho acrescenta valor e é útil e

indispensável para que obter melhores aprendizagens e sucesso? Se

planeamos e executamos, temos de avaliar, e esta avaliação não pode ser um

pró-forma, tem de munir-se de instrumentos adequados e fornecer as

evidências necessárias que provem de forma observável e tangível que a

biblioteca não existe para se servir a si própria mas está ao serviço da escola e

da comunidade escolar.

A finalizar esta síntese, e apesar das dificuldades apontadas, das quais se

depreende ter havido, como é natural, trabalhos melhores e outros mais fracos,

deve ser salientado que todos os formandos foram avaliados positivamente

nesta sessão, para a qual contribuiu não apenas a qualidade do trabalho

apresentado, mas também a sua participação e empenho na execução da

actividade solicitada.

Dito isto, desejamos a todos a continuação de um óptimo trabalho!

Um abraço,

As formadoras