Nota didattica – novembre 1988
Il posto della verifica dei risultati, come ogni formatore ha imparato, è alla fine del processo di formazione, quel processo che quasi sempre è schematizzato in questo modo:
analisi dei bisogni
verifica dei risultati progettazione
esecuzione
La parola “processo“ sta ad indicare che qualsiasi settorializzazione e delimitazione delle parti che compongono il circuito è un artificio, una necessità finalizzata all’apprendimento.
Possiamo enuc1eare, allora. 1e singole parti di questo processo cosi come potremmo mettere una cellula sotto un microscopio, ma avendo la consapevolezza che 1a cellule separata dal suo ambiente, estirpata dal corpo in cui abita, interrompe il processo di nutrimento e, quindi. muore.
Lo stesso vale per il percorso formativo. Ora ne approfondiamo una fase, 1a verifica, e nella nostra riflessione risulterà chiaro come essa è saldata, è parte integrante del processo in cui è inserita, senza il quale diventa mera esercitazione accademica.
Il momento della verifica dei risultati e il luogo in cui il cerchio si chiude. Dall’analisi dei bisogni si è passati alla progettazione e quindi all‘ esecuzione di un intervento formativo, 1a verifica consente ora di vedere se i passi sono stati compiuti nella direzione giusta oppure se si sono fatti errori in qualsiasi punto del processo. La verifica diventa, a sua volta, analisi di fabbisogno, in quanto ci dà il feed—back necessario per riprendere 11 processo in modo più mirato.
Quando manca il tassello della verifica dei risultati il processo non si compie. Si è creata una rappresentazione d'aula più o meno piacevole, ma al burattino manca la vitalità dell'essere vivente.
Nella realtà dei fatti la verifica si fa poco, si fa per lo più per gli aspetti di gradimento, mentre si tralasciano aspetti di sostanza che impediscono al circuito della formazione di riprendere con rinnovata vitalità. Fare formazione significa presidiare tutto il processo nella sua interezza, altrimenti "si fanno corsi“, che è cosa diversa.
Di cosa si occupa la verifica dei risultati
Per parlare della verifica dei risultati dobbiamo risalire brevemente al momento di "analisi del fabbisogno".
Questo primo passaggio del percorso formativo vede la necessita di stabilire su quali obiettivi orientare l'intervento formativo, necessità che viene affrontata da tre soggetti:
Il committente dell’attività formativa. Questo è un soggetto istituzionale, corresponsabile dell‘esito strategico dell‘organizzazione in cui si va a situare l’intervento formativo che:
ha stabilito di utilizzare lo strumento formazione per rispondere ad alcuni bisogni che ha rilevato nella sua organizzazione;
chiede alla formazione la risposta ad alcuni suoi problemi specifici.
Il committente direttamente o indirettamente finanzia l‘attività formativa ed è quindi responsabile della sua efficacia in termini di rapporto costi/benefici.
Il ritratto del committente fa vedere con chiarezza quali sono i suoi interessi e quali sono le motivazioni che lo spingono ad affrontare l‘avventura formativa. Quasi sempre egli non è direttamente uno specialista di formazione, tranne nei casi in cui si tratta del responsabile della funzione personale, passato a questa responsabilità dopo essersi occupato di formazione.
La posizione organizzativa del committente può inquinare il momento di analisi del fabbisogno, stressando oltre misura la necessità "produttiva" della formazione, suggerendo quindi una verifica estremamente quantitativa e sui risultati a breve termine.
Gli utenti dell’intervento formativo partecipano all‘analisi del fabbisogno nella misura in cui vengono coinvolti dal formatore con il. benestare del committente.
Essi si trovano in una situazione lavorativa più o meno problematica, più o meno piacevole e danno il loro parere su cosa è il loro fabbisogno di aggiornamento. Non sempre gli utenti sono favorevoli alla formazione, a volte la ritengono una perdita di tempo, altre volte si possono invece incontrare persone che risolverebbero tutto con la formazione estendendone utopicamente l'efficacia.
Gli interessi che, in questa fase del processo gli utenti potenziali i possono esprimere, sono quindi molto variegati: vanno dal disinteresse alla esaltazione. Ognuno di loro inoltre può avere delle propensioni culturali personali ed anche delle particolari convinzioni su cosa sia necessario “studiare“ che può deformare sia l'analisi del fabbisogno che la verifica dei risultati.
Il formatore è colui che sta, per professione, all‘interno di questo proc esso e cerca di regolarlo. Assume il mandato dalla committenza, o nel migliore dei casi, contribuisce ad elaborare il mandato. Il che significa che nella definizione degli OBIETTIVI GENERALI dell‘intervento rifiuta quelli che non sono pertinenti alla formazione. In altre parole può capitare che il committente partendo dai propri problemi di gestione dell‘organizzazione attui una scorciatoia logica decidendo di affrontare con la formazione problemi che sono invece di natura organizzativa e di altro tipo.
Facendo un esempio limite in un reparto ospedaliero, un Primario può rilevare una scarsa organizzazione, sincronia, sinergia nel suo personale infermieristico e chiedere alla funzione formazione, con il consenso della caposala, un corso sulla motivazione al lavoro.
In realtà una anche una sommaria lettura organizzativa della situazione avrebbe fatto rilevare che nel reparto l‘attività infermieristica è ad esempio pesantemente condizionata degli orari dei medici che sono una variabile indipendente, dalla scarsità del personale, dal turn over che l‘ufficio infermieristico attua tra i vari reparti, dalla mancanza di materiali e di supporti specialistici, dalla scarsa capacità della capo sala di organizzare il lavoro.
L'esempio fatto fa comprendere come nella dialettica individuo/organizzazione i sintomi di disagio non sono collegabili semplicisticamente alle cause, ma devono essere esaminati con diverse ottiche (organizzativa, sociologica, psicologica, etc.) tra loro integrate. Il percorso logico dovrà quindi collegare i problemi alle cause, tra queste poi è necessario suddividere quelle che sono imputabili all’organizzazione, e quindi richiedono una modifica dell‘ ”hardware” organizzativo e quali invece alla scarsa preparazione o professionalità degli individui, e che quindi possono essere affrontate con la formazione, e quali, infine, hanno necessità di intervento su entrambi i fronti congiuntamente dove sarà possibile effettuare una formazione — intervento.
Se questo e il primo passaggio logico possibile nell’analisi di fabbisogno una prima ne necessità di verifica sarà rispetto alla “legittimità" dell’intervento formativo nella situazione data. In pratica, i soggetti coinvolti nell‘attività formativa - committente, utente, e formatore - saranno, direttamente o indirettamente, chiamati a dire se l'intervento svolto era congruo, pertinente e nella direzione degli obiettivi organizzativi.
Questo tipo di verifica interessa per ruolo più direttamente il committente, in quanto è il soggetto che ha interesse ad usare al meglio la leva formazione per coordinare/integrare l‘organizzazione di cui e corresponsabile.
Entrando ora nel sistema “Iniziativa formativa” possiamo distinguere tre livelli di verifica, tra loro diversi, che compongono il quadro generale della verifica dei risultati.
Livello di gradimento dell‘attività che viene svolto principalmente dal formatore verso i partecipanti e che contiene le classiche domande sull‘ andamento del corso. Il tipo di informazioni che si stanno ricercando sono sulla pertinenza dell‘attività formativa rispetto al loro lavoro, sulla piacevolezza/spiacevolezza dell' attività svolta, sugli strumenti utilizzati. sui docenti, sull’uso del tempo e così via.
Entreremo più dettagliatamente in seguito sulle aree possibili di riflessione e sugli strumenti utilizzabili. Per ora si tratta di comprendere che il livello a cui si situa questa verifica è un livello piuttosto superficiale in cui si chiedono — a caldo — ai partecipanti, le loro impressioni. Questo tipo di verifica può quindi, essere influenzata da diverse cose che la rendono attendibile fino ad un certo punto.
Principalmente vi sono due tipi di distorsioni possibili :
le aspettative iniziali rispetto all‘intervento formativo che possono rendere la partecipazione dei soggetti pregiudiziale e quindi poco attendibile dal punto di vista critico. In una situazione - ad esempio — in cui vi sono moltissimi problemi lavorativi dovuti a scarsa chiarezza di definizione di compiti e di responsabilità la verifica di un corso tenuto su altri temi può risultare molto critica per problemi a monte.
E‘ chiaro che in questo caso si commette un errore in sede di analisi del fabbisogno, errore che si può rilevare già nell‘esecuzione oltre che nella verifica, ma che può non essere direttamente indicato dai partecipanti che si appigliano magari a problemi secondari o che cadono in controdipendenza con i docenti e i formatori del corso.
E‘ proprio del momento ”verifica dei risultati“, non tanto nella modulistica o nello schema teorico, quanto nella sensibilità del formatore, di comprendere le cause reali di un esito di gradimento non buono.
Qualcosa dell'esecuzione del corso può influenzare in modo eccessivamente negativo o positivo la verifica di gradimento. Alcuni esempi: una giornata conclusiva particolarmente faticosa in cui i discenti hanno lavorato intensamente può portare, al momento della chiusura, ad una verifica depressa e demotivata. La stanchezza prevale facendo vedere solo la meta vuota del “bicchiere della vita“ e l‘orizzonte appare nero e confuso.
Soprattutto in interventi brevi ed intensivi può accadere questo e il formatore deve riuscire a distinguere una valutazione negativa “reale“ da una valutazione ”stanca“
Viceversa può accadere che un corso che con interno un docente particolarmente bravo e brillante in cui si solo usati strumenti nuovi e ad alto contenuto emotivo ha una brillantissima verifica di gradimento che non corrisponde in realtà all’apprendimento o alla esportabilità dei contenuti trasmessi.
Il gradimento, allora, è una cosa estremamente soggettiva ed influenzabile che va inquadrato e sorretto con altri tipi di verifica.
Fermandosi alla esclusiva verifica di gradimento si ha l'alibi per poter enfatizzare dei risultati buoni, senza vagliarli criticamente. oppure di minimizzare dei risultati pessimi in nome dell’incapacità dei discenti di avere la distanza emotiva necessaria per una valutazione serena.
Livello di apprendimento. E’ questa la verifica più utilizzata nella scuola di base e più scarsamente impiegata nella formazione e aggiornamento.
Occorre allora, spendere qualche parola per comprendere quali tipi di “retaggi” si porta dietro questo tipo verifica. Credo sia esperienza comunemente diffusa avere avuto in età giovanile sonni turbati da incubi valutativi.
Si possono contare sulle unità le persone che non ricordano un particolare professore burbero e autoritario che trasformava interrogazioni e compiti in classe in riti sadici di denigrazione e attentati alla integrità della personalità individuale.
Spesso, allora, parlare di verifica di apprendimento risulta impopolare. Tra l‘altro la verifica effettuata tradizionalmente nella scuola di base (non si esclude che le cose oggi stiano o siano cambiate) vedeva la verifica centrata sul discente per misurare quanto aveva studiato; raramente questa stessa verifica veniva guardata con gli occhi di chi desidera misurare l'efficacia dell’insegnamento offerto.
E' soprattutto questo monitoraggio del processo che invece interessa il formatore.
L‘ultimo livello proposto è quello della verifica organizzativa cioè della esportabilità / esportazione dei modelli appresi. E' una verifica. questa, difficile e costosa, e perciò scarsamente praticata.
E‘ inoltre complesso collegare la causa “formazione” ai suoi effetti organizzativi, essendo questa una delle molte variabili che possono influire sulla situazione organizzativa, In altre parole, data una realtà per definizione complessa, composta da molti fattori. in cui si giocano molte variabili richiede una certa abilità, e soprattutto richiede un grande controllo delle variabili in gioco, il riuscire a collegare la esportazione della formazione con la sua bontà.
I soggetti della verifica
La riproposizione della triade di analisi del fabbisogno tende a spiegare anche la verifica come un processo triadico in cui utenti, committenti e formatori sono coinvolti.
Il committente ha un interesse preciso a verificare il rapporto tra obiettivi formativi e strategie dell'organizzazione; vuole comprendere se gli obiettivi didattici attesi sono stati raggiunti, può voler fare un rapporto costi/benefici dell'intervento,
Il formatore chiede alla verifica un feed—back sulla propria attività. I diversi dati che egli raccoglie danno una visione sull‘esito dell‘attività; soprattutto in caso negativo bisogna ora collegare questi esiti alle cause:
Esse vanno ricercate nei diversi momenti del processo:
analisi dei bisogni;
non pertinenza degli obiettivi didattici;
scarsa definizione e chiarezza degli obiettivi stessi;
errori di progettazione dell‘attività;
problemi di esecuzione e/o gestione docenziale.
In altre parole dopo aver misurato uno scostamento tra obiettivi prefissati e realizzati si tratta di interpretare queste misure.
Gli utenti hanno un interesse diretto ad avere una iniziativa formativa stimolante, utile per la loro attività, e che li aiuti a risolvere dei problemi reali.
Come si fa la verifica dei risultati
Nella esplicitazione della verifica come parte di un processo appare chiara la necessità che per verificare. bisogna avere qualcosa a cui riferirsi.
Il momento delia verifica dei risultati non può essere organizzato alla fine dei corso, ma va progettato contestualmente alia definizione degli OBIETTIVI.
La verifica è, in primo Iuogo, di raggiungimento degli obiettivi prefissati e, in seconda battuta apre una questione più qualitativa sul perché gli obiettivi prefissati sono stati o meno raggiunti
Limitiamoci, ora, al primo aspetto.
Possiamo definire la verifica dei risultati come un’attività di ricerca finalizzata a misurare il raggiungimento degli obiettivi che erano scaturiti dall‘analisi di fabbisogno,
Ricordiamo. a questo proposito. che dopo l‘analisi dei fabbisogno effettuata con la copresenza dei tre soggetti; committente, utente e formatore vengono stabiliti gli OBIETTIVI GENERALI FORMATIVI.
A questo punto del processo il formatore assume questo dato come VARIABILE INDIPENDENTE ed entra nel suo campo professionale specialistico definendo gli obiettivi DIDATTICI e progettando I ‘attività.
Gli obiettivi didattici sono le tessere di un "puzzle” che nel suo insieme si chiama OBIETTIVO GENERALE; essi richiamando la teoria di Mager (1) sono costituiti da:
una PERFORMANCE o PRESTAZIONE che il discente deve essere in grado di mostrare alla fine dell‘attività formativa:
le CONDIZIONI o le caratteristiche del contesto in cui deve essere realizzata la prestazione:
il CRITERIO cioè i parametri di misurazione della prestazione definita accettabile.
La definizione precisa e puntuale deli obiettivi formativi e didattici facilita al formatore le progettazione indirizzandola in maniera più precisa e pone le premesse per la verifica.
Se non si sono definiti gli obiettivi svanisce a possibilità di fare verifica.
Misurazione del livello di gradimento
Essendo la verifica un’attività di ricerca finalizzata ess può utilizzare gli strumenti tipici della ricerca sociale: questionari, interviste, osservazione.
Il livello si gradimento si esplicita direttamente attraverso i segnali — forti o deboli che siano — che arrivano dall‘aula durante l‘attività formativa,
Alla fine dell’iniziativa — generalmente — si propone un questionario che rileva il gradimento e può stimolare una autovalutazione dell‘apprendimento avuto.
Esempi di aree che possono essere indagate:
il soddisfacimento dei bisogni e delle attese
il raggiungimento degli obiettivi esplicitati
i contenuti proposti in merito a chiarezza, completezza, pertinenza, utilità, esportabilità
i metodi didattici utilizzati
docenti in merito a: chiarezza espositiva, disponibilità.
i materiali scritti di supporto
la durata e l’articolazione del corso
la logistica
il gruppo dei partecipanti e così via.
L‘ultima area, che si salda con 1‘ analisi di fabbisogno, può essere relativa alle esigenze che i partecipanti esprimono di allargamento e approfondimento delle tematiche affrontate.
La modalità di indagine può essere costituita da un questionario in cui si affrontano le aree viste con:
DOMANDE APERTE
ad esempio:
Come valuta globalmente l‘esperienza di partecipazione a questo corso?
In quale misura il corso ha corrisposto alle sue aspettative ?
Un questionario a domande aperte e, come è intuibile, di difficile elaborazione
SCALE DI REAZIONE - esempi
Il corso è stato:
Un’esperienza 1 2 3 4 5 6 7 un’esperienza
positiva negativa
Gli obiettivi del corso sono stati:
raggiunti non raggiunti
pienamente 1 2 3 4 5 6 7 affatto
I docenti hanno:
trattato in modo chiaro non sono stati
gli argomenti 1 2 3 4 5 6 7 chiari
FRASE DA COMPLETARE esempi:
Durante il corso mi sono sentito .........
Ciò che ho maggiormente ricavato da questo corso…….
Nel venire al corso mi aspettavo .....
Oltre ai questionari si potrebbero compilare diari di corso durante l’attività formativa annotando giornalmente gli elementi salienti che potrebbero tornare utili alla verifica, oppure scrivere delle memorie a fine corso.
Ancora, a distanza di tempo, si potrebbero coinvolgere i partecipanti in una rilevazione attraverso questionari o interviste.
Misurazione del livello di apprendimento
La valutazione di apprendimento è generalmente poco utilizzata nella formazione. Da un lato 1e resistenze comprensibili che il dover giudicare/essere giudicati comporta, dall'altro la poca standardizzazione possibile degli strumenti rendono questa ricerca prevalentemente elusa.
E’ soprattutto questo tipo di valutazione che presuppone la formulazione corretta degli obiettivi didattici in quanto solo prefissandosi delle mete precise di apprendimento si possono poi strutturare degli idonei strumenti di verifica,
La domanda che ci si pone, allora. è: quante delle conoscenze o abilità, che il corso si proponeva di passare hanno effettivamente appreso i partecipanti ?
Gli strumenti per arrivare a dare tale risposta più noti sono quelli tradizionali della scuola di base quali compiti in classe e interrogazioni a cui si possono aggiungere casi chiusi e simulazioni — esame. Ogni strumento va scelto in relazione all‘area di apprendimento in cui ci si situa: strumenti prevalentemente cognitivi quali compiti e interrogazioni per l'area delle conoscenze; simulazioni operative per le abilità tecniche; casi per ambiti interdisciplinari e complessi; simulazioni e prove di “ascolto“ per le abilita relazionali.
Realisticamente nelle attività di formazione per gli adulti si possono utilizzare, previa esplicitazione delle proprie esigenze di monitoraggio del processo, alcuni strumenti anonimi che vanno ad indagare l‘area delle conoscenze.
Ad esempio di possono strutturare dei questionari in cui
si pongono;
domande a scelta multipla
esempio:
Il budget è:
a) un sistema di controllo
b) uno strumento di pianificazione
c) una voce del bilancio
d) uno strumento di valutazione del rapporto costi benefici
domande vero/falso
abbinamenti di parole
esempio:
Ciascuna parola del primo gruppo deve essere abbinata con una del secondo gruppo:
1. budget a. ruolo di coordinamento
2. D.P.O. b. strumento di pianificazione
3. capo progetto c. stile direzionale
4. flusso di cassa d. rapporto costi / ricavi
Un questionario analogo potrebbe essere fornito in ingresso all’attività formativa per cogliere quanto si è modificato nei due momenti.
Questo per quanto attiene all‘area delle conoscenze. Generalmente per le altre aree si possono costruire momenti di verifica utilizzate come esercitazioni durante il corso stesso, esercitazioni che il formatore dovrà proporre in numero adeguato alle necessità di apprendimento.
Questo è a tutt‘oggi il minimo che si può proporre nell'aggiornamento degli adulti. Non si esclude che, in situazioni di corsi più lunghi e strutturati non si possano proporre anche le tradizionali prove di verifica di apprendimento.
I CRITERI che il formatore potrà adottare sono quelli precedentemente esplicitati negli obiettivi didatticI. Senza questo "a priori“ si potrà essere molto soggettivi nella lettura dei risultati raggiunti.
Misurazione della esportazione organizzativa
Se è vero che la formazione interviene sulle capacità professionali degli individui si può cercare di individuare degli indicatori pertinenti o dei testimoni che possano fornire utili indicazioni su quanto è avvenuto dopo l'intervento formativo.
Data però la multi varietà dei fattori influenti l’applicazione di questa valutazione è più consona laddove si procede parallelamente modificando le condizioni di contesto e fornendo agli individui le competenze necessarie a gestire questo cambiamento…
Abbiamo visto alcune tracce utilizzabili nella costruzione degli strumenti di rilevazione di gradimento e di apprendimento, mentre per il livello organizzativo è necessario decidere di volta in volta costruendoli ad hoc a seconda delle situazioni.
Diciamo per concludere che ogni strumento per ogni livello va pensato e riferito alla precisa situazione che si sta svolgendo: deve riferirsi agli obiettivi didattici, dovrebbe cercare di mantenere una sufficiente obiettività per ridurre lo spazio di arbitrarietà di chi lo impiega, dovrebbe, inoltre, avere delle caratteristiche di univocità per chi lo compila ed essere relativamente semplice da utilizzare.
I momenti della verifica
Da quanto detto precedentemente possiamo qui riassumere tre momenti relativi alla verifica:
durante iì corso si effettuano delle verifiche di apprendimento utilizzando strumenti didattici adeguati quali casi, simulazioni, etc. Sono. questi, ancora a pieno titolo momenti di apprendimento che, solo per il formatore, costituiscono anche dei “sensori di rilevazione dell‘andamento del processo.
In alcuni momenti specifici, ad esempio a fine giornata o a conclusione di un ”gradino ‘ logico, si possono inserire luoghi di dibattito e di riflessione strutturati dal formatore su argomenti che ritiene da indagare perché ha notato segnali di preoccupazione/tensione da parte dei gruppo. E‘ una sorta di momento di’ autocoscienza“ del corso che consente di discutere dei dubbi, dei problemi, delie difficoltà non prevedibili a priori.
Ad esempio alcuni utenti del corso segnalano dubbi sull’utilità di uno strumento didattico utilizzato durante lo svolgimento del lavoro il formatore può chiedere di continuare a lavorare posticipando la discussione al momento di riflessione di fine giornata. In questo modo si evitano dispersioni durante il processo di apprendimento del resto del gruppo e non si eludono 1e domande di chi ha posto problema.
a fine corso come abbiamo già riferito si possono somministrare agli utenti strumenti di verifica di gradimento e/o apprendimento.
dopo qualche tempo dal corso (almeno qualche mese) si può fare la cosiddetta verifica di follow up che può riguardare sia gli individui ex partecipanti che la situazione organizzativa in cui sono inseriti. Direttamente con gli ex utenti si possono fare verifiche di apprendimento per cogliere quanto è rimasto di quello che avevano acquisito durante il corso oppure si possono coinvolgere in una riflessione guidata su quanto è stato "esportato“ dell‘ appreso in situazione lavorativa e sulle motivazioni soggettive di tale esportazione.
Infine si può effettuare una verifica organizzativa individuando degli indicatori pertinenti e obiettivi.
Concludendo
La valutazione è un processo difficile e suscettibile di errori.
Partendo da questa considerazione si tratta di evidenziare il senso d1 processo, di un percorso che si arricchisce e si perfeziona nel suo andare, apprendendo dagli eventuali errori. Essa va progettata tanto quanto l‘esecuzione dell‘attività formativa.
Per queste sue caratteristiche è bene non ritenere una valutazione “definitiva“ ma assumerla nel contesto a cui si riferisce problematizzando i dati che fornisce.
Infine ogni valutazione corre il rischio di essere influenzata dal soggetto che la compie. Per minimizzare questo rischio è bene che sia un gruppo di formatori ad occuparsene.
Bibliografia
Mager H., Gli obiettivi didattici — ed Lisciani Giunti 1982
Quaglino G.P, Ermolli G., la formazione: criteri e metodi di valutazione, Angeli 1985
AAVV — Oltre la formazione apparente — Ed. il sole 24 ore 1984
Quaglino G.P., Carozzi G.P.; Il processo di formazione, Angeli 1986
