Vés al contingut

Guia Jove/L'avaluació de l'activitat

Afegeix enllaços
Avalues per millorar?

trobes en alguna d'aquestes situacions?

  • L’avaluació et suposa un maldecap i creus que no tens temps de fer-la.
  • L’avaluació et sona llunyana i molt teòrica.
  • Creus que l’avaluació ha de formar part del procés de treball des de l'inici.
  • Vols fomentar la participació de tots els agents del municipi (gent jove, personal tècnic, regidors/ores) en el desenvolupament del projecte a través de l’avaluació?


Descripció

[modifica]

Què és avaluar? Avaluar és un procés sistematitzat, no una acció puntual, que segueix una lògica i uns criteris de recollida i anàlisi de la informació, establerts prèviament i relacionats amb la finalitat desitjada i la planificació de l'activitat o projecte. Aquest procés condueix a emetre judicis de valors positius o negatius sobre els diferents aspectes observats de l'activitat o projecte a avaluar, que ajudaran a detectar millores i canvis a incorporar a la nostra intervenció.

Si amb les nostres activitats i projectes es vol transformar l'entorn i millorar la realitat juvenil, cal tenir clar com el volem transformar: en quins aspectes, en quina mesura, amb quins destinataris, amb quins recursos i amb quines actuacions.

És a dir, l’avaluació i la planificació són vasos comunicants, cal pensar-les i estructurar-les al mateix moment, prèviament a la posada en escena dels projectes o activitats.

Què es pot avaluar? Entre altres aspectes, es poden emetre judicis de valor sobre:

  • La realitat o les necessitats de les persones joves.
  • Els processos d'implementació de les activitats o dels projectes.
  • Els resultats obtinguts amb aquests processos.
  • L'impacte que aquestes activitats i projectes han tingut sobre la població diana.

Per a què serveix avaluar? L'avaluació és necessària per prendre decisions sobre les nostres actuacions, com ara, la modificació del projecte, l'eliminació, etc. L’Escola d’Administració Pública de Catalunya (EAPC) va elaborar el document «L’avaluació del projecte»[1] que parla de la necessitat d’avaluar.

A més, ha de ser un procés adequat a les característiques pròpies del projecte. Llavors, si el projecte és participatiu, l'avaluació també ho haurà de ser. La guia on explica com incorporar la participació en l’avaluació de polítiques públiques és un molt bon inici a tenir en compte si es vol fer d'aquesta manera.

Durant la planificació d'un projecte, doncs, és important pensar: com, qui, quan, amb qui i quins tipus d’avaluació farem. Per aprofundir en aquest tema la «Guia pràctica sobre com iniciar una avaluació: oportunitat, viabilitat i preguntes d'avaluació» d'Ivàlua pot resultar molt útil.

 Desenvolupament

[modifica]

Com plantejar l'avaluació d'un projecte juvenil?

[modifica]

Tota avaluació d'una intervenció requereix que, prèviament, durant la planificació de la intervenció, s'hagi identificat i especificat quins resultats es volen assolir i amb quina qualitat i mesura, amb una visió participativa i integradora de les diferents mirades juvenils.

Per fer-ho, cal que es desglossi i s’analitzi la teoria del canvi que comporta el projecte que es vol desenvolupar, és a dir, quines són les hipòtesis de funcionament segons les quals el projecte (amb els seus recursos, activitats i productes) comportarà uns canvis concrets, específics, desitjats i remarcables en la població diana. Aquestes hipòtesis haurien de lligar de manera lògica i coherent:

  • El problema definit.
  • Els recursos que s’hi destinen.
  • Les activitats i els processos que es tenen previstos.
  • Els productes o ouputs que es preveu obtenir.
  • Els resultats o outcomes que es pretenen assolir.


Problema Recursos Activitats Productes Resultats


Vegem-ho amb un exemple. Una de les conclusions del diagnòstic que es faci de la realitat juvenil pot ser que els joves de perfil no associat d’entre 15 i 18 anys del nostre municipi no participen en les dinàmiques socioculturals comunitàries. Aquest dèficit fa que s’engegui un projecte d'espai jove per promoure la participació d'aquest perfil de joves: es disposa de recursos (diners, infraestructura i personal) i d’activitats (trobades, inscripcions, assemblees, difusió, procés participatiu, taller d'habilitats participatives, etc.). De tot això, se n’extreu uns productes directes: gent jove que es troba periòdicament, es coneix i es relaciona, s’inscriu en les activitats de l'espai jove, es forma en habilitats de participació, hi ha vincle de les persones joves amb una infraestructura juvenil i amb el personal dinamitzador de l'espai jove, es fa una llista de propostes d'activitats formulades pels joves... I, com a conseqüència, uns resultats: augmenta la participació dels joves d'aquest perfil concret en les dinàmiques socioculturals comunitàries del municipi.

Un cop estructurada la teoria del canvi del projecte, com indica la «Guia pràctica sobre l'avaluació del disseny» d’Ivàlua, s’ha de plantejar quina informació es necessita recollir per comprovar les hipòtesis del canvi i com s’ha de recollir i de qui.  

Si s’ha formulat la teoria del canvi i s’han considerat les diferents hipòtesis, aquestes esdevenen les fonts de les preguntes d’avaluació. El primer pas que cal portar a terme, és fer explícites les preguntes de l'avaluació. El que es pretén és donar respostes sobre com funciona el projecte i el seu rendiment. Cal fer les preguntes correctes per obtenir les respostes que interessen. Les preguntes canviaran en funció del tipus d’avaluació que es faci. Seguint l’exemple fictici serien:

  1. S’ha arribat a la població diana (destinataris específics)? → Els joves de perfil no associat d’entre 15 i 18 anys han participat a l'espai jove i a les activitats programades?
  2. S’han detectat i analitzat correctament les seves necessitats? → Els joves de perfil no associat d’entre 15 i 18 anys necessiten participar en les dinàmiques socioeducatives del municipi? Per què?
  3. S’han disposat de tots els recursos necessaris? → Hem aconseguit obrir un espai jove, amb personal dinamitzador i recursos econòmics per gestionar-lo?
  4. S’han implementat tots els processos i activitats previstos del projecte? → Hem aconseguit fer trobades periòdiques, assemblees de joves, tallers d'habilitats...?
  5. S’han obtingut els productes esperats? → Hem aconseguit que els joves no associats es formin en habilitats participatives? Que s'estableixi una relació entre els joves? Que els joves d'aquest perfil se sentin vinculats a la infraestructura juvenil i al personal dinamitzador? Que hi hagi una llista de propostes formulades pels joves?
  6. S’ha assolit l'impacte desitjat en el problema detectat en la població destinatària? → En tot aquest procés, ha incrementat la participació dels joves no associats d’entre 15 i 18 anys a les dinàmiques socioculturals del municipi?

Un segon pas és la recopilació de la informació. A banda de produir els informes (fonts primàries) o consultar la documentació d’altres fonts que servirà per respondre preguntes d’avaluació (fonts secundàries), cal elegir les fonts (primàries o secundàries) i les tècniques (quantitatives, qualitatives i/o participatives) que millor serveixin per respondre les preguntes de l'avaluació. S’ha de veure qui ho ha de fer? Quines tècniques hi ha per fer-ho fàcil, participatiu i el més objectiu possible? Quan s'han d'aplicar? 

Quines eines i tècniques es poden fer servir per avaluar?

[modifica]
  • Monitorar el projecte és un procediment senzill que consisteix a identificar indicadors necessaris per avaluar el desenvolupament del projecte, i anar-los recollint de manera sistemàtica en una base de dades en les diferents fases del projecte: nombre de participants, nombre de reunions, quantitat de tallers realitzats, despeses del projecte, etc. Serveix per controlar i fer el seguiment de diferents aspectes del projecte. No cal que sigui molt complex, el pot mantenir una persona sola o pot ser compartit entre un equip de persones. Convé mantenir-lo actualitzat, rigorosament i sistemàticament, perquè sigui útil.
  • L’observatori de la realitat és un procediment similar però que fa referència a indicadors de la realitat juvenil, no al desenvolupament de les actuacions. Pot ser útil per als tècnics i agents que treballen en un municipi i per als mateixos joves. Serveix per detectar necessitats i canvis entre la població jove abans de dissenyar actuacions (demografia, procedència geogràfica, estructura per edats, ocupació, emancipació, habitatge, participació...).
  • L’observació-participant és una observació dels joves durant la realització de les activitats, que pot dur a terme el mateix personal dinamitzador o formador, i que consisteix a crear una graella d'observació d'actituds, hàbits, valors o habilitats dels joves en un espai i temps concrets. L'observador o observadora fa una marca al paper quan apareix l'actitud que es vol observar en la casella adequada, segons els perfils juvenils: edat, perfil social, sexe... També es pot dur a terme pels mateixos joves respecte d’un grup de tercers.
  • Les dinàmiques d'autoavaluació: tests, graelles amb ítems o preguntes que responen els mateixos joves, en solitari o en grup, sobre les seves pròpies actituds, valors, aprenentatges, habilitats, hàbits... serveixen perquè les persones joves siguin més conscients i responsables del seu desenvolupament personal.
  • El test de satisfacció és un qüestionari adreçat a les persones joves on puntuen el seu grau de satisfacció amb aspectes concrets d'un projecte o activitat. Es pot fer servir com a part inicial en una reunió d'avaluació compartida entre usuaris d'un curs, d'una activitat, etc.
  • Les entrevistes individuals o grupals són un conjunt de preguntes obertes (que pot variar en estructuració i en extensió) que la persona entrevistadora (que pot ser un/a professional o un/a jove) adreça a la persona entrevistada amb l'objectiu de conèixer amb més profunditat una experiència, una vivència, una biografia, una opinió, un posicionament, una percepció o una visió... Es fa una anàlisi del discurs en relació amb els ítems que volem avaluar. Convé seleccionar els entrevistats tenint en compte la diversitat de perfils socials que hi ha al nostre municipi o equipament: edat, sexe, estudis, perfil associat o no, procedència...
  • El grup de discussió és un debat grupal en base a unes preguntes i conduït per una figura dinamitzadora o moderadora (que pot ser de perfil tècnic o jove) entre un grup d'entre 6 o 12 joves o professionals per conèixer quina és la seva visió i percepció sobre un tema concret. Al llibre «Técnicas participativas para la educación popular» es troba una àmplia recopilació de diverses tècniques de participació que poden ser útils per a l’avaluació.
  • Les tècniques de creativitat permeten avaluar idees de manera creativa. Avaluar les idees que s’han generat valorant les amenaces i les oportunitats i descartant les que no ens serveixen, reorganitzant-les per temàtiques i prioritzant, com proposa la «Fundación Neuronilla para la Creatividad e Innovación».

Però, com triar entre tantes tècniques? Alguns criteris:

  • La tria del "com" avaluar serà més fàcil si es té clar el "per què" es vol avaluar: reajustar i millorar l'actuació amb els joves? Rendir comptes davant dels polítics, la ciutadania o els finançadors? Millorar la legitimitat i/o visibilitat dels nostres projectes? Involucrar els joves en la gestió i la planificació del projecte?
  • L'esforç que s’empra per avaluar ha d'anar en sintonia amb els recursos de què es disposa i el rèdit que es vulgui treure.
  • L'avaluació ha de ser senzilla i concreta perquè els projectes han de ser senzills i concrets. Com més complexa és una intervenció, més complexa en serà l’avaluació.
  • Les avaluacions d’impacte signifiquen identificar els canvis que s’han produït en la realitat intervinguda i que són deguts a aquesta intervenció. Per fer això es necessiten eines metodològiques molt potents (grup control, etc.) i amb una certa dificultat i complexitat per implementar-les. Es pot ampliar el coneixement d’aquesta tècnica a la « Guia d'avaluació d'impacte» d’Ivàlua.
  • L'avaluació ha de tenir en compte la visió dels diferents perfils de joves i la visió d'altres professionals i altres agents del territori. En funció dels canals d'interlocució que hi hagin establerts, es podran triar quines visions es poden avaluar i quines no i quines tècniques cal utilitzar. La «Guia per avaluar processos participatius» [2] ofereix algunes orientacions pràctiques per dur a terme, de forma més o menys planificada i organitzada, l’avaluació dels processos de participació ciutadana que s’impulsen des de les diverses administracions públiques.

I ara, com es treuen les conclusions de tot plegat?

[modifica]

El més important de l'avaluació és que permeti treure conclusions útils, valoracions positives o negatives respecte als projectes, les activitats, els recursos, la realitat del grup diana i, sobretot, respecte als canvis i transformacions que han viscut els destinataris i l'entorn. Sempre tenint en compte que les conclusions seran diferents en funció del propòsit de l’avaluació.

Per tant, en primer lloc, quan s’engegui una avaluació s’ha de tenir clar per a què ha de servir.

En segon lloc, cal pensar qui té dret a emetre judicis de valor sobre el projecte avaluat i pensar com implicar en l'avaluació els agents significatius i els diferents perfils de joves que hi han estat vinculats.

En tercer lloc, s’ha de destinar un temps a l'anàlisi i la comprensió de la informació recollida, si no no serveix de res recollir-la. Per recollir-la i no fer-la servir és millor no recollir-la. L'anàlisi és el moment per repensar com transformar la realitat amb els projectes juvenils.

En quart lloc, per analitzar la informació recollida, cal creuar-la sempre amb indicadors de perfils de joves, ja que qualsevol intervenció que s’engegui pot tenir impactes diferents en funció dels perfils dels destinataris.

I en cinquè lloc, i ja per acabar, cal pensar bé com es redacten, com es difonen i amb qui es comparteixen les conclusions de l'avaluació, ja que aquestes són tant el punt final d'un projecte com el punt inicial del projecte següent.


PARAULES CLAU:
Teoria del canvi, procés d’avaluació, tècniques de recollida d'informació, avaluació.


Referències

[modifica]
  1. ↑ Oms, M; Ramos, X. «4.6 L'avaluació del projecte». A: Planificació i avaluació d'un projecte (Web) (en català). Escola d'Administració Pública de Catalunya. Generalitat de Catalunya, 2011. 
  2. ↑ Parés, M; March, H. «Guia per avaluar processos participatius» (PDF) (en català). Guies breus de participació ciutadana. Departament de Governació i Relacions Institucionals. Generalitat de Catalunya [Barcelona], 3, 2012.

Bibliografia

[modifica]

Públiques (Ivàlua). Col·lecció Ivàlua. Guies pràctiques sobre avaluació, Maig 2022. 

Enllaços externs

[modifica]


Obtingut de «https://ca.wikibooks.org/w/index.php?title=Guia_Jove/L%27avaluació_de_l%27activitat&oldid=74409»