3 consideraciones clave para navegar los resultados de IDPS como un(a) campeón(a) 🏎️
Esta semana los colegios recibieron sus resultados de los Indicadores de Desarrollo Personal y Social (IDPS) y en Pulso Escolar decidimos escribir este post con 3 puntos importantes para aprovechar esta información en los colegios.
¿Qué significa realmente el puntaje que entregan los IDPS?
Los puntajes que entregan los IDPS van entre 0 y 100. Este puntaje proviene de una agrupación de lo favorable que fueron las respuestas de estudiantes, profesores y apoderados en promedio.
Santo cielo, ¡sigue siendo complejo! Para hacerlo más simple partamos por la unidad más básica, una respuesta a una pregunta. Vamos con una pregunta de ejemplo (o ítem como lo llama la agencia):
¿Qué tan claro está siendo este post?
a) Nada de claro (puntaje 0)
b) Poco claro (puntaje 25)
c) Medianamente claro (puntaje 50)
d) Bastante claro (puntaje 75)
e) Muy claro (puntaje 100)
A cada una de estas alternativas se le asigna un puntaje de 0 a 100 en incrementos iguales, que es mayor mientras más favorable es. En nuestro ejemplo pusimos el puntaje a cada alternativa entre paréntesis. Luego, se calcula para cada estudiante el promedio de sus respuestas a cada ítem y estos a su vez, se promedian para calcular los resultados de las dimensiones. Por último, las dimensiones se promedian para calcular los indicadores y los colegios ven el promedio que obtienen todos los estudiantes en las dimensiones e indicadores. La agencia lo explica con el siguiente gráfico en su informe técnico.
Como el resumen del resumen y perdiendo una pequeña fracción de la información en el camino, una forma muy simple de interpretar los indicadores es viendo qué tan cercanos están a los puntajes de las alternativas:
0: Promedio nada de favorable
25: Promedio poco favorable
50: Promedio medianamente favorable
75: Promedio bastante favorable
100: Promedio muy favorable
Usando un ejemplo concreto, si nuestro puntaje es 60, podríamos decir que en promedio las respuestas de este indicador están entre medianamente y bastante favorables, cargado hacia medianamente favorables.
¿Qué consejo puede ser útil para analizar los resultados?
Analiza primero los hechos concretos: Una vez terminado este proceso deberías recién pasar a las inferencias. Nuestro cerebro es muy bueno encontrando patrones y cuando trabajamos en equipos, tendemos a pasar rápidamente a inferir sin acordar primero un diagnóstico común basado en los hechos. Por ejemplo, si vemos que el indicador de clima de nuestros IDPS está descendido, de inmediato podríamos pensar en las causas que explicarían el fenómeno, sin antes analizar toda la información logrando un diagnóstico común y más profundo. Esto puede llevar a interpretaciones incompletas y a que el equipo tenga miradas muy distintas sobre los datos, inferencias que solo confirman prejuicios previos o planificación de acciones de bajo impacto.
Antes de inferir, agregar información complementaria importante como por ejemplo, la evolución de los puntajes en el tiempo, la diferencia del indicador con el promedio de otros colegios del mismo grupo socioeconómico u otra información interna del colegio que pueda ayudar a entender los resultados.
Con todos estos datos sobre la mesa, realiza un diagnóstico común con tu equipo de trabajo basado en los hechos compartidos por todos. Recién en ese momento es una buena idea analizar qué puede estar causando los resultados y plantear una o más líneas de acción o intervenciones a las que quieras hacer seguimiento posteriormente.
En el equipo de Pulso Escolar nos gusta mucho el marco teórico de DataWise de la Universidad de Harvard, y este consejo está basado en sus recomendaciones. Acá les dejamos un post que escribimos hace un tiempo explicando más sobre esta metodología que les puede ser útil.
Destaca los resultados positivos: Muy frecuentemente nos toca trabajar con equipos que al analizar se van directamente a la parte más débil de los resultados y olvidan tomar en cuenta las fortalezas. Si bien es una reacción natural, vale la pena también destacar las buenas noticias; en lo positivo hay información de lo que la comunidad valora del colegio y es importante cuidar.
¿Qué tan validadas están estas metodologías?
En los últimos 10-15 años el uso de encuestas de alta calidad se ha convertido en el estándar de excelencia para medir cultura escolar, es decir están muuuuuy validados. Una iniciativa que fue importante en este posicionamiento de las encuestas como estándar de excelencia fue el Met Project de Bill y Melinda Gates Foundation, una de las investigaciones más caras y ambiciosas realizadas en la historia de la educación escolar y fue hecha entre los años 2009 y 2013. Este estudio se propuso entender la efectividad docente y dentro de las fuentes de información que utilizó había pruebas curriculares de valor agregado, observación de clases y encuestas. Una de sus primeras líneas de difusión fue lo robusta que era la información de encuestas y su poder predictivo. Les dejamos una publicación acá de su trabajo. Posterior a esta publicación han habido múltiples iniciativas que usan encuestas para medir y gestionar dimensiones como el clima escolar, aprendizaje socioemocional, experiencia de aprendizaje y otros. Algunos de ellos son los IDPS, el DIA socioemocional o nuestro proyecto favorito Pulso Escolar 😎.
En Pulso Escolar nos dedicamos a medir y gestionar temas complejos de cuantificar que son clave para gestionar colegios como por ejemplo, clima escolar, aprendizaje socioemocional y la experiencia de aprendizaje y enseñanza. Con nuestras encuestas y sociogramas de alta calidad, puedes profundizar en estos resultados y obtener información para tomar acciones a nivel de colegio, cada curso y el apoyo específico a cada estudiante. ¿Te interesa? A nosotros nos encantaría reunirnos, saber más de ustedes y contarles más sobre Pulso Escolar.