Cómo diseñamos encuestas escolares rigurosas: el proceso detrás de cada instrumento de Pulso Escolar
Cuando presentamos la encuesta de Pulso Escolar, hay una pregunta que es fundamental: ¿de dónde salieron esas preguntas y por qué confiar en ellas? Detrás de cada instrumento que aplicamos hay un proceso técnico de diseño y validación que busca asegurar que lo que medimos realmente refleje lo que ocurre en la sala de clases, y no sea producto del azar, de preguntas mal formuladas o de sesgos en la redacción.
¿Por qué importa cómo se diseña una encuesta?
La evidencia en psicometría muestra que complementar las técnicas estadísticas con un trabajo preliminar más riguroso en la fase de diseño (como entrevistas con expertos y pruebas de que el lenguaje sea el adecuado) tiende a mejorar la validez de las escalas finales de una encuesta. Es una idea simple pero que se olvida con frecuencia: no basta con analizar bien los datos después de aplicada la encuesta; hay que invertir tiempo antes, en cómo se construye cada pregunta.
En el caso específico del Aprendizaje Socioemocional (ASE), este es un aspecto fundamental de la educación que abarca el desarrollo de habilidades sociales y emocionales necesarias para el éxito académico y la vida. El objetivo de la encuesta ASE de Pulso Escolar es recopilar información mediante el autoreporte de los propios estudiantes sobre sus habilidades socioemocionales, entregando a los colegios datos para mejorar sus programas de ASE y el apoyo individual a cada estudiante.
Los 6 pasos del diseño de una encuesta en Pulso Escolar
Este es el proceso general que seguimos para construir y validar cualquier encuesta nueva:
- Definir objetivos y alcance de lo medido
- Revisión de la literatura y consulta con expertos
- Operacionalización de la encuesta
- Desarrollo de lista de ítems según manual de buenas prácticas
- Pilotaje
- Rollout y análisis psicométrico básico
Paso 1: Definir objetivos y alcance
Todo parte por definir con claridad qué se quiere medir. En el caso de ASE, el objetivo fue identificar el desarrollo de habilidades socioemocionales de los estudiantes y su experiencia de aprendizaje socioemocional en el contexto escolar. A partir de ahí, se seleccionan dominios que sean relevantes, medibles por encuesta y que los colegios puedan efectivamente gestionar, es decir, que no midan algo interesante pero sobre lo cual la escuela no pueda actuar.
También se define el alcance: a quién se le aplicará (en el caso de ASE, estudiantes desde prekínder a IVº medio) y en qué contexto (en este caso, contexto escolar, aplicada preferentemente en aula mediante la plataforma en línea de Pulso Escolar).
Paso 2: Revisión de la literatura y consulta con expertos
Antes de escribir una sola pregunta, se revisa la literatura internacional para entender los marcos teóricos existentes, los instrumentos ya validados y las mejores prácticas. Para la encuesta ASE, fue especialmente útil la herramienta Explore SEL del EASEL Lab de Harvard University, que permite comparar los marcos teóricos de aprendizaje socioemocional más utilizados en el mundo.
De esa revisión, se seleccionó el marco teórico de CASEL (Collaborative for Academic, Social, and Emotional Learning) y sus cinco dimensiones de aprendizaje socioemocional como guía para la estructura general de la encuesta, considerando que es un referente mundial en la materia.
Esta etapa también incluye consultas directas con expertos en ASE, académicos, educadores y psicólogos. Para el caso de esta encuesta, se entrevistó, entre otros, a los creadores del programa BASE para Aprendizaje Socioemocional en el contexto escolar en Chile. El objetivo de estas consultas es asegurar que la encuesta sea apropiada para la edad de quienes la responden, relevante para el contexto escolar chileno y culturalmente sensible.
Paso 3: Operacionalización de la encuesta
Aquí se traduce la teoría en una estructura concreta. Se genera un documento que describe la arquitectura general de la encuesta y define cada constructo que se va a medir. Toda encuesta en Pulso Escolar sigue una misma lógica de tres niveles: indicadores, dimensiones y módulos. Los indicadores están compuestos por una o más dimensiones, y estas a su vez se componen de módulos. Cada módulo agrupa entre 3 y 8 preguntas, lo que permite obtener un constructo robusto y no depender de una sola pregunta para medir algo tan complejo como, por ejemplo, la empatía.
Paso 4: Desarrollo del cuestionario
Con la estructura ya definida, se redactan las preguntas usando un manual interno de buenas prácticas basado en evidencia. En esta etapa se prioriza que las preguntas sean claras, concisas y apropiadas para la edad de quien las responde. Se privilegian preguntas que apunten a prácticas concretas más que a percepciones abstractas, y se utilizan alternativas de escalas polares con 5 opciones, donde cada una representa un grado de intensidad de un concepto particular, un enfoque que se basa mayormente en la investigación del profesor Jon Krosnick, referente académico en metodología de encuestas y ciencia de la opinión pública. Es profesor en Stanford, y su especialidad central es el diseño de encuestas y la calidad de la medición de actitudes.
Luego se organiza el cuestionario en un flujo lógico: se agrupan los ítems por tema y se cuida mantener un equilibrio entre preguntas más y menos sensibles o complejas, tanto por su carga cognitiva como emocional.
Paso 5: Pilotaje
Antes de aplicar la encuesta a gran escala, se realiza una prueba piloto con una muestra diversa de estudiantes. El objetivo es identificar problemas que solo aparecen cuando personas reales responden el instrumento: redacción confusa, preguntas ambiguas o sesgadas, o respuestas con poca variabilidad (por ejemplo, si todos responden siempre lo mismo, la pregunta no está discriminando bien).
En paralelo, se obtienen comentarios de expertos en ASE, educadores e interesados, para garantizar la validez de contenido, la relevancia cultural y la alineación con los objetivos definidos en el Paso 1. En esta etapa se revisan también las versiones de la encuesta pensadas para los distintos niveles educativos, confirmando que el lenguaje sea apropiado para cada edad y que las temáticas sean pertinentes al contexto.
Paso 6: Rollout y análisis psicométrico básico
Con los comentarios del piloto incorporados, se realizan los ajustes necesarios al cuestionario final: se revisa el orden y se afina el lenguaje para asegurar que la encuesta esté lista para aplicarse a gran escala. Se desarrolla también un plan detallado de administración, que incluye un protocolo de aplicación con instrucciones para los encargados de encuestas en los colegios, cronogramas y consideraciones para garantizar consistencia y el cumplimiento de estándares éticos.
Finalmente, se analizan los datos cuantitativos de la prueba piloto con métodos estadísticos apropiados, para identificar ítems problemáticos, evaluar la confiabilidad de las escalas y explorar patrones en las respuestas. Para esto se utiliza específicamente alpha de Cronbach y Análisis Factorial. Esta retroalimentación se usa para refinar el cuestionario año a año, es decir, el proceso no termina cuando la encuesta se publica: se revisa de forma continua.
Preguntas frecuentes
¿Este proceso aplica solo a la encuesta de Aprendizaje Socioemocional?
No. Es el proceso general que Pulso Escolar sigue para todo diseño de nuevas encuestas y escalas. La encuesta ASE es el ejemplo que usamos en este artículo, pero los mismos 6 pasos aplican al resto de los instrumentos de la plataforma.
¿Por qué se hace un piloto antes de aplicar la encuesta en los colegios?
Porque un piloto permite detectar, con estudiantes reales, problemas que no se ven en el papel: preguntas mal redactadas, ambiguas, sesgadas, o que generan respuestas sin variabilidad. Corregir eso antes del rollout evita que un colegio reciba datos poco confiables.
¿Qué marco teórico se usó para la encuesta de Aprendizaje Socioemocional?
El marco de CASEL (Collaborative for Academic, Social, and Emotional Learning) y sus cinco dimensiones de aprendizaje socioemocional, seleccionado por ser un referente mundial en la materia. También se utilizó la herramienta Explore SEL del EASEL Lab de Harvard University durante la etapa de revisión de literatura.
¿Cómo se valida estadísticamente una encuesta después del piloto?
Se utilizan métodos estadísticos como el alpha de Cronbach, que mide la confiabilidad o consistencia interna de una escala, y el Análisis Factorial, que ayuda a identificar si las preguntas efectivamente agrupan en los constructos que se buscaba medir. Esta retroalimentación se usa para refinar el cuestionario año a año.
Encuestas diseñadas con rigor, pensadas para la gestión escolar
Este nivel de trabajo metodológico —revisión de literatura, consulta con expertos, pilotaje y validación estadística— es el que está detrás de cada módulo de Pulso Escolar, incluyendo la encuesta de Aprendizaje Socioemocional. El objetivo final es que los equipos directivos y de convivencia escolar cuenten con información confiable para tomar decisiones, y no solo con datos.
Si quieres conocer más sobre cómo aplicar la encuesta de Aprendizaje Socioemocional u otros módulos de Pulso Escolar en tu colegio, agenda una reunión con nuestro equipo.
Fuentes
- Gehlbach, H., & Brinkworth, M.E. (2011). Measure twice, cut down error: A process for enhancing the validity of survey scales. Review of General Psychology, 15(4), 380-387.
- Collaborative For Academic, Social, And Emotional Learning, CASEL. (2019).
- Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7(3), 309-319.
- DeVellis, R. F. (2003). Scale development: Theory and applications (2nd ed.). Newbury Park, CA: Sage.
- Milicic, N., Alcalay, L., Berger, C., Torreti, A. (2014). Aprendizaje Socioemocional Programa BASE (Bienestar y Aprendizaje Socioemocional).
- Simms, L. J. (2008). Classical and modern methods of psychological scale construction. Social and Personality Psychology Compass, 2(1), 414-433.