Metodología

SkillsBank es un sitio web que busca facilitar el acceso a evidencia rigurosa sobre cómo promover habilidades en diferentes etapas del ciclo de vida. Se espera que esta herramienta sea de utilidad para los responsables de las políticas publicas, especialistas e investigadores. SkillsBank, presenta evidencia sobre cómo abordar seis desafíos de políticas públicas los que cuales involucran mejorar resultados en:

 

  • -Cognición infantil

  • -Conducta infantil

  • -Aprendizaje en la escuela primaria

  • -Matriculación en la escuela secundaria

  • -Finalización de la escuela secundaria

  • -Aprendizaje en la escuela secundaria

 

Para cada uno de estos desafío de políticas públicas, como mejorar el aprendizaje en la escuela primaria, SkillsBank presenta los efectos promedio de los principales tipos de programas. Por ejemplo, el sitio web muestra que, basándose en la evidencia disponible, proporcionar planes de clases a los maestros ha mejorado el aprendizaje en 9 puntos de aprendizaje (en promedio). Como referencia, cabe notar que un estudiante promedio de tercer grado en los Estados Unidos mejora su rendimiento académico en matemática en 40 puntos de aprendizaje durante un año.

 

Además, SkillsBank proporciona información clave y detallada sobre las evaluaciones de alta calidad utilizadas para estimar este efecto promedio. Es decir, el sitio web está estructurado para proveer no sólo un panorama de lo que funciona, sino también, información detallada sobre las evaluaciones existentes.

 

La información presentada en SkillsBank es el producto de revisiones sistemáticas de la literatura. Por ejemplo, hemos realizamos una revisión sistemática sobre cómo mejorar el aprendizaje de matemática y lenguaje en primaria. Las revisiones sistemáticas están ganando reconocimiento como una herramienta fundamental para resumir la evidencia científica en un área. Este reconocimiento se deriva del énfasis que se le da al uso de procedimientos explícitos, objetivos y estándar en las revisiones sistemáticas.

 

Cada revisión sistemática realizada para producir datos para SkillsBank consistió de siete pasos que se enumeran en la siguiente tabla, y se explican con más detalle a continuación. Para mayor claridad, hemos ilustrado estos pasos para la revisión sistemática realizada sobre cómo mejorar el aprendizaje en la escuela primaria.

 

 

Pasos involucrados en cada revisión sistemática

 

Pasos Descripción
1. Buscar estudios Identificar documentos que describan evaluaciones que podrían ser incluidas en la revisión
2. Filtrar evaluaciones Mantener sólo aquellas evaluaciones que cumplan con los criterios de inclusión
3. Codificar variables Extraer y codificar variables relevantes de las evaluaciones a incluir
4. Categorizar intervenciones Clasificar las intervenciones en grupos (tipos de programas)
5. Calcular el tamaño del efecto Calcular tamaños del efecto para que sean comparables entre las evaluaciones
6. Combinar los tamaños del efecto Combinar los efectos para producir un efecto por evaluación
7. Generar promedios Producir un efecto promedio para cada tipo de programa por medio de un meta-análisis

 

Paso 1: Buscar estudios

Este primer paso involucró la búsqueda de estudios que podrían ser incluidos en la revisión. Para encontrar estos documentos, utilizamos diferentes enfoques, incluyendo extraer referencias de revisiones anteriores y realizar búsquedas de palabras clave en bases de datos bibliográficas, como Google Scholar. En el caso de la revisión de Aprendizaje en Primaria, este paso generó una lista de estudios con información sobre evaluaciones de intervenciones que buscaron mejorar el aprendizaje en las escuelas primarias.

 

Paso 2: Filtrar evaluaciones

Este paso consistió en determinar cuáles de los estudios identificados en el paso anterior debían incluirse en la revisión. Para ello, desarrollamos criterios de inclusión que enumeran todos los requisitos que un estudio tuvo que cumplir para ser incluido en la revisión. Por ejemplo, en la revisión de Aprendizaje en Primaria, sólo se incluyeron estudios que utilizaron alguno de los siguientes diseños metodológicos: evaluaciones experimentales, discontinuidad de regresión, variables instrumentales y diferencias en diferencias. El objetivo de este paso fue identificar un número razonable de estudios de alta calidad que, de forma conjunta, pudieran proporcionar una estimación acerca de los efectos esperados de cada tipo de programa.

 

Paso 3: Codificar variables

Este paso implicó la codificación de variables relevantes. Algunas variables que se construyeron contenían información sobre el contexto de la evaluación (por ejemplo, la edad de los participantes), y sobre las características y la naturaleza de la intervención. Otras variables contenían información metodológica, como el diseño utilizado para estimar los efectos (por ejemplo, si se utilizó una evaluación experimental) y las medidas utilizadas para identificar los efectos (por ejemplo, el tipo de pruebas utilizadas). Finalmente, hubo variables que tenían información sobre los efectos documentados. Todas las variables fueron codificadas utilizando procedimientos estándar para asegurar la comparabilidad entre las evaluaciones.

 

Paso 4: Categorizar intervenciones

El cuarto paso de la revisión consistía en clasificar las intervenciones en grupos llamados "tipos de programas". El objetivo básico de este paso es agrupar las intervenciones similares. En nuestro análisis, generamos categorías que fueron exhaustivas y mutuamente excluyentes. Es decir, todas las intervenciones fueron asignadas a un, y sólo a un, tipo de programa. En la revisión de Aprendizaje en Primaria, definimos 20 tipos de programas diferentes. Por ejemplo, un tipo de programa incluía todas las intervenciones que involucraban proveer a los maestros planes de clases.

 

Paso 5: Calcular el tamaño del efecto

Este paso implicaba realizar el cálculo del tamaño del efecto. El tamaño del efecto es una medida cuantitativa del efecto de una intervención sobre un determinado resultado que es comparable entre evaluaciones. El objetivo de este paso es estandarizar los efectos de modo de que sean comparables y que de esta forma sea posible estimar un efecto promedio. Para la revisión de Aprendizaje en Primaria, se utilizó la “diferencia de medias estandarizada” como el tamaño del efecto. Técnicamente, la diferencia de medias estandarizada puede calcularse dividiendo la diferencia entre la media del resultado en el tratamiento y el grupo de control por la desviación estándar del resultado. La ventaja de este procedimiento es que permite comparar los efectos que se midieron utilizando diferentes pruebas. Además, expresar los efectos de esta manera es una práctica estándar en este área de estudio.

 

Paso 6: Combinar los tamaños del efecto

Este paso involucró la combinación de múltiples tamaños del efecto reportados por una evaluación. Por ejemplo, una evaluación pudo reportar múltiples efectos que correspondían a diferentes materias, como matemática y lectura. Debido a que la revisión de Aprendizaje en Primaria buscó generar un efecto promedio para cada tipo de programa en el rendimiento académico, los efectos de una intervención en matemática y lectura debían combinarse. Esto implicó básicamente promediar los efectos de modo de generar un efecto para cada evaluación.

 

Paso 7: Generar promedios

El paso final implicó generar un efecto promedio para cada tipo de programa. Específicamente, realizamos una meta-regresión de efectos aleatorios para cada tipo de programa, incluyendo como unidad de observación cada estudio que midió los efectos de las intervenciones en ese tipo de programa. Por ejemplo, para calcular el efecto promedio del las intervenciones que proveían planes de clases, realizamos una meta-regresión de efectos aleatorios que incluía todas las evaluaciones incluidas en la revisión que midieron los efectos de este tipo de programa.

 

¿Quiere saber más?

Para más detalles, descargue nuestro apéndice técnico.

 

Ayúdanos a mejorar SkillsBank

Póngase en contacto con nosotros escribiendo a skillsbank@iadb.org para hacernos saber acerca de alguna evaluación que deba incluirse o cualquier información que deba corregirse. Queremos mejorar SkillsBank y su ayuda será fundamental. ¡Gracias!