Análisis metodológico del Proyecto PISA como evaluación internacional
DOI:
https://doi.org/10.7203/relieve.22.1.8293Palabras clave:
proyecto PISA, análisis metodológico, evaluación del aprendizaje, cuestionarios de contexto, evaluación de sistemas educativos, educación, medición.
Resumen
En este artículo el objetivo es realizar un análisis global del Proyecto PISA como programa de evaluación internacional. Asimismo, se analizan características metodológicas de los procesos métricos que sustentan los instrumentos que se utilizan en el proyecto: las pruebas de logro y los cuestionarios de contexto. Se identifican las fortalezas y debilidades del proyecto, en diversas áreas, desde el Diseño y validación del proyecto como programa de evaluación internacional, sus usos y modos de comunicación de resultados, hasta las características métricas de sus instrumentos. Se proponen alternativas para optimizar el uso del proyecto en general y en los países involucrados en particular. Se concluye que se trata de un proyecto que, por su calidad metodológica e impacto socio-político es valioso, si bien tiene diferentes aspectos que podrían mejorarse -tanto como programa de evaluación, como en sus fundamentos de medición educativas- para que pudiera aportar informaciones de mayor calidad y que pudieran orientar decisiones de mejora.
Biografía del autor/a
Jesús Miguel Jornet Meliá, Universitat de València
Citas
Andréu, J. (2011). El análisis multinivel: una revisión actualizada en el ámbito sociológico. Metodología de Encuestas, Vol. 13, 161-176.2 ISSN: 1575-7803
Backhoff, E., Bouzas, R., Contreras, C., Hernández, P. & García, P. (2007). Factores escolares y aprendizaje en México. El caso de la educación básica. México: INEE.
Basterra, M. R. (2011). Cognition, culture, language, and assessment. In M. R. Basterra, E. Trumbull, and G. Solano-Flores (Eds.), Cultural validity in assessment (pp. 72-95). New York: Routledge.
Booth, T. & Ainscow, M. (2000). Index for Inclusion. Bristol: CSIE.
Borges, A. & Sánchez-Bruno, A. (2004). Algunas consideraciones metodológicas relevantes para la investigación aplicada. Revista Electrónica de Metodología Aplicada, Vol. 9 nº 1, pp. 1-11.
Camilli, G., & Shepard, L. (1994). Methods for identifying biased test items. Thousands Oaks, CA: Sage.
Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: La Catarata.
Coleman, J. S.; Campbell, E.; Hobson, C.; McPartland, J.; Mood, A.; Weinfeld, F. & York., R. (1966). Equality of educational opportunity. Washington: Government Printing Office.
Cordero, J. M., Crespo, E. & Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: una revisión de la literatura en España. Revista de Educación, 362, 273-297. DOI: http://dx.doi.org/10.4438/1988-592X-RE-2011-362-161
De la Orden, A. (2007). Evaluación de la calidad de la educación. Un modelo sistémico como base para la construcción de un sistema de indicadores. En INEE, Conceptos, metodologías y experiencias para la construcción de indicadores educativos (pp. 6-21). México: Instituto Nacional para la Evaluación de la Educación (INEE).
De la Orden, A. (2012). La función general de la evaluación y la optimización educativa. Ponencia invitada en el I Foro Iberoamericano de Evaluación Educativa. México: Ensenada, UABC-IIDE (5-7 Noviembre). Recuperado de http://uee.uabc.mx/uee/eventos/primerForoRIEE/ponencias/6.pdf
De la Orden, A. (Dir.) (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3(1-2). Recuperado de http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm
De la Orden, A., & Jornet, J.M. (2012). La utilidad de las evaluaciones de sistemas educativos: la consideración del contexto. Bordón, 64, 2; 69-88.
Ercikan, K., & Solano-Flores, G. (2016). Assessment and sociocultural context: A bidirectional relationship. En G. T. L. Brown & L. Harris (Eds.), Human Factors and Social Conditions of Assessment. New York: Routledge.
Ercikan, K., Roth, W.-M., Simon, M., Sandilands, D., & Lyons-Thomas, J. (2014). Inconsistencies in DIF detection for sub-groups in heterogeneous language groups. Applied Measurement in Education, 27, 275-285.
Frías, M.D., Pascual, J., & García, J.F. (2000). Tamaño del efecto del tratamiento y significación estadística. Psicothema, 12(2), 236-240.
García-Bellido, Rosario (2015). Diseño y validación de un instrumento para evaluar la competencia "Aprender a aprender" en profesionales de la educación. Tesis Doctoral. Universitat de València:.
Gaviria, J. L., Martínez, R., & Castro, M. (2004). Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil. Policy Analysis Archives, 12(20). DOI: http://dx.doi.org/10.14507/epaa.v12n20.2004
González-Montesinos, M.J. & Jornet, J.M. (2010). Modelo para detección de funcionamiento diferencial de reactivos (DIF) en pruebas INEE. Informe Técnico 2010. México: INEE, Dirección General de Pruebas, Documento interno.
Green, J. (1988). Stakeholder Participation and Utilization in Program Evaluation. Evaluation Review, April (12), 91-116. DOI: http://dx.doi.org/10.1177/0193841X8801200201
Hambleton, R.K. (2005). Issues, designs, and technical guidelines for adapting tests into multiple languages and cultures. In R.K. Hambleton, P.F. Merenda, & C.D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment. Mahwah, NJ: Lawrence Erlbaum.
Hernández, R., Fernández, C., & Baptista, P. (2010). Metodología de la investigación. México: Editorial Mc Graw Hill.
Hox, J. (2002). Multilevel Analysis: Techniques and applications. London: Lawrence Erlbaum Associates.
INEE -Instituto Nacional para la Evaluación de la Educación de México- (2005). PISA para docentes: La evaluación como oportunidad de aprendizaje. México D.F.: INEE. Recuperado de http://www.inee.edu.mx/index.php/84-publicaciones/materiales-para-docentes-capitulos/455-pisa-para-docentes-la-evaluacion-como-oportunidad-de-aprendizaje
Jornet, J. M. & Suárez, J. M. (1989). Conceptualización del dominio educativo desde una perspectiva integradora en Evaluación Referida al Criterio (ERC). Bordón, 41, 237-275.
Jornet, J. M. (2014). Asignaturas pendientes en las evaluaciones a gran escala. En M. C. Cardona, y E. Chiner. (Eds.). Investigación educativa en escenarios diversos, plurales y globales. (pp. 115 – 128). Madrid: EOS.
Jornet, J. M., Perales, M. J. & Sánchez-Delgado, P. (2011). El Valor Social de la Educación: Entre la Subjetividad y la Objetividad. Consideraciones Teórico-Metodológicas para su Evaluación. Revista Iberoamericana de Evaluación Educativa, 4(1), 51-77. Recuperado de http://www.rinace.net/riee/numeros/vol4-num1/art3.pdf
Jornet, J.M. & González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-123. Recuperado de http://dadun.unav.edu/bitstream/10171/9172/1/16%20Estudios%20Ee.pdf
Jornet, J.M., García-García, M. & González-Such, J (Eds.)-(2014). La evaluación de sistemas educativos. Informaciones de interés para los colectivos implicados. Universitat de València –PUV-.
Jornet, J.M., López-González, E., & Tourón, J. (Coords.) (2012). Los cuestionarios de contexto en la evaluación de sistemas educativos. Bordón, 64(2). (Monográfico).
Jornet, J.M., Sánchez-Delgado, P. & Perales, M. J. (2015) La evaluación del impacto y la relevancia de la educación en la sociedad. Universitat de València -PUV-.
Ledesma, R., Macbeth, G. & Cortada de Kohan, N. (2008). El tamaño del efecto: una revisión conceptual y aplicaciones de la vista con sistema de estadística. Revista Latinoamericana de psicología, 40(3), 425-439.
Lizasoain, L. & Joaristi, L. (2010). Estudio Diferencial del Rendimiento Académico en Lengua Española de Estudiantes de Educación Secundaria de Baja California (México). Revista Iberoamericana de Evaluación Educativa,3(3), pp..115-134. Recuperado de http://www.rinace.net/riee/numeros/vol3-num3/art6.pdf.
Martínez Rizo, F. (2009) Evaluación formativa en aula y evaluación a gran escala: hacia un sistema más equilibrado. REDIE, 11(2), 1.18. Recuperado de http://redie.uabc.mx/redie/article/download/231/388
Martínez Rizo, F. (2012). La evaluación en el aula: promesas y desafíos de la evaluación formativa. México: Universidad Autónoma de Aguascalientes.
Martínez-Rizo, F. (2016). Impacto de las pruebas en gran escala en contextos de débil tradición técnica: Experiencia de México y el Grupo Iberoamericano de PISA. RELIEVE, 22(1). DOI: http://dx.doi.org/10.7203/relieve.22.1.8244
Martinez-Rizo, F. (Coord.) (2015). Las pruebas ENLACE y Excale. Un estudio de validación. Cuaderno de Investigación No. 40. México. DF: Instituto Nacional para la Evaluación de la Educación. Recuperado de http://publicaciones.inee.edu.mx/buscadorPub//P1/C/148/P1C148_01E01.pdf
Martínez, R. (2006). La metodología de los estudios PISA. Revista de Educación, núm. Extraordinario, 111-129.
MECD. (2014). Panorama de la educación. Indicadores de la OCDE 2014. Madrid: MECD. Recuperado de http://www.mecd.gob.es/dctm/inee/indicadores-educativos/panorama2014/panorama2014web.pdf?documentId=0901e72b81b20622
MECD. (2015). Panorama de la educación. Indicadores de la OCDE 2015. Madrid: MECD. Recuperado de http://www.mecd.gob.es/dctm/inee/internacional/panorama-de-la-educacion-2015.-informe-espanol.pdf?documentId=0901e72b81ee9fa3
Mehrens, W. (1997). The consequences of consequential validity. Educational Measurement: Issues and Practice, 16(2), 16-18.
Ministerio de Educación, Cultura y Deporte. (2012). PISA 2012. Programa para la Evaluación Internacional de los alumnos. Informe español. Madrid: MECD. http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/pisa2012lineavolumeni.pdf?documentId=0901e72b81786310
Ministerio de Educación (2009). PISA 2009. Programa para la evaluación internacional de los alumnos. Informe español. Madrid: Ministerio de Educación. http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisa-2009-con-escudo.pdf?documentId=0901e72b808ee4fd
Muñiz, J., Elosua, P. & Hambleton, R.K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), pp. 151-157. DOI: http://dx.doi.org/10.7334/psicothema2013.24
Murillo, F.J. (2003). Una panorámica de la investigación iberoamericana sobre eficacia escolar. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 1(1), 1-14.
Murillo, F.J. (2007). School Effectiveness Research in Latin America. En T. Townsend (Ed.), International Handbook of School Effectiveness and Improvement, (pp. 75-92). New York: Springer.
Murillo, F. J. (2008). Los modelos multinivel como herramienta para la investigación educativa. Magis, Revista Internacional de Investigación en Educación, 1, 45-62.
Murillo, F.J. & Hernández-Castilla, R. (2011a). Factores escolares asociados al desarrollo socio-afectivo en Iberoamérica. RELIEVE, 17(2). DOI: http://dx.doi.org/10.7203/relieve.17.2.4007
Murillo, F. J., & Hernández-Castilla, R. (2011b). Efectos escolares de factores socio-afectivos. Un estudio Multinivel para Iberoamérica. Revista de Investigación Educativa, 29(2), 407-42. Recuperado de http://revistas.um.es/rie/article/view/111811
OECD. (1999). Measuring student knowledge and skills. A new Framework for assessment. Paris: OECD. Recuperado de http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33693997.pdf
OECD. (2003). The PISA 2003. Assessment Framework. Mathematics, Reading, Science and Problem Solving knowledge and skills. Paris: OECD. Recuperado de http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33694881.pdf
OECD. (2005). PISA 2003. Technical Report. Paris: OECD Publishing.
OECD. (2006). Assessing Scientific, Reading and Mathematical Literacy. A Framework for PISA 2006. Paris: OECD. Recuperado de http://www.oecdilibrary.org/docserver/download/9806031e.pdf?expires=1465551043&id=id&accname=guest&checksum=02E5A7F7B73F1CCFA0DA6E8336A2F3D8
OECD. (2009). PISA 2009. Assessment Framework. Key competencies in reading, mathematics and science. Paris: OECD. Recuperado de https://www.oecd.org/pisa/pisaproducts/44455820.pdf
OECD. (2009b). PISA 2006. Technical Report. Paris: OECD Publishing.
OECD. (2012). Pisa 2012. Assessment and analytical Framework. Mathematics, reading, science, problem solving and financial literacy. Paris: OECD. https://www.oecd.org/pisa/pisaproducts/PISA%202012%20framework%20e-book_final.pdf
OECD. (2012b). PISA 2009. Technical Report. París: OECD Publishing.
OECD. (2014). PISA 2012. Technical Report. París: OECD Publishing.
OECD. (2015). PISA 2015. Assessment and Analytical Framework. Science, Reading, Mathematic and Financial Literacy. Paris. OECD. http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-assessment-and-analytical-framework_9789264255425-en#page201
Popham, W. (1997). Consequential validity: Right concern - wrong concept. Educational Measurement: Issues and Practice, 16(2), 9-13.
Ravela, P. (2002). ¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativa en América Latina? Documento de Trabajo No. 2. Santiago de Chile: PREAL. Recuperado de http://www.preal.org/docs-trabajo/ravela_n22.pdf
Ravela, P. (2003). ¿Cómo aparecen los resultados de las evaluaciones educativas en la prensa? Grupo de Trabajo sobre Estándares y Evaluación del PREAL. Recuperado de http://www.preal.cl/GTEE/pdf/prensa.pdf
Rothman, R. (2004). Benchmarking and alignment of state standards and assessment. En S. Fuhrman and R. Elmore (Eds.), Redesigning accountability systems for education (pp. 96-114). New York: Teachers College Press.
Ruiz-Primo, M.A. (2006). A Multi-Method and Multi-Source Approach for Studying Fidelity of Implementation. CSE Report 677. SEAL, Stanford University/CRESST.
Ruiz-Primo, M. A., & Li, M. (2015). The relationship between item context characteristics and student performance: The case of the 2006 and 2009 PISA Science items. Teachers College Record, 117(1), 1-36.
Ruiz-Primo, M. A., Li, M., & Minstrell, J. (2014). Building a framework for developing and evaluating contextualized ítems in science assessment (DECISA). Proposal submitted to the DRL–CORE R7D Program to National Science Foundation. Washington, DC: National Science Foundation.
Ruiz-Primo, M. A., Shavelson, R. J., Hamilton, L. & Klein, S. (2002). On the evaluation of systemic education reform: Searching for instructional sensitivity. Journal of Research in Science Teaching, 39(5), 269-393. DOI: 10.1002/tea.10027
Ruiz-Primo, A., Jornet, J.M. y Backhoff, E. (2006). Acerca de la Validez de los exámenes de la calidad y el logro educativos (Excale). México: Instituto Nacional de Evaluación Educativa. Recuperado de http://www.uv.es/gem/gemhistorico/publicaciones/Acerca_de_la_Validez_de_los_examenes_de_la_calidad_y_el_logro_educativos_Excale.pdf
Ruiz-Primo, M.A.; Li, M.; Wills, K.; Giamellaro, M.; Ming-Chih, L.; Mason, H., & Sand, D. (2012). Developing and Evaluating Instructionally Sensitive Assessments in Science. Journal of research in science teaching. 49(6), pp. 691–712.
Sancho-Álvarez, C., Jornet, J. & González-Such, J. (2016). El constructo Valor Social Subjetivo de la Educación: validación cruzada entre profesorado de escuela y universidad. Revista de Investigación Educativa, 34(2). DOI: http://dx.doi.org/10.6018/rie.34.2.226131
Shavelson, R. J., Ruiz-Primo, M. A., Li, M., & Ayala, C. C. (2002). Evaluating new approaches to assessing learning. CSE Technical Report 604. National Center for Research on Evaluation, Standards, and Student Testing (CRESST) University of California, Los Angeles.
Solano-Flores, G. & Li, M. (2013). Generalizability theory and the fair and valid assessment of linguistic minorities. Educational Research and Evaluation: An International Journal on Theory and Practice, 19(2-3), pp. 245-263. DOI: http://dx.doi.org/10.1080/13803611.2013.767632
Solano-Flores, G. (2008, July). A conceptual framework for examining the assessment capacity of countries in an era of globalization, accountability, and international test comparisons. Paper given at the 6th Conference of the International Test Commission. Liverpool, UK.
Solano-Flores, G. (2011). Assessing the cultural validity of assessment practices: An introduction. En M. R. Basterra, E. Trumbull, & G. Solano-Flores, Cultural validity in assessment (pp. 3-21). New York: Routledge.
Solano-Flores, G., & Li, M. (2009). Generalizability of cognitive interview-based measures across cultural groups. Educational Measurement: Issues and Practice, 28(2), pp.9-18.
Solano-Flores, G., Contreras-Niño, L.A., & Backhoff, E. (2006). Test translation and adaptation: Lessons learned and recommendations for countries participating in TIMSS, PISA, and other international comparisons. REDIE: Electronic Journal of Educational Research, 8(2). Recuperado de http://redie.uabc.mx/vol8no2/contents-solano2.html
Tejedor, F. (1995). Perspectiva metodológica del diagnóstico y evaluación de necesidades en el ámbito educativo. Metodología en el diagnóstico y evaluación en los procesos de intervención educativa. Actas del V Seminario de Modelos de Investigación Educativa. Murcia: AIDIPE.
Webb, N. (1997). Criteria for alignment of expectations and assessments in mathematics and science education. Council of Chief State School Officers and National Institute for Science Education. Madison, Wisconsin: Wisconsin Center for Education Research, University of Wisconsin.
Webb, N.M., Herman, J. & Webb, N.L. (2007). Alignment of mathematics state-level standards and assessment: The role of reviewer agreement. Educational Measurement: Issues and Practice, 26(2), 17-29.
Weiss C.H. (1984). Toward the future of stakeholders approaches in evaluation. En R.F. Conner, D.G. Altman & C. Jackson (eds), Evaluation studies. Review Annual, 9, pp. 255-268. Beverly Hills, California: Sage Publishers.
Descargas
Publicado
Número
Sección
Licencia
Los autores ceden de forma no exclusiva los derechos de explotación de los trabajos publicados a RELIEVE (a los solos efectos de favorecer la difusión de los artículos publicados:firmar contratos de difusión, de integración en bases de datos, etc.) y consienten que se distribuyan bajo la licencia de Creative Commons Reconocimiento-Uso No Comercial 4.0 International (CC-BY-NC 4.0), que permite a terceros el uso de lo publicado siempre que se mencione la autoría de la obra y la fuente de publicación, y se haga uso sin fines comerciales.
Los autores pueden llegar a otros acuerdos contractuales adicionales e independientes, para la distribución no exclusiva de la versión del trabajo publicado en esta revista (por ejemplo, incluyéndolo en un repositorio institucional o publicándolo en un libro), siempre y cuando se cite claramente que la fuente original de publicación es esta revista.
A los autores se les anima a difundir su trabajo después de publicado, a través de internet (por ejemplo, en archivos institucionales en línea o en su página web) lo que puede generar intercambios interesantes y aumentar las citas del trabajo.
La mera remisión del artículo a RELIEVE supone la aceptación de estas condiciones.
Idioma
Información