Methodological analysis of the PISA project as international assessment
DOI:
https://doi.org/10.7203/relieve.22.1.8293Keywords:
PISA project, methodological analysis, assessment of learning, background questionnaires, assessment of educational systems, education, measurement.
Abstract
In this paper the aim is to conduct a comprehensive analysis of PISA as international assessment program. In addition, methodological characteristics of the metrical processes underlying the instruments used in the project are also analyzed: achievement tests and questionnaires context. The strengths and weaknesses of the project in various areas are identified: from design and validation of the project as international assessment program, its uses and modes of communication of results to the metric characteristics of their instruments. They propose alternatives to optimize the use of the project in general and in particular the countries involved. It is concluded that this is a project that, for methodological quality and socio-political impact is valuable, although it has different aspects that could be improved -both as program evaluation, and educational measurements- fundamentals of measurement so that he could provide information higher quality and that could guide decisions for improvement.
Author Biography
Jesús Miguel Jornet Meliá, Universitat de València
References
Andréu, J. (2011). El análisis multinivel: una revisión actualizada en el ámbito sociológico. Metodología de Encuestas, Vol. 13, 161-176.2 ISSN: 1575-7803
Backhoff, E., Bouzas, R., Contreras, C., Hernández, P. & García, P. (2007). Factores escolares y aprendizaje en México. El caso de la educación básica. México: INEE.
Basterra, M. R. (2011). Cognition, culture, language, and assessment. In M. R. Basterra, E. Trumbull, and G. Solano-Flores (Eds.), Cultural validity in assessment (pp. 72-95). New York: Routledge.
Booth, T. & Ainscow, M. (2000). Index for Inclusion. Bristol: CSIE.
Borges, A. & Sánchez-Bruno, A. (2004). Algunas consideraciones metodológicas relevantes para la investigación aplicada. Revista Electrónica de Metodología Aplicada, Vol. 9 nº 1, pp. 1-11.
Camilli, G., & Shepard, L. (1994). Methods for identifying biased test items. Thousands Oaks, CA: Sage.
Carabaña, J. (2015). La inutilidad de PISA para las escuelas. Madrid: La Catarata.
Coleman, J. S.; Campbell, E.; Hobson, C.; McPartland, J.; Mood, A.; Weinfeld, F. & York., R. (1966). Equality of educational opportunity. Washington: Government Printing Office.
Cordero, J. M., Crespo, E. & Pedraja, F. (2013). Rendimiento educativo y determinantes según PISA: una revisión de la literatura en España. Revista de Educación, 362, 273-297. DOI: http://dx.doi.org/10.4438/1988-592X-RE-2011-362-161
De la Orden, A. (2007). Evaluación de la calidad de la educación. Un modelo sistémico como base para la construcción de un sistema de indicadores. En INEE, Conceptos, metodologías y experiencias para la construcción de indicadores educativos (pp. 6-21). México: Instituto Nacional para la Evaluación de la Educación (INEE).
De la Orden, A. (2012). La función general de la evaluación y la optimización educativa. Ponencia invitada en el I Foro Iberoamericano de Evaluación Educativa. México: Ensenada, UABC-IIDE (5-7 Noviembre). Recuperado de http://uee.uabc.mx/uee/eventos/primerForoRIEE/ponencias/6.pdf
De la Orden, A. (Dir.) (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3(1-2). Recuperado de http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm
De la Orden, A., & Jornet, J.M. (2012). La utilidad de las evaluaciones de sistemas educativos: la consideración del contexto. Bordón, 64, 2; 69-88.
Ercikan, K., & Solano-Flores, G. (2016). Assessment and sociocultural context: A bidirectional relationship. En G. T. L. Brown & L. Harris (Eds.), Human Factors and Social Conditions of Assessment. New York: Routledge.
Ercikan, K., Roth, W.-M., Simon, M., Sandilands, D., & Lyons-Thomas, J. (2014). Inconsistencies in DIF detection for sub-groups in heterogeneous language groups. Applied Measurement in Education, 27, 275-285.
Frías, M.D., Pascual, J., & García, J.F. (2000). Tamaño del efecto del tratamiento y significación estadística. Psicothema, 12(2), 236-240.
García-Bellido, Rosario (2015). Diseño y validación de un instrumento para evaluar la competencia "Aprender a aprender" en profesionales de la educación. Tesis Doctoral. Universitat de València:.
Gaviria, J. L., Martínez, R., & Castro, M. (2004). Un Estudio Multinivel Sobre los Factores de Eficacia Escolar en Países en Desarrollo: El Caso de los Recursos en Brasil. Policy Analysis Archives, 12(20). DOI: http://dx.doi.org/10.14507/epaa.v12n20.2004
González-Montesinos, M.J. & Jornet, J.M. (2010). Modelo para detección de funcionamiento diferencial de reactivos (DIF) en pruebas INEE. Informe Técnico 2010. México: INEE, Dirección General de Pruebas, Documento interno.
Green, J. (1988). Stakeholder Participation and Utilization in Program Evaluation. Evaluation Review, April (12), 91-116. DOI: http://dx.doi.org/10.1177/0193841X8801200201
Hambleton, R.K. (2005). Issues, designs, and technical guidelines for adapting tests into multiple languages and cultures. In R.K. Hambleton, P.F. Merenda, & C.D. Spielberger (Eds.), Adapting educational and psychological tests for cross-cultural assessment. Mahwah, NJ: Lawrence Erlbaum.
Hernández, R., Fernández, C., & Baptista, P. (2010). Metodología de la investigación. México: Editorial Mc Graw Hill.
Hox, J. (2002). Multilevel Analysis: Techniques and applications. London: Lawrence Erlbaum Associates.
INEE -Instituto Nacional para la Evaluación de la Educación de México- (2005). PISA para docentes: La evaluación como oportunidad de aprendizaje. México D.F.: INEE. Recuperado de http://www.inee.edu.mx/index.php/84-publicaciones/materiales-para-docentes-capitulos/455-pisa-para-docentes-la-evaluacion-como-oportunidad-de-aprendizaje
Jornet, J. M. & Suárez, J. M. (1989). Conceptualización del dominio educativo desde una perspectiva integradora en Evaluación Referida al Criterio (ERC). Bordón, 41, 237-275.
Jornet, J. M. (2014). Asignaturas pendientes en las evaluaciones a gran escala. En M. C. Cardona, y E. Chiner. (Eds.). Investigación educativa en escenarios diversos, plurales y globales. (pp. 115 – 128). Madrid: EOS.
Jornet, J. M., Perales, M. J. & Sánchez-Delgado, P. (2011). El Valor Social de la Educación: Entre la Subjetividad y la Objetividad. Consideraciones Teórico-Metodológicas para su Evaluación. Revista Iberoamericana de Evaluación Educativa, 4(1), 51-77. Recuperado de http://www.rinace.net/riee/numeros/vol4-num1/art3.pdf
Jornet, J.M. & González-Such, J. (2009). Evaluación criterial: determinación de estándares de interpretación (EE) para pruebas de rendimiento educativo. Estudios sobre Educación, 16, 103-123. Recuperado de http://dadun.unav.edu/bitstream/10171/9172/1/16%20Estudios%20Ee.pdf
Jornet, J.M., García-García, M. & González-Such, J (Eds.)-(2014). La evaluación de sistemas educativos. Informaciones de interés para los colectivos implicados. Universitat de València –PUV-.
Jornet, J.M., López-González, E., & Tourón, J. (Coords.) (2012). Los cuestionarios de contexto en la evaluación de sistemas educativos. Bordón, 64(2). (Monográfico).
Jornet, J.M., Sánchez-Delgado, P. & Perales, M. J. (2015) La evaluación del impacto y la relevancia de la educación en la sociedad. Universitat de València -PUV-.
Ledesma, R., Macbeth, G. & Cortada de Kohan, N. (2008). El tamaño del efecto: una revisión conceptual y aplicaciones de la vista con sistema de estadística. Revista Latinoamericana de psicología, 40(3), 425-439.
Lizasoain, L. & Joaristi, L. (2010). Estudio Diferencial del Rendimiento Académico en Lengua Española de Estudiantes de Educación Secundaria de Baja California (México). Revista Iberoamericana de Evaluación Educativa,3(3), pp..115-134. Recuperado de http://www.rinace.net/riee/numeros/vol3-num3/art6.pdf.
Martínez Rizo, F. (2009) Evaluación formativa en aula y evaluación a gran escala: hacia un sistema más equilibrado. REDIE, 11(2), 1.18. Recuperado de http://redie.uabc.mx/redie/article/download/231/388
Martínez Rizo, F. (2012). La evaluación en el aula: promesas y desafíos de la evaluación formativa. México: Universidad Autónoma de Aguascalientes.
Martínez-Rizo, F. (2016). Impacto de las pruebas en gran escala en contextos de débil tradición técnica: Experiencia de México y el Grupo Iberoamericano de PISA. RELIEVE, 22(1). DOI: http://dx.doi.org/10.7203/relieve.22.1.8244
Martinez-Rizo, F. (Coord.) (2015). Las pruebas ENLACE y Excale. Un estudio de validación. Cuaderno de Investigación No. 40. México. DF: Instituto Nacional para la Evaluación de la Educación. Recuperado de http://publicaciones.inee.edu.mx/buscadorPub//P1/C/148/P1C148_01E01.pdf
Martínez, R. (2006). La metodología de los estudios PISA. Revista de Educación, núm. Extraordinario, 111-129.
MECD. (2014). Panorama de la educación. Indicadores de la OCDE 2014. Madrid: MECD. Recuperado de http://www.mecd.gob.es/dctm/inee/indicadores-educativos/panorama2014/panorama2014web.pdf?documentId=0901e72b81b20622
MECD. (2015). Panorama de la educación. Indicadores de la OCDE 2015. Madrid: MECD. Recuperado de http://www.mecd.gob.es/dctm/inee/internacional/panorama-de-la-educacion-2015.-informe-espanol.pdf?documentId=0901e72b81ee9fa3
Mehrens, W. (1997). The consequences of consequential validity. Educational Measurement: Issues and Practice, 16(2), 16-18.
Ministerio de Educación, Cultura y Deporte. (2012). PISA 2012. Programa para la Evaluación Internacional de los alumnos. Informe español. Madrid: MECD. http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/pisa2012lineavolumeni.pdf?documentId=0901e72b81786310
Ministerio de Educación (2009). PISA 2009. Programa para la evaluación internacional de los alumnos. Informe español. Madrid: Ministerio de Educación. http://www.mecd.gob.es/dctm/ievaluacion/internacional/pisa-2009-con-escudo.pdf?documentId=0901e72b808ee4fd
Muñiz, J., Elosua, P. & Hambleton, R.K. (2013). Directrices para la traducción y adaptación de los tests: segunda edición. Psicothema, 25(2), pp. 151-157. DOI: http://dx.doi.org/10.7334/psicothema2013.24
Murillo, F.J. (2003). Una panorámica de la investigación iberoamericana sobre eficacia escolar. Revista Electrónica Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 1(1), 1-14.
Murillo, F.J. (2007). School Effectiveness Research in Latin America. En T. Townsend (Ed.), International Handbook of School Effectiveness and Improvement, (pp. 75-92). New York: Springer.
Murillo, F. J. (2008). Los modelos multinivel como herramienta para la investigación educativa. Magis, Revista Internacional de Investigación en Educación, 1, 45-62.
Murillo, F.J. & Hernández-Castilla, R. (2011a). Factores escolares asociados al desarrollo socio-afectivo en Iberoamérica. RELIEVE, 17(2). DOI: http://dx.doi.org/10.7203/relieve.17.2.4007
Murillo, F. J., & Hernández-Castilla, R. (2011b). Efectos escolares de factores socio-afectivos. Un estudio Multinivel para Iberoamérica. Revista de Investigación Educativa, 29(2), 407-42. Recuperado de http://revistas.um.es/rie/article/view/111811
OECD. (1999). Measuring student knowledge and skills. A new Framework for assessment. Paris: OECD. Recuperado de http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33693997.pdf
OECD. (2003). The PISA 2003. Assessment Framework. Mathematics, Reading, Science and Problem Solving knowledge and skills. Paris: OECD. Recuperado de http://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/33694881.pdf
OECD. (2005). PISA 2003. Technical Report. Paris: OECD Publishing.
OECD. (2006). Assessing Scientific, Reading and Mathematical Literacy. A Framework for PISA 2006. Paris: OECD. Recuperado de http://www.oecdilibrary.org/docserver/download/9806031e.pdf?expires=1465551043&id=id&accname=guest&checksum=02E5A7F7B73F1CCFA0DA6E8336A2F3D8
OECD. (2009). PISA 2009. Assessment Framework. Key competencies in reading, mathematics and science. Paris: OECD. Recuperado de https://www.oecd.org/pisa/pisaproducts/44455820.pdf
OECD. (2009b). PISA 2006. Technical Report. Paris: OECD Publishing.
OECD. (2012). Pisa 2012. Assessment and analytical Framework. Mathematics, reading, science, problem solving and financial literacy. Paris: OECD. https://www.oecd.org/pisa/pisaproducts/PISA%202012%20framework%20e-book_final.pdf
OECD. (2012b). PISA 2009. Technical Report. París: OECD Publishing.
OECD. (2014). PISA 2012. Technical Report. París: OECD Publishing.
OECD. (2015). PISA 2015. Assessment and Analytical Framework. Science, Reading, Mathematic and Financial Literacy. Paris. OECD. http://www.keepeek.com/Digital-Asset-Management/oecd/education/pisa-2015-assessment-and-analytical-framework_9789264255425-en#page201
Popham, W. (1997). Consequential validity: Right concern - wrong concept. Educational Measurement: Issues and Practice, 16(2), 9-13.
Ravela, P. (2002). ¿Cómo presentan sus resultados los sistemas nacionales de evaluación educativa en América Latina? Documento de Trabajo No. 2. Santiago de Chile: PREAL. Recuperado de http://www.preal.org/docs-trabajo/ravela_n22.pdf
Ravela, P. (2003). ¿Cómo aparecen los resultados de las evaluaciones educativas en la prensa? Grupo de Trabajo sobre Estándares y Evaluación del PREAL. Recuperado de http://www.preal.cl/GTEE/pdf/prensa.pdf
Rothman, R. (2004). Benchmarking and alignment of state standards and assessment. En S. Fuhrman and R. Elmore (Eds.), Redesigning accountability systems for education (pp. 96-114). New York: Teachers College Press.
Ruiz-Primo, M.A. (2006). A Multi-Method and Multi-Source Approach for Studying Fidelity of Implementation. CSE Report 677. SEAL, Stanford University/CRESST.
Ruiz-Primo, M. A., & Li, M. (2015). The relationship between item context characteristics and student performance: The case of the 2006 and 2009 PISA Science items. Teachers College Record, 117(1), 1-36.
Ruiz-Primo, M. A., Li, M., & Minstrell, J. (2014). Building a framework for developing and evaluating contextualized ítems in science assessment (DECISA). Proposal submitted to the DRL–CORE R7D Program to National Science Foundation. Washington, DC: National Science Foundation.
Ruiz-Primo, M. A., Shavelson, R. J., Hamilton, L. & Klein, S. (2002). On the evaluation of systemic education reform: Searching for instructional sensitivity. Journal of Research in Science Teaching, 39(5), 269-393. DOI: 10.1002/tea.10027
Ruiz-Primo, A., Jornet, J.M. y Backhoff, E. (2006). Acerca de la Validez de los exámenes de la calidad y el logro educativos (Excale). México: Instituto Nacional de Evaluación Educativa. Recuperado de http://www.uv.es/gem/gemhistorico/publicaciones/Acerca_de_la_Validez_de_los_examenes_de_la_calidad_y_el_logro_educativos_Excale.pdf
Ruiz-Primo, M.A.; Li, M.; Wills, K.; Giamellaro, M.; Ming-Chih, L.; Mason, H., & Sand, D. (2012). Developing and Evaluating Instructionally Sensitive Assessments in Science. Journal of research in science teaching. 49(6), pp. 691–712.
Sancho-Álvarez, C., Jornet, J. & González-Such, J. (2016). El constructo Valor Social Subjetivo de la Educación: validación cruzada entre profesorado de escuela y universidad. Revista de Investigación Educativa, 34(2). DOI: http://dx.doi.org/10.6018/rie.34.2.226131
Shavelson, R. J., Ruiz-Primo, M. A., Li, M., & Ayala, C. C. (2002). Evaluating new approaches to assessing learning. CSE Technical Report 604. National Center for Research on Evaluation, Standards, and Student Testing (CRESST) University of California, Los Angeles.
Solano-Flores, G. & Li, M. (2013). Generalizability theory and the fair and valid assessment of linguistic minorities. Educational Research and Evaluation: An International Journal on Theory and Practice, 19(2-3), pp. 245-263. DOI: http://dx.doi.org/10.1080/13803611.2013.767632
Solano-Flores, G. (2008, July). A conceptual framework for examining the assessment capacity of countries in an era of globalization, accountability, and international test comparisons. Paper given at the 6th Conference of the International Test Commission. Liverpool, UK.
Solano-Flores, G. (2011). Assessing the cultural validity of assessment practices: An introduction. En M. R. Basterra, E. Trumbull, & G. Solano-Flores, Cultural validity in assessment (pp. 3-21). New York: Routledge.
Solano-Flores, G., & Li, M. (2009). Generalizability of cognitive interview-based measures across cultural groups. Educational Measurement: Issues and Practice, 28(2), pp.9-18.
Solano-Flores, G., Contreras-Niño, L.A., & Backhoff, E. (2006). Test translation and adaptation: Lessons learned and recommendations for countries participating in TIMSS, PISA, and other international comparisons. REDIE: Electronic Journal of Educational Research, 8(2). Recuperado de http://redie.uabc.mx/vol8no2/contents-solano2.html
Tejedor, F. (1995). Perspectiva metodológica del diagnóstico y evaluación de necesidades en el ámbito educativo. Metodología en el diagnóstico y evaluación en los procesos de intervención educativa. Actas del V Seminario de Modelos de Investigación Educativa. Murcia: AIDIPE.
Webb, N. (1997). Criteria for alignment of expectations and assessments in mathematics and science education. Council of Chief State School Officers and National Institute for Science Education. Madison, Wisconsin: Wisconsin Center for Education Research, University of Wisconsin.
Webb, N.M., Herman, J. & Webb, N.L. (2007). Alignment of mathematics state-level standards and assessment: The role of reviewer agreement. Educational Measurement: Issues and Practice, 26(2), 17-29.
Weiss C.H. (1984). Toward the future of stakeholders approaches in evaluation. En R.F. Conner, D.G. Altman & C. Jackson (eds), Evaluation studies. Review Annual, 9, pp. 255-268. Beverly Hills, California: Sage Publishers.
Downloads
Published
Issue
Section
License
The authors grant non-exclusive rights of exploitation of works published to RELIEVE and consent to be distributed under the Creative Commons Attribution-Noncommercial Use 4.0 International License (CC-BY-NC 4.0), which allows third parties to use the published material whenever the authorship of the work and the source of publication is mentioned, and it is used for non-commercial purposes.
The authors can reach other additional and independent contractual agreements, for the non-exclusive distribution of the version of the work published in this journal (for example, by including it in an institutional repository or publishing it in a book), as long as it is clearly stated that the Original source of publication is this magazine.
Authors are encouraged to disseminate their work after it has been published, through the internet (for example, in institutional archives online or on its website) which can generate interesting exchanges and increase work appointments.
The fact of sending your paper to RELIEVE implies that you accept these conditions.
Language
Information