Background questionnaires of PISA: a study of the assessment indicators

Authors

  • José González-Such Universitat de València
  • Carlos Sancho-Álvarez Universitat de València
  • Purificación Sánchez-Delgado Universitat de València

DOI:

https://doi.org/10.7203/relieve.22.1.8274

Keywords:

PISA, background questionnaires, evaluation indicators, evaluation of educational systems, education, measurement.

Abstract

The PISA assessment system has generated and continues to generate intense debate about its structure and usefulness. This article focuses on the context questionnaires as a way to analyze and understand the results properly. The objectives are to analyze the context indicators used in the different editions of the PISA tests, used in different studies and the results of these studies. An overview of the model used is provided to ensure that these indicators are no longer something that accompanies the performance test to reach their true meaning: jointly analyze the performance along with the variables that may be influencing the results. As methodology is used document analysis of publications related to PISA and results, as well as a semantic analysis of scientific work that has generated PISA. The results show that some indicators have remained throughout the various editions of PISA, while others have changed. The translation of a stable model in editions from PISA 2015 in which the most relevant items are included will undoubtedly facilitate the study of results at vertical and horizontal level. Thus, the importance of PISA context questionnaires established to properly understand their results and the need for more complex studies of multilevel or nested that normally used, generally based on descriptive statistics and / or percentages.

Author Biographies

José González-Such, Universitat de València

PhD, Pedagogue and Associate Professor of the Department of Research Methods and Diagnosis in Education (MIDE) of University of Valencia. Member of the Assessment and Measurement Group (GEM). His main lines of research are: Educational Measurement and Evaluation, Teacher Evaluation and Educational Innovation. Postal address: Faculty of Philosophy and Educational Sciences. University of Valencia. Avda. Blasco Ibáñez, 30. 46010 Valencia (Spain)

Carlos Sancho-Álvarez, Universitat de València

Research personnel in training of the Department of Research Methods and Diagnosis in Education (MIDE) of University of Valencia. Master in Social and Community Psychopedagogy, Bachelor in Pedagogy from the University of Valencia, and a diploma in Education from the University of Alcalá. Currently enrolled in a PhD program in Education at University of Valencia. Member of the Assessment and Measurement Group GEM-Educo. Postal address: Faculty of Philosophy and Educational Sciences. University of Valencia. Avda. Blasco Ibáñez, 30. 46010 Valencia (Spain).

Purificación Sánchez-Delgado, Universitat de València

Professor Doctor of Department of Research Methods and Diagnosis in Education (MIDE) of University of Valencia. Member of the Assessment and Measurement Group (GEM). In the field of educational measurement works in development and validation of tests to measure different types of educational variables language area related. Her postal address is Faculty of Philosophy and Educational Sciences. University of Valencia. Avda. Blasco Ibáñez, 30. 46010 Valencia (Spain).

References

Adams, R., & Wu, M. (2002). PISA 2000. Technical Report. París: OECD Publishing.

Bisquerra, R. (2012). Metodología de la investigación educativa. Madrid: La Muralla.

Coleman, J. S., Campbell, E. Q., Hobson, C. J., McPartland, J., Mood, A. M., Weinfeld, F. D., & York, R. L. (1966). Equality of Educational Opportunity. Washington, DC: US Government Printing Office.

De la Orden, A., & Jornet, J. M. (2012). La utilidad de las evaluaciones de sistemas educativos: el valor de la consideración del contexto. Bordón, 64(2), 69-88.

Duru-Bellat, M. (2013). Desde el atractivo poder de los datos de PISA a las desilusiones del Benchmarking. ¿Desafío a la evaluación de los sistemas educativos? Profesorado. Revista de currículum y formación del profesorado, 17(2), 94-104. Retrieved from http://recyt.fecyt.es/index.php/profesorado/article/view/42409/24335

Gaviria, J. L., & Castro, M. (2005). Modelos jerárquicos lineales. Madrid: La Muralla.

González-Montesinos, Manuel-Jorge & Backhoff, Eduardo (2010). Validación de un cuestionario de contexto para evaluar sistemas educativos con Modelos de Ecuaciones Estructurales. RELIEVE, 16(2), art. 4. doi: http://dx.doi.org/10.7203/relieve.16.2.4133

Instituto Nacional de Evaluación Educativa (INEE). (2013). PISA 2012: resultados por ordenador. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/actualizacion.boletin25/educaineeboletin25.pdf?documentId=0901e72b818cf242

Instituto Nacional de Evaluación Educativa (INEE) (2014a). Motivación para aprender matemáticas y PISA 2012: el caso de las CC.AA. españolas. EducaINEE (Boletín de Educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/especialccaa/educaineeautonomias4.pdf?documentId=0901e72b81b583ae

Instituto Nacional de Evaluación Educativa (INEE). (2014b). Perseverando hacia el éxito en los estudios: PISA 2012 y las CC.AA. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/especialccaa/educaineeautonomias3.pdf?documentId=0901e72b819c7cac

Instituto Nacional de Evaluación Educativa (INEE). (2014c). Ocupaciones de los padres y PISA 2012. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/especialccaa/educaineeautonomias2.pdf?documentId=0901e72b81952125

Instituto Nacional de Evaluación Educativa (INEE). (2014d). Hacer novillos y PISA 2012. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Obtenido de http://www.mecd.gob.es/dctm/inee/boletines/especialccaa/educaineeautonomias1.pdf?documentId=0901e72b8190a44e

Instituto Nacional de Evaluación Educativa (INEE). (2014e). Los resultados de aprendizaje en matemáticas en PISA 2012. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/educainee3925-11-2014.pdf?documentId=0901e72b81b46542

Instituto Nacional de Evaluación Educativa (INEE). (2014f). Los resultados españoles en la competencia financiera en PISA (I). EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/educainee-35.-140709.pdf?documentId=0901e72b81a2be86

Instituto Nacional de Evaluación Educativa (INEE). (2014g). Ordenadores y resultados académicos. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/boletindeeducacion32v3.pdf?documentId=0901e72b81977c07

Instituto Nacional de Evaluación Educativa (INEE). (2014h). Los resultados españoles en la competencia de resolución de problemas en PISA. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/educainee-31cba-3-3.pdf?documentId=0901e72b8190c336

Instituto Nacional de Evaluación Educativa (INEE). (2014i). Análisis desagregado de los resultados de España en PISA. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/educainee27.pdf?documentId=0901e72b81868b0a

Instituto Nacional de Evaluación Educativa (INEE). (2015a). Asistencia a la Educación Infantil y Rendimiento en Matemáticas. El caso de las CC.AA. españolas. EducaINEE (Boletín de educación), Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/especialccaa/educaineeautonomias5.pdf?documentId=0901e72b8201fe12

Instituto Nacional de Evaluación Educativa (INEE). (2015b). Efectos de los compañeros de clase en el rendimiento académico. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/educainee44.pdf?documentId=0901e72b82013480

Instituto Nacional de Evaluación Educativa (INEE). (2016). Alumnos de bajo rendimiento: por qué se quedan atrás y cómo se les puede ayudar. EducaINEE (Boletín de educación). Ministerio de Educación, Cultura y Deporte. Retrieved from http://www.mecd.gob.es/dctm/inee/boletines/educainee47.pdf?documentId=0901e72b8202aa4e

Jornet, J. M. (2012). Dimensiones Docentes y Cohesión Social: Reflexiones desde la Evaluación. Revista Iberoamericana de Evaluación Educativa, 5 (1e), pp.349-362. Retrieved from http://www.rinace.net/riee/numeros/vol5-num1_e/art27.pdf

Jornet, J. M., López-González, E., & Tourón, J. (2012). Evaluación de sistemas educativos: teoría y experiencia. Bordón, 64(2), 9-11.

López-González, E., González-Such, J., & Lizasoain, L. (2012). Explicación del rendimiento a partir del contexto. Algunas propuestas de análisis gráfico y estadístico. Bordón, 64(2), 127-149.

Marchesi, Á. (2006). El informe PISA y la política educativa en España. Revista de Educación, extraordinario, 337-355.

Martínez Arias, R. (2006). La metodología de los estudios PISA. Revista de Educación, extraordinario, 111-129.

Masters, G., & Wright, B. (1997). The Partial Credit Model. In W. Van de Linden, & R. Hambleton, Handbook of Modern Item Response Theory. New York/Berlin/Heidelberg: Springer.

OCDE (2002). PISA 2000 Technical Report. Paris: OECD Publishing. Retrieved from https://www.oecd.org/pisa/pisaproducts/33688233.pdf

OCDE (2005). PISA 2003. Technical Report. Paris: OECD Publishing. Retrieved from https://www.oecd.org/edu/school/programmeforinternationalstudentassessmentpisa/35188570.pdf

OCDE. (2009). PISA 2006. Technical Report. Paris: OECD Publishing. Retrieved from https://www.oecd.org/pisa/pisaproducts/42025182.pdf

OCDE. (2012). PISA 2009. Technical Report. París: OECD Publishing. Retrieved from https://www.oecd.org/pisa/pisaproducts/50036771.pdf

OCDE. (2014). PISA 2012. Technical Report. París: OECD Publishing. Retrieved from https://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf

OCDE. (2016). PISA 2015 Context Questionnaires Framework. In OECD, PISA 2015 Assessment and Analytical Framework: Science, Reading, Mathematic and Financial Literacy. París: OECD Publishing. doi: http://dx.doi.org/10.1787/9789264255425-7-en

Popkewitz, T. (2013). PISA: números, estandarización de la conducta y la alquimia de las materias escolares. Profesorado. Revista de curriculum y formación del profesorado, 17(2), 47-64.

Rasch, G. (1960-1980). Probabilistic models for some intelligence and attainment tests. Copenhge: Nielsen & Lydiche, 1960-1980 (Re-edited in 1980 by University of Chicago Press).

Rendon, S., & Navarro, E. (2007). Estudio sobre el rendimiento en Matemáticas en España a partir de los datos del informe PISA 2003. Un modelo jerárquico de dos niveles. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 5(3), 118-136.

Rindermann, H. (2007). The g-factor of international cognitive ability comparisons: the homogeneity of results in PISA, TIMSS, PIRLS and IQ-tests across nations. European Journal of Personality, 21(5), 667-706. doi: http://dx.doi.org/10.1002/per.634

Sancho-Álvarez, C., Jornet, J. M., & González-Such, J. (2016). El constructo Valor Social Subjetivo de la Educación: validación cruzada entre profesorado de escuela y universidad. Revista de Investigación Educativa, 34(2), 329-350. doi: http://dx.doi.org/10.6018/rie.34.2.226131

Downloads

Published

2016-07-08

Issue

Vol. 22 No. 1 (2016)

Section

Special Section

License

The authors grant non-exclusive rights of exploitation of works published to RELIEVE and consent to be distributed under the Creative Commons Attribution-Noncommercial Use 4.0 International License (CC-BY-NC 4.0), which allows third parties to use the published material whenever the authorship of the work and the source of publication is mentioned, and it is used for non-commercial purposes. 

    The authors can reach other additional and independent contractual agreements, for the non-exclusive distribution of the version of the work published in this journal (for example, by including it in an institutional repository or publishing it in a book), as long as it is clearly stated that the Original source of publication is this magazine.  

    Authors are encouraged to disseminate their work after it has been published, through the internet (for example, in institutional archives online or on its website) which can generate interesting exchanges and increase work appointments. 

   The fact of sending your paper to RELIEVE implies that you accept these conditions.