Qué se sabe sobre este tema

• Son múltiples los trabajos de investigación cuyo objetivo se ha centrado en analizar la repercusión que el uso de las TIC y vídeos tutoriales han tenido en el output del proceso enseñanza-aprendizaje.

Qué aporta este trabajo

• El estudio se realiza desde el punto de vista que el alumnado tiene del uso de una TIC y de vídeos tutoriales, de manera que posibilita priorizar el uso de uno de ellos,

• Se analiza la posible relación entre el uso de ambas tecnologías y el rendimiento académico del alumnado, medido a través de la nota de evaluación continua y la del examen final de la asignatura,

• Se realiza un cómputo del volumen de trabajo que supone la puesta en marcha de ambas herramientas tanto para el profesorado como para el alumnado.

Implicaciones para la práctica y/o política

• Los resultados obtenidos pueden suponer una importante fuente de información para los docentes que, o bien estén sopesando la posibilidad de incorporar en la metodología que utiliza para la impartición de sus asignaturas alguna de las herramientas aquí analizadas (Clickers y mUVies) o bien, para aquellos que haciendo uso de una de ellas puedan plantearse añadir la utilización de la otra de manera combinada.

Participantes

La implantación de las tecnologías mencionadas se llevó a cabo en el curso académico 2017-2018. El profesorado que impartió la asignatura de Estadística del grado en International Business, asignatura se imparte en el primer cuatrimestre del segundo curso, lo componían dos docentes y la matrícula del grupo ascendía a 71 estudiantes.

Materiales

El material elaborado para su uso mediante la HRA fue realizado en formato TurningPoint. En total se pasaron tres sondeos elaborados con preguntas tipo test sobre la materia de estadística y fueron programados para ser contrastados en el aula como parte de la evaluación continua en diferentes momentos del cuatrimestre. Los vídeos de apoyo versaban sobre las partes de la asignatura que tradicionalmente han resultado más complicadas de asimilar. Para facilitar el acceso al material se creó un espacio web dentro de la página del proyecto de innovación docente en el marco del cual se realizaron los materiales ³ . Cada sondeo constó de 10 preguntas de tipo test con 3 opciones cada una y relacionadas con la parte de la asignatura que había sido impartida hasta el momento; en el espacio web se colgaron un total de 15 vídeos que se pusieron a disposición del estudiantado.

En cuanto a la encuesta que ha permitido conocer la opinión del alumnado para valorar la utilidad del uso las herramientas TIC en la asignatura, se realizó mediante la herramienta Google Forms. Dicha encuesta de opinión constaba de tres tipos de preguntas, concretamente:

• De respuesta tipo Likert de cinco niveles desde “totalmente en desacuerdo” (1) hasta “totalmente de acuerdo” (5)

  • ¿El uso de los Clickers/ mUVies en clase te ha ayudado a comprender mejor los conceptos de la asignatura?

  • ¿El uso de los Clickers/ mUVies te ha ayudado a preparar mejor el examen final?

  • ¿El uso de los Clickers contribuyó a aprovechar mejor la clase?

  • ¿El uso de los Clickers hace que la clase sea más participativa?

• De valoración (escala 0 a 10) acerca del uso de ambas herramientas. Cabe indicar que dicha valoración es en sentido amplio, esto es, recoge concepciones, emociones, etc., asociadas con la experiencia del uso y relacionadas con el aprendizaje del estudiantado.

  • Valora, en una escala de 0 a 10, tu experiencia con el uso de los Clickers/ mUVies.

• Una tricotómica (tres posibles respuestas: 1, 2, 3) acerca de número de visualizaciones de mUVies.

  • Por término medio, ¿Cuántas veces te ha hecho falta visualizar el vídeo para comprenderlo?

Las respuestas proporcionadas a esta última cuestión nos permitirán analizar la repercusión que tuvo sobre el estudiantado el uso de los Clickers y los mUVies, considerando el volumen de trabajo añadido. Dicho análisis se completará obteniendo el volumen de trabajo estimado que supuso para el profesorado la creación y uso de estas tecnologías.

Procedimiento

Atendiendo a la estructura de la asignatura, que está formada por tres bloques claramente diferenciados: estadística descriptiva, cálculo de probabilidades e inferencia estadística, el equipo docente programó un sondeo por bloques para conocer el grado de asimilación de los contenidos del mismo. Por otra parte, se notificó al estudiantado qué vídeos debía visionar antes de la asistencia a la sesión presencial.

Así, el cronograma relativo al uso de las TIC quedó como se indica:

• Octubre: se pasó un primer sondeo con cuestiones relativas al bloque de estadística descriptiva y debían visionarse los vídeos sobre el mismo.

• Noviembre: los sondeos realizados contenían preguntas acerca de la teoría de la probabilidad y los vídeos versaban sobre la distribución Normal y las distribuciones derivadas de la Normal.

• Diciembre: se pasó el sondeo sobre inferencia estadística, al tiempo que debían visualizar los vídeos sobre diversas técnicas inferenciales.

Con la finalidad de valorar la opinión del estudiantado sobre las nuevas TIC introducidas en la asignatura y no influir en su respuesta, los cuestionarios de opinión fueron enviados una vez impartida la asignatura y tras calificar a los estudiantes. Contestaron un total de 28 alumnos, recogiéndose un total de 224 valoraciones. El número de participantes en la encuesta supuso una tasa de respuesta del 39.44% sobre los estudiantes matriculados en el grupo con docencia en español y del 20% sobre la matrícula de todo el grado. Creemos que esta metodología es adecuada para obtener una opinión realista de su percepción sobre la utilidad de las TIC en su aprendizaje, en términos de adecuación y de carga de trabajo.

Análisis de los datos

En el estudio se consideran dos tipos de variables: unas de carácter subjetivo y otras de perfil objetivo. Las primeras están relacionadas con el impacto percibido por el propio estudiantado acerca del uso de los Clickers y mUVies, mientras que las variables de tipo objetivo se refieren al rendimiento académico del estudiante, medido a través de los resultados obtenidos en la evaluación continua y en el examen final de la materia. El análisis de la información en ambos tipos de variable, se basará en el uso secuencial de herramientas estadísticas de tipo descriptivo e inferencial. Concretamente, un análisis exploratorio de los datos permitirá obtener las primeras conclusiones, mientras que el de carácter inferencial perseguirá analizar la significatividad de las relaciones obtenidas.

Las herramientas utilizadas en la fase descriptiva serán de carácter gráfico (diagrama de barras, gráfico de sectores y gráfico de Box-Whisker) y numérico (distribuciones de frecuencias), y se completarán con el cálculo de medidas de reducción adecuadas (posición, dispersión y forma). En cuanto a las herramientas consideradas en la fase inferencial, se hará uso del sesgo y curtosis estandarizados, el gráfico de probabilidad Normal y el test de Kolmogorov-Smirnov. Así, valores del sesgo y curtosis dentro del rango -2 a 2, permitirán intuir el cumplimiento de la hipótesis de Normalidad y, adicionalmente, los gráficos de probabilidad Normal posibilitarán reforzar dicha intuición, en el caso de que los datos representados no se encontraran “muy alejados” de la recta. Por último, el test de Kolmogorov-Smirnov facilitará tomar una decisión acerca del ajuste a la Normalidad para niveles de significación entre los valores asumibles para cualquier estudio estadístico (entre el 1% y el 10%). Por otra parte, el análisis de los datos se completa con un estudio conjunto de las variables: valoración del uso de Clickers, mUVies y notas, con la finalidad de identificar posibles relaciones significativas entre ellas usando, básicamente, el coeficiente r de Pearson. Con ello se pretende dar respuesta a preguntas como:

• ¿Existe relación entre una valoración positiva en el uso de los Clickers y en el uso de los mUVies desde la perspectiva de los estudiantes?

• ¿El estudiantado que proporcionó una valoración alta al uso de los Clickers/ mUVies obtuvo un buen rendimiento académico?

Análisis descriptivo de las variables de carácter subjetivo

Las Figura 1 y Figura 2 reflejan los porcentajes correspondientes a las respuestas recibidas en cada uno de los niveles de las cuestiones tipo Likert relativas a la percepción del alumnado sobre Clickers y mUVies.

Los datos recogidos en los mismos informan de que la acogida por parte de los estudiantes del uso de los Clickers fue muy positiva, pues los niveles más desfavorables (1 y 2) fueron seleccionados en las cuatro cuestiones en un porcentaje nunca superior al 20%. Por contra, el nivel 4 contó con un porcentaje nunca inferior al 40% y si, además, se agregan los porcentajes de este nivel y el siguiente (5) se obtiene que más del 70% del alumnado percibió que el uso de Clickers les ayudó a comprender mejor la materia y a aprovechar la clase, mientras que para un 60% ha ayudado a preparar mejor el examen. Asimismo, más del 90% consideraron que estos elementos hacían la clase más participativa.

Por otra parte, los datos respecto al uso de los mUVies son todavía más favorables. En el caso de esta herramienta, el porcentaje de estudiantes que la considera positiva -en cuanto a la repercusión que la misma tuvo en la mejora de comprensión de la materia, así como en la preparación del examen final- es muy superior a la opinión sobre los mismos ítems con respecto a los Clickers. Concretamente, el porcentaje de estudiantes que seleccionaron el nivel 4 o 5 para los mUVies fue del 90% para la primera y del 95% para la segunda pregunta, frente al 76% y el 92%, respectivamente, para las mismas cuestiones en el caso de la herramienta Clickers.

En cuanto a la valoración que los estudiantes dieron al uso de ambas herramientas (escala de 0 a 10), la Tabla 1 recoge las distribuciones de frecuencias correspondientes:

En ningún caso se ha dado una puntuación inferior a 5 en el uso de ambas tecnologías, y la proporción de calificaciones superiores al 7 (notable) es superior al 90% en ambos casos. Si se consideran las valoraciones dadas a los Clickers debemos decir que:

• Un 45.83% del alumnado da una valoración igual o superior a 9

• En el 66.67% de los casos la puntuación es igual o superior a 8

• El 91.67% de los estudiantes les asigna una valoración igual o superior a 7

Y en el caso de los mUVies dichos porcentajes son:

• Un 73.68% de los estudiantes otorga una puntuación igual o superior al 9

• El 89.47% lo valoran con nota igual o superior a 8

• Un 94.74% asignan una puntuación igual o superior de 7

Además, puede observarse como también en la cuestión referente a la valoración, los mUVies obtienen mejores resultados que los Clickers, no sólo en términos porcentuales tal y como acaba de exponerse, sino que además el valor medio es mayor. A partir de los datos contenidos en la Tabla 1 se obtiene que los Clickers recibieron una valoración media de 8.08 puntos, mientras que la de los mUVies fue de 9.05, es decir que hay casi un punto de diferencia entre ambos. La puntuación máxima (un 10) se da en un porcentaje elevado de casos para mUVies mientras que para los Clickers la valoración modal (la más repetida) es un 9.

Análisis de las variables de carácter objetivo

Tal y como se indicó, se han considerado como variables de tipo objetivo las relacionadas con el rendimiento académico del estudiante, esto es, su nota de evaluación continua y la del examen final de la asignatura. El análisis de las mismas, así como su posible relación con la valoración que el estudiantado hizo sobre el uso de las TIC consideradas, se aborda inicialmente, mediante el uso del diagrama Box-Whisker, que permite comprobar la existencia de dos valores extremos o alejados de la media para las variables “Nota de Evaluación continua” y “Nota de examen final”, datos que se eliminan del estudio.

Tras su exclusión, puede comprobarse que en ningún caso las variables consideradas han tomado un valor inferior a cinco, con mejores resultados en el examen final que en la evaluación continua.

Concretamente, los valores medios para dichas características, así como algunas medidas de posición relevantes, se recogen en la Tabla 2.

Se constata aquí que las valoraciones y calificaciones medias son muy altas (superiores al 8 en todos los casos), con una representatividad más que aceptable dado el valor del coeficiente de variación de Pearson (inferior al 17% para las cuatro características consideradas).

En cuanto a las variables relacionadas con el rendimiento académico del alumnado, cabe indicar que se han obtenido, por regla general, mejores resultados en el examen final que en la evaluación continua. Este hecho podría explicar que estando muy bien valoradas por el estudiantado las dos herramientas tecnológicas se haya otorgado mayor puntuación al uso de los mUVies. Debe tenerse en cuenta que, a diferencia de los Clickers, los mUVies han estado a disposición del alumnado fuera del aula y han sido visitados, por término medio en más de 450 ocasiones, tal y como registra el contador de visitas de la plataforma Mmedia (https://mmedia.uv.es).

Esta situación evidencia que los mUVies han sido un material de apoyo importante para el estudiante de cara a la preparación del examen final, mientras que los Clickers han servido, fundamentalmente, para realizar un seguimiento del curso, detectando puntos fuertes y débiles que han sido potenciados y corregidos tanto por el profesorado como por el alumnado de cara al examen final, pero no han supuesto un material de apoyo tan potente para el proceso de aprendizaje como los vídeos docentes universitarios. En este sentido cabe preguntarse si hay relación entre las cuatro características consideradas, pretendiendo con ello dar respuesta a cuestiones como: ¿existe relación entre la valoración que el estudiante da a los Clickers y a los mUVies?; ¿están relacionadas dichas valoraciones con el rendimiento académico del alumnado?; esto es, por regla general, si un estudiante valora bien/mal el uso de los Clickers, ¿valora en el mismo sentido el uso de los mUVies?; ¿el alumnado con una buena percepción del uso de las tecnologías (Clickers/ mUVies) obtuvieron un buen rendimiento académico? Para dicho estudio utilizamos la matriz de correlación presentada en la Tabla 3.

Podemos concluir que, aunque la relación es positiva entre cada par de variables consideradas, a diferencia de lo que cabía esperar, el coeficiente de correlación en todos los casos excepto entre la nota de evaluación continua y la nota del examen está próximo a cero. Esto indica que no hay relación entre la percepción que el alumnado tuvo del uso de Clickers y los vídeos docentes y su rendimiento académico.

Por otra parte, los valores correspondientes al “sesgo estandarizado” y la “curtosis estandarizada” contenidos en la Tabla 2 permiten intuir el cumplimiento de la hipótesis de Normalidad para las variables consideradas, excepto para la valoración que recibieron los mUVies. Adicionalmente, los gráficos de probabilidad Normal (Figura 3 y Figura 4) refuerzan esa intuición, ya que los datos no se encuentran “muy alejados” de la recta.

Con la finalidad de completar el estudio inferencial, se hace uso de test de Kolmogorov-Smirnov (véase Tabla 4).

Así, al poder asumirse la Normalidad para las variables “valoración uso de Clickers”, y las notas de evaluación continua y examen final, son de aplicación las propiedades del modelo Normal. Tomando los mismos parámetros muestrales como estimadores de los parámetros media y varianza poblacionales y según los valores contenidos en la Tabla 4 se obtiene que, a nivel de toda la población de estudiantes, el 99.73% de ellos:

• Valorarían el uso de los Clickers entre un 4.3 y un 10

• Obtendrían una nota de evaluación continua entre un 4.32 y un 10

• Obtendrían entre un 5.18 y un 10 en el examen final

Estos pueden considerarse unos resultados muy buenos, pues en casi el 100% de los casos la valoración de las herramientas/puntuación de las notas sería superior a 4 (a 5 en caso de la calificación en el examen final) y la máxima valoración/puntuación a alcanzar sería un 10.

Volumen de trabajo del profesorado y el estudiantado

La incorporación de cualquier tecnología en el proceso de enseñanza-aprendizaje suele repercutir en un esfuerzo adicional tanto por parte del docente, que ve como se incrementa su volumen de trabajo habitual, como del estudiantado que debe familiarizarse con las herramientas desde un punto de vista académico y, además, ve aumentado su trabajo, especialmente fuera del aula. Así, en el presente epígrafe se pretende estimar el tiempo que tanto el equipo docente de la asignatura como el estudiantado tuvo que dedicar a la implantación y al uso tanto de Clickers como de mUVies. En el caso del volumen de trabajo del profesorado cabe realizar un inciso: la estimación que se realiza es válida para el primer curso de la implantación de las herramientas, esto es, partiendo de “cero”, y comprende el estudio de manuales, elaboración de diapositivas, tiempo de grabación, etc. Este esfuerzo inicial, en principio, se rentabilizará con el tiempo, pues en cursos sucesivos deberían ser necesarias sólo modificaciones que permitieran mejorar los materiales, no suponiendo, por tanto, un volumen de trabajo tan elevado como el derivado de su puesta en marcha el primer curso. Dichas estimaciones se recogen en la Tabla 5 atendiendo a la tecnología educativa (Clickers o mUVies) utilizada en cada caso.

Para la elaboración de la Tabla 5 se ha tenido en cuenta que, en el caso de la puesta en marcha de los Clickers, fue necesario:

• El estudio de un manual del software TurningPoint, necesario para la realización de los diferentes sondeos, a lo que se dedicó no menos de 50 horas de trabajo.

• La realización de tres sondeos de Clickers en clase. Para la confección de las preguntas de cada sondeo y elaboración del material correspondiente se hizo uso de unas cinco horas, aproximadamente, por sondeo.

Así, el cómputo del volumen de trabajo para el profesorado, derivado del uso de los Clickers, fue de 65 horas.

En cuanto a la elaboración de los mUVies, debe indicarse que la ayuda del soporte técnico del SFPIE de la Universitat de València, disminuyó considerablemente el volumen de trabajo asociado a cada vídeo educativo. En cualquier caso, la tarea asociada a su realización por parte del equipo docente, constaba de tres fases claramente diferenciadas:

• Elaboración del material necesario para la grabación.

• La grabación de los video tutoriales en sí.

• Revisión de los vídeos, una vez que los técnicos habían procedido al montaje del mismo, e introducción de metadatos.

La dedicación estimada para las dos primeras tareas fue de unas dos horas por fase para cada vídeo docente, mientras que para la tercera fue de una media hora. Esto hace que a cada uno de ellos se dedicaran cuatro horas y media. Si se tiene en cuenta que se elaboraron 15 vídeos, el cómputo del volumen del profesorado asociado a esta herramienta fue de 67 horas y media. Por lo tanto, si se tiene en cuenta la estimación de dedicación global a ambas tecnologías fueron necesarias 132.5 horas, es decir, más de dieciséis jornadas laborales (de 8 horas) completas, o equivalentemente, más de tres semanas laborales a tiempo completo.

Por otra parte, debe tenerse en cuenta que son dos, profesorado y estudiantado, los agentes involucrados en el proceso enseñanza-aprendizaje y que, como en cualquier proceso, para optimizar los resultados es necesario que la dedicación del alumnado sea acorde a la del profesorado. Por ello, se procede a estimar, también, el volumen de trabajo que supuso para el alumnado el uso de las dos TIC. Para llevar a cabo dicha estimación se hará uso de las respuestas a la cuestión planteada en el cuestionario sobre el número de veces que había necesitado el estudiante visionar el video hasta su comprensión. Así se obtendrá, no sólo la estimación buscada, sino que se podrá analizar la adecuación de los vídeos educativos. En efecto parece que, si el estudiante necesitó una media de visionados cercana a la unidad, esto es, si por término medio comprendió el contenido del vídeotutorial “a la primera”, se estaría en el camino correcto. Un análisis descriptivo de los datos recogidos a través del cuestionario evidencia que en un 84.21% de los casos ha sido necesaria la visualización del mUVie un máximo de 2 veces para su comprensión.

La obtención, por otra parte, de algunas medidas de posición relevantes, como la media (=1.58), mediana (=1) y moda (=1) de la distribución de frecuencias de dichos datos, permite concluir que por término medio ha hecho falta visualizar cada vídeo menos de dos veces, que en el 50% de las ocasiones ha sido necesaria tan solo una visualización y que la respuesta más repetida a la pregunta planteada ha sido: “he necesitado visualizar el mUVie una vez”, esto es, que se ha entendido a la primera.

A partir de lo indicado, es posible estimar la dedicación del alumnado, esto es, el tiempo que destinó al uso de las herramientas consideradas. Así, en la Tabla 6 se recoge la estimación atendiendo a la tecnología utilizada (Clickers o mUVie).

Para su elaboración, se ha tenido en cuenta que:

• El tiempo dedicado a los sondeos se ha ceñido únicamente a la duración del mismo, esto es, 0.5 horas en cada sondeo. Este supuesto se sustenta en que se está analizando el volumen de trabajo añadido que ha significado para el alumnado la incorporación de los Clickers, por lo que, al no existir prerrequisito para contestar al sondeo, no se tiene en cuenta el tiempo de estudio fuera del aula que el estudiante haya utilizado para contestar a las preguntas, al ser supuestamente el mismo que en principio debería haber dedicado para “llevar la materia al día”.

Así, el cómputo del volumen de trabajo para el alumnado, derivado del uso de los Clickers en los tres sondeos realizados, fue de una hora y media.

• En cuanto al uso de los mUVies, atendiendo a que por término medio fueron necesarias 1.58 visualizaciones por vídeo, que la duración media de los mismos es de 15 minutos y que debían visualizar 15, el cómputo del volumen asociado a esta herramienta fue de 355.5 minutos, esto es, aproximadamente 6 horas.

Por lo tanto, si se tiene en cuenta la estimación de la dedicación global de ambas tecnologías, fueron necesarias 7 horas y media, es decir, aproximadamente un día laboral (de 8 horas).