Introducción
El proyecto conEDUcon nace de la necesidad de una herramienta novedosa que incorpore mecanismos de autoevaluación en la plataforma online Moodle, donde el alumno asimile conceptos, de forma autónoma, practicando en cuestionarios paramétricos. La principal aportación de este proyecto es el desarrollo de una librería en Matlab capaz de generar automáticamente cuestionarios aleatorios sobre un mismo concepto, sus respuestas y todo ello empaquetado en archivos reutilizables GIFT, fácilmente intercambiables entre profesores. Además de los beneficios del autoaprendizaje online, las respuestas a estos cuestionarios son una rica fuente de información sobre el alumnado, la cual tratada debidamente puede arrojar conocimiento sobre el discurso de la asignatura (interés, abandono, problemas con ciertos conceptos, etc.), que de otra forma sería complicado obtener. Al ser desplegados dentro de Moodle, la información sobre los cuestionarios puede ser extraída fácilmente gracias a los mecanismos nativos de captura de datos que incorpora esta plataforma, los cuales permiten obtener, entre otros, las calificaciones o el número de intentos en cada uno de los cuestionarios, en formato CSV. La información obtenida podría ser analizada directamente desde la tablas CSV, de una forma secuencial, lenta y poco intuitiva que dificultaría la coordinación entre el profesorado, al ser los resultados difíciles de interpretar. Por este motivo, planteamos un análisis de la información basado en técnicas de analítica del aprendizaje (learning analytics), utilizando enfoques de analítica visual (visual analytics), los cuales brindan al profesorado una información más desgranada, más completa y más sencilla de interpretar. Como resultado de este análisis, dentro del marco del proyecto conEDUcon, se ha desarrollado la aplicación visual interactiva mostrada en el vídeo, la cual pretende extraer, de una forma intuitiva, información acerca del número de intentos, la actividad a lo largo de los días del curso, la evolución de las calificaciones o relaciones entre temáticas entre diferentes asignaturas y cuestionarios.
Elementos visuales e interactivos
La aplicación dispone de dos vistas: 1) Vista general, donde el número de intentos y las calificaciones de los cuestionarios son analizadas; y 2) Vista temática, donde las calificaciones de los cuestionarios son analizadas por áreas temáticas.
Vista general
El número de intentos y las calificaciones de los cuestionarios son tratados en la vista general mediante los siguientes elementos:
- a) Calendario de intentos. Heatmap tipo calendario que presenta el número de intentos ordenados espacialmente por días del año en una representación fácilmente reconocible e intuitiva para el usuario, como es un calendario. El conteo de intentos por día es representado por la intensidad del color de las celdas diarias, resaltando aquellos días en los que la actividad por parte de los alumnos ha sido más intensa.
- b) Gráficos de barras. En este panel, el histograma de intentos por asignatura y cuestionario, el histograma de calificaciones, la nota media por asignatura y cuestionario, así como el histograma de repeticiones son representados mediante gráficos de barras. Ante interacciones del usuario en el panel de filtrado, los gráficos de barras se actualizan, cambiando sus escalas y elementos. Asimismo, cuando el usuario posiciona el puntero del ratón sobre cualquier barra, automáticamente se muestra una leyenda con información detallada sobre los datos representados por esa barra.
- c) Panel de filtrado. Todas las interacciones del usuario tienen lugar en este panel, donde los datos representados pueden ser filtrados por: cuestionario mediante los seleccionables de la parte izquierda y por rangos continuos de notas, repeticiones, semanas del año y días de la semana mediante los sliders de la parte derecha del panel. Gracias a estos elementos interactivos de filtrado, la aplicación permite al usuario configurar vistas correspondientes a subconjuntos del total de los datos. Esto permite un estudio de los datos incremental desde configuraciones más genéricas sin aplicar ningún filtro a vistas más específicas o particulares tras aplicar una combinación de filtros.
Vista temática
Para complementar el análisis del número de intentos y las calificaciones, la aplicación incluye, en una pestaña aparte, una representación de la nota media por cuestionario y temática. Esta información es presentada en forma de heatmap, donde el eje de ordenadas representa las temáticas tratadas en los cuestionarios y el eje de abscisas el identificador de cuestionario o la asignatura, dependiendo de la selección indicada en el seleccionable de la parte derecha. La intensidad del color de las celdas codifica la nota media, de forma que las relaciones entre temáticas y resultados son resaltadas. Un ejemplo de las dos posibles configuraciones de esta vista se presenta en la siguiente figura:
Mediante esta representación, el usuario puede observar diferencias en el rendimiento del alumno por temáticas dentro del mismo cuestionario, entre cuestionarios o por asignaturas. Por último mencionar que al igual que los gráficos de barras, el heatmap de temática responde ante interacciones en el panel de filtrado b).
Casos de uso
Esta herramienta nos permite visualizar de forma interactiva el uso que los alumnos han hecho de los cuestionarios y, con ello, extraer fácilmente conclusiones acerca de su participación y seguimiento de la asignatura. A continuación se detallan algunos ejemplos.
Participación en el proyecto
La participación de los alumnos en el proyecto ha sido notable. Aún tratándose de una actividad voluntaria, se han registrado 1690 cuestionarios finalizados en Automatización y Control, y 602 en Sistemas de Control. También se aprecia que la participación no se ha mantenido constante a lo largo del semestre, sino que los alumnos han participado en unos cuestionarios más que en otros. Esto sugiere que la participación en los cuestionarios podría ser un indicador del grado de seguimiento de la asignatura.
Seguimiento de la asignatura
Analizando el caso concreto de Sistemas de Control, vemos que el cuestionario SC_3 tiene una nota media de suspenso (4.229) y al mismo tiempo es el que registra una mayor actividad (140 intentos). Parece que los alumnos ponen especial empeño en las materias que les resultan más difíciles. También llama la atención la baja nota media de los alumnos en el cuestionario SC_1 (3.915). Se trata de un examen preliminar, lo cual indica las carencias con que los alumnos afrontan la asignatura.
Volumen de seguimiento de la asignatura
Siguiendo con Sistemas de Control, podemos restringir los intentos visualizados, quedándonos tan solo con el primer intento de cada alumno. Así vemos que el volumen de seguimiento de la asignatura desciende con el paso del semestre, pasando de 40 a 28 alumnos. Por el contrario, la nota media es creciente. Esto sugiere que la complejidad de la materia va disminuyendo a lo largo de las semanas, o también, que los alumnos que mantienen el seguimiento hasta el final son los mejor preparados.
Temporalidad del seguimiento
Los alumnos han hecho un uso continuado de los cuestionarios desde febrero (publicación por parte de los profesores de los primeros cuestionarios) hasta junio (fin del curso académico para los alumnos aprobados en convocatoria ordinaria). A continuación se aprecia una pausa de 2-3 semanas, tras la que vuelve a detectarse actividad, aparentemente asociada a los alumnos pendientes de la convocatoria extraordinaria. Esto sugiere que los alumnos han empleado los cuestionarios como herramienta de estudio a lo largo de todo el semestre. Si visualizamos tan solo uno de los cuestionarios (SC_4 en el ejemplo), apreciamos claramente los tres periodos de actividad de los alumnos (preparación de la materia tras impartirse en clase, preparación de la convocatoria ordinaria, preparación de la convocatoria extraordinaria).
Conexiones entre cuestionarios
La herramienta también nos permite visualizar el rendimiento de los alumnos por categorías o temas clave en el ámbito de las asignaturas de control, sacando a la luz interesantes conexiones. Por ejemplo, cuando visualizamos el rendimiento de los alumnos en Sistemas de Control, apreciamos notables carencias en lo relativo a análisis en frecuencia (SC_1) y polos en lazo cerrado (SC_5), pudiendo ser un caso el desencadenante del siguiente.
Conexiones entre asignaturas
Finalmente, la comparativa entre asignaturas permite encontrar conexiones visuales entre conceptos impartidos en las dos asignaturas. Un ejemplo de este caso lo encontramos en las categorías Sistemas de primer, segundo y orden superior, donde se observa que ante conceptos similares los alumnos presentan mejores notas en Automatización y Control, a pesar de que esta asignatura se imparte en segundo año, mientras que Sistemas de Control en tercer año. Aunque esta conexión no implique con certeza que los alumnos tienen problemas para fijar estos conceptos de una asignatura a otra (existen otros parámetros a tener en cuenta como la dificultad de las preguntas, que solo una parte del alumnado de AyC cursa SC, etc.), creemos que obtener un patrón visual tan intuitivo como este motiva al profesorado a plantearse preguntas y a fomentar la colaboración entre el profesorado de ambas asignaturas.
