Most massive open online courses (MOOC) use simple schemes for aggregating peer grades, taking the mean or the median, or compute weights from information other than the instructor's opinion about the students' knowledge. To reduce the difference between the instructor and students' aggregated scores, some proposals compute specific weights to aggregate the peer grades. In this work, we analyse the use of students' engagement and performance measures to compute personalized weights and study the validity of the aggregated scores produced by these common functions, mean, and median, together with two others from the information retrieval field, the geometric and harmonic means. To test this procedure, we have analysed data from a MOOC about Philosophy. The course had 1,059 students registered, and 91 participated in a peer review process that consisted in writing an essay and rating three of their peers using a rubric. We compared the aggregation scores obtained using weighted and nonweighted versions of the functions. Our results show that the correlation between the aggregated scores and the instructor's grades can be improved in relation to peer grading, when using the median and weights are computed according to students' performance in chapter tests.
Entre las problemáticas que la investigación contemporánea ha tenido que tratar a la hora de analizar la recuperación del escepticismo en el Renacimiento, no solo se encuentra la cuestión de las fuentes que nutrieron esta vena, sino también el tipo de escepticismo que estas fuentes transmitieron. En estas páginas nos proponemos revisar la cuestión de las fuentes que influyeron en la redacción de una de las obras fundamentales del escepticismo renacentista, el Que nada se sabe del tudense Francisco Sánchez.
La evaluación de gran cantidad de exámenes de tipo respuesta abierta es una tarea docente que requiere de una elevada inversión de tiempo para su realización, presentando además otros importantes problemas y desafíos como son la consistencia y la escalabilidad. Para ayudar al profesor en esta ardua tarea proponemos Exam Grader, una aplicación web que integra modelos de Inteligencia Artificial Generativa mediante modelos de lenguaje de gran tamaño (Large Language Models, LLM) para asistir en la corrección automatizada mediante rúbricas. La solución propuesta en este artículo es un entorno en línea integrado que, además de la corrección asistida por IA, proporciona funcionalidades para el diseño de exámenes con rúbricas personalizadas, la recolección de respuestas, la comparación estadística IA-docente y el análisis visual de concordancias, anotación, comentarios generales y notificaciones por email. La herramienta propuesta se ha validado con datos de 91 exámenes reales en un curso tipo MOOC (Massive Open Online Course) de Introducción a la Filosofía Práctica, por medio de un análisis de la concordancia entre la IA y el profesor, y un análisis de la consistencia interna de la IA en 3 versiones diferentes de la misma. Los resultados obtenidos son muy prometedores y nos permiten concluir que es muy útil contar con la ayuda de la corrección basada en IA de exámenes escritos sin sustituir el juicio profesional docente. Este trabajo preliminar abre la puerta a futuras investigaciones destinadas a afinar la consistencia interna de la IA, hacerla más explicable, y validarla en otros ámbitos académicos.