Ir al contenido principal
Banner Image

5.07. Actividad Taller

Guía de Aula Global (Moodle) para Docentes UC3M

Resultado de la evaluación por Pares

El alumno podrá cambiar su evaluación mientras dure la fase si el profesor no la cierra con las fechas (no debe cambiar de fase aún, ya que esto trasladaría las notas obtenidas a las calificaciones).

Al entrar en el taller, el profesor verá una tabla con las calificaciones obtenidas y recibidas.

 

Calificación por la evaluación que reciben los pares

Dentro del porcentaje que se haya determinado para esta parte del trabajo... el mecanismo por el cual Moodle asigna la "Calificación por la evaluación" (la nota que recibe el evaluador por la calidad de su retroalimentación a sus pares) es complejo y se basa en la concordancia y un algoritmo de "inteligencia artificial" interno, conocido como Comparación con la mejor evaluación.

La meta de este proceso es evaluar la calidad y precisión de la revisión que un estudiante (evaluador) realizó sobre el envío de su compañero. Moodle premia a los evaluadores cuyas calificaciones y juicios se alinean mejor con el consenso del grupo.

Moodle utiliza el método de "Comparación con la mejor evaluación" (el único método disponible por defecto) siguiendo estos pasos:

1. Moodle normaliza las respuestas

Independientemente de la estrategia de calificación usada (Rúbrica, Acumulativa o Número de errores), Moodle toma todas las respuestas del formulario de evaluación (la puntuación de cada criterio, la marca de Sí/No, el nivel de la rúbrica) y las convierte en un vector de valores normalizados. Esto permite que se puedan comparar diferentes formatos de evaluación.

2. Moodle encuentra la evaluación "ideal" (Consenso)

Moodle calcula la media o el consenso de todas las evaluaciones recibidas por un envío. Luego, selecciona la evaluación que está más cerca de esta media o consenso en todos los criterios. Esta evaluación seleccionada se considera la "Mejor Evaluación" y se le asigna una nota del 100% de la Calificación por la Evaluación.

3. Mide la distancia y se asigna la nota

Moodle calcula la "distancia" de todas las demás evaluaciones con respecto a esta "Mejor Evaluación". Cuanto más diferente sea la evaluación de un estudiante respecto a la "Mejor Evaluación", más baja será su Calificación por la Evaluación. El estudiante es "penalizado" si su juicio es muy distinto al consenso de sus pares. No se comparan las calificaciones finales, sino las respuestas a cada criterio individualmente.

4. El Factor de Estrictez (Ajuste docente)

El profesor tiene un control crucial sobre cuán rápido bajan las notas por evaluación, a través de la opción "Estrictez de la comparación de las evaluaciones" (Comparison of assessments), pudiendo elegir entre cinco opcines:  muy laxa, laxa, justa, estricta y muy estricta

Muy laxa 

Las notas bajan lentamente. Se permite una gran diferencia de criterios para obtener una nota alta.

Muy estricta 

Las notas bajan rápidamente. Los evaluadores deben tener un alto grado de coincidencia con el consenso para obtener una buena nota.

La nota que se recibe por evaluar (la Calificación por la evaluación) es una medida de qué tan consistente y justo se fué en la revisión, comparada con el consenso (el promedio de las revisiones de todos los compañeros) en cada criterio. Si la revisión es atípica (demasiado alta o demasiado baja) respecto al grupo, la nota como evaluador será baja.

 

Ejemplo:

un docente utiliza Número de errores como estrategia de calificación para evaluar por pares una tarea. Esta estrategia utiliza un par de afirmaciones y el evaluador solo necesita comprobar si la afirmación dada aprueba o no. Esto es, solo necesitan elegir “sí” o “no” para cada criterio en el formulario de evaluación. En este caso, hay tres evaluadores, Alicia, Roberto y Celia. Y el formulario de evaluación contiene tres criterios. El autor obtendrá una calificación del 100 % si aprueba todos los criterios, del 75 % si aprueba dos, 25 % si solo aprueba un criterio y 0 % si el evaluador contesta “no” a las tres afirmaciones. He aquí las evaluaciones que dan para cierto trabajo:

Alicia: sí/sí/no
Roberto: sí/sí/no
Celia: no/sí/sí
Entonces, la mejor evaluación será: Sí/sí/no

Después, el taller otorgará a la mejor evaluación una calificación del 100 %. A continuación medirá la “distancia” entre las otras evaluaciones y esta mejor evaluación. Cuanto mayor sea la distancia, menor calificación recibirá la evaluación. Y la configuración de Comparación de evaluaciones, junto a la de Calificación de evaluaciones determinará con qué rapidez la calificación desciende si la evaluación difiere de la mejor.
Nota: el método de Comparación con la mejor evaluación comparará respuestas a cada criterio individual en lugar de comparar las calificaciones finales. En el ejemplo anterior, los tres evaluadores dan un 75 % al envío. Sin embargo, solo Alicia y Roberto obtendrán una calificación de 100 % por sus evaluaciones, mientras que Celia obtendrá una calificación más baja. Roberto y Alicia, también, coincidieron en las respuestas individuales, mientras que las respuestas en la evaluación de Celia son diferentes
.