GEXCAT

¡Queremos facilitar el trabajo de los profesores! Con Gexcat se pueden preparar y corregir exámenes sin esfuerzo en unos clics


Deja un comentario

Exámenes EDAIC

Los exámenes para obtener el Diploma EDAIC (European Diploma in Anaesthesiology and Intensive Care) de la ESA (European Society of Anaesthesiology), se pueden gestionar de forma muy sencilla utilizando GEXCAT.

El examen EDAIC tiene un formato generalmente de 60 preguntas con cinco respuestas. Las preguntas son de tipo multirrespuesta. Las preguntas se pueden marcar como verdaderas (V) o falsas (F)

La calificación del examen se hace en base al número de respuestas acertadas. Es decir, en un examen de 60 preguntas, la puntuación máxima será de 300 puntos.

La generación y posterior corrección de un examen EDAIC con el programa GEXCAT es inmediato. Para ello:

  • Se deberán haber cargado de forma automática (o manual) las preguntas a utilizar desde cualquier procesador de textos. (Ver video). (Ver ejemplo de fichero de preguntas a importar).
  • Una vez cargada por los usuarios la Base de Datos (BD) en GEXCAT
    • Se pueden crear exámenes de forma automática en GEXCAT con hasta nueve modelos del mismo examen, lo que hace prácticamente imposible la copia, incluso en el caso de aulas pequeñas.
  • En la hoja de respuestas de GEXCAT sólo se han de marcar las respuestas verdaderas. Las respuestas en blanco se consideran como falsas.
  • Una vez realizado el examen,
    • se escanean las hojas de respuestas en cualquier dispositivo con alimentador de hojas (fotocopiadora, escaner, impresora multifuncioanl, …):
      • Formato JPG
      • Escala de grises
      • 300 ppp (puntos por pulgada)
      • Calidad alta
  • Utilizar GEXCAT para generar un fichero de interpretación de resultados (Extensiones, Formularios, Interpretar)
  • Utilizar el programa gxNOTASEDAIC (Ver mas) que proporciona los resultados de la prueba de forma inmediata.

Descargar instrucciones para preparar y corregir un examen EDAIC

Descargar programa gxNOTASEDAIC

 

 


1 comentario

Uso de GEXCAT para exámenes CBM (calificaciones basadas en la certeza)*

Los exámenes con calificaciones basadas en la certeza (CBM Certainty-Based marking) son un tipo de exámenes que con distintos formatos se han utilizado desde hace décadas aunque con un uso no muy generalizado.

Un examen CBM es un examen tipo test (o de respuesta múltiple) al al que se le añaden tres casillas para que el estudiante indique el grado de certeza con que contesta cada  respuesta.

El grado de certeza se da en una escala de tres niveles: Bajo (1), Medio (2), Alto (3). No se utilizan conceptos como “seguro” o “muy seguro” ya que pueden ser malinterpretados.

El sistema de calificación utilizado en un examen CBM obliga a los estudiantes a pensar detenidamente cada respuesta al tener que indicar el grado de certeza con que dan sus respuestas e influir estas en la nota final.

La introducción de la variable certeza hace que los exámenes tengan un valor añadido significativo, tanto para el profesor como para los alumnos..

Como hacer exámenes CBM con GEXCAT

La forma de trabajo que utiliza GEXCAT permite preparar y corregir exámenes CBM de una forma rápida y flexible:

  • Los exámenes generados por GEXCAT se pueden utilizar tanto para hacer exámenes tipo test normales como para exámenes tipo CBM.
  • Se pueden generar distintos modelos de hojas de preguntas de examen, con las preguntas y/o respuestas barajadas aleatoriamente para dificultar la copia de los alumnos.
  • La hoja de respuestas incorpora casillas adicionales para indicar el grado de certeza de la respuesta.
  • Permite utilizar tanto el modelo estandar de hojas de respuestas, en los que los alumnos se identifican manualmente como el modelo avanzado que se puede configurar libremente el formato
  • En estos momentos, la calificación se hace de forma externa a GEXCAT mediante un programa creado específicamente para este tipo de exámenes.

Ejemplo de hojas de respuesta para exámenes CBM utilizados por GEXCAT:

hr-cbm-estandar80
Modelo estandar
plantilla-generica-conmodelo-arribaModelo avanzado

El modelo estandar puede también llevar identificación a través de código de barras. El modelo avanzado, permite que la hoja de respuestas sea totalmente configurable.

Instrucciones practicas: GENERAR EXAMEN CBM CON GEXCAT

Ventajas de los exámenes CBM

  • Los estudiantes se ven obligados siempre a reflexionar sobre el grado de fiabilidad de sus respuestas.
  • Se habituan a no dar respuestas rápidas.  Han de tratar de entender las cuestiones que se les plantean.
  • Mejora la autoconfianza de estudiantes inseguros y con capacidad de reflexión.
  • Al obligar a fijarse sobre las consecuencias de una respuesta equivocada, se entra en el circulo virtuoso de pensar, meditar y  ¡APRENDER!
  • El sistema de estudio es mucho mas eficiente, al obligar a cuestionar contínuamente la fiabilidad y seguridad de las ideas que van incorporando a lo largo del aprendizaje, .
  • Las notas obtenidas son más justas. Una respuesta correcta reflexionada y contestada con certeza merece más nota que una respuesta rápida y no reflexionada.
  • El sistema de calificación y penalización obliga a pensar muy bien las respuestas.
    • Un estudiante no se arriesgará a dar una respuesta correcta con un alto grado de certeza si no está muy seguro. ¡la penalización es muy alta!
  • El profesor dispone de evaluaciones mas fiables y con mayor validez estadística.

Sistema de calificación de exámenes (CBM)

El sistema de calificación y el riesgo de las penalizaciones hace que se deba pensar cuidadosamente el grado de certeza que se tiene sobre cada respuesta.

Grado de certeza

Alto (A)
C=3

Medio (M)
C=2
Bajo (B)
C=1
Sin respuesta
Nota si correcto 3 2 1 0
Nota si fallo -6 -2 0 0
Probabilidad sea correcta >80% 67–80% <67%
  • Los niveles de certeza 1, 2, 3 puntúan 1, 2, or 3 cuando las respuestas son correctas
  • Si la respuesta es incorrecta, la penalización es proporcional al grado de certeza con que se ha respondido (0-B , -2-M y -6-A)

Cuestiones prácticas

  • CBM se puede utilizar en cualquier tipo de pruebas objetivas (Bien/Mal, Verdadero/Falso, Preguntas de respuesta múltiple, …)
  • No requiere un estilo especial en la formulación de preguntas.
  • Permite ir mas allá de un examen de conocimientos.
  • Los ejercicios se pueden preparar y corregir de forma muy sencilla en soporte papel a través de GEXCAT.
  • Ver información adicional sobre la utilización de GEXCAT para corregir exámenes CBM

(*) Documentación recopilada a partir de los trabajos del profesor Tony Gardner-Medwin, UCL (http://www.tmedwin.net/~ucgbarg/)


Deja un comentario

GEXCAT 3.4.4.1 Versión candidata a lanzamiento

La versión 3.4.4.1 de GEXCAT ya está en situación de “candidata a lanzamiento”. Esto significa que hemos solventado todos los problemas que conocíamos o nos habían informado. La prueba inicial está funcionando sin problemas pero aún tenemos que completar nuestro ciclo de control de calidad.

La característica principal de esta versión es la incorporación de formularios avanzados, que estará disponible por defecto para usuarios corporativos y que permite evaluar competencias (ver enlace) de una forma flexible. Puede ser utilizadas en pruebas ECOE o por tribunales de fin de grado, master…

Pulsar el SIGUIENTE ENLACE para mostrar la lista de cambios y encontrar un botón de descarga. Si alguno de nuestros usuarios dispone de alguna versión anterior a la 3.4.4.1 con algún problema, les animamos a descargar y probar la versión 3.4.4.1 para comprobar que los problemas han desaparecido. (Ver historial de cambios)

Consideraciones

La instalación de cualquier nueva versión de GEXCAT se puede hacer sin ningún problema, ya que los datos del usuario nunca se modifican y solo eventualmente se puede actualizar la estructura de la Base de Datos. Por lo tanto, la actualización se puede hacer con toda confianza.

No obstante lo dicho anteriormente ¿hace copias de seguridad regularmente?. GEXCAT utiliza una base de datos muy probada, estable y segura. La principal causa de pérdida de datos se debe a cortes de luz, errores en disco o a sincronizaciones defectuosas de la BD ubicadas en la nube (Dropbox, Google Drive…), situaciones todas ellas externas a GEXCAT.

Si hace tiempo que no ha realizado una copia de seguridad, podría ser una buena ocasión de hacerlo (VER COMO)


Deja un comentario

Herramientas de análisis para preguntas objetivas

analisisglobal

Vamos a dar una visión general sobre herramientas que permiten medir la calidad de las preguntas de evaluación objetiva (tipo test). No vamos a entrar en la forma de confeccionarlas, ni los criterios que se deben utilizar para su redacción, que serán objeto de una posterior entrada.

Como durante el proceso de creación de preguntas de examen los errores son inevitables, es muy conveniente disponer de herramientas que permitan localizarlos y corregirlos. Si se consigue este objetivo, las preguntas mejorarán su calidad y carácter formativo de forma inmediata.

METODOLOGIA UTILIZADA

Para analizar la calidad de las preguntas, GEXCAT utiliza los siguientes indicadores:

  • Identificación de los grupos fuertes y débil
  • Índice de facilidad
  • Índice de dificultad
  • Índice de discriminación

GRUPOS FUERTE Y DEBIL

Denominamos grupo fuerte al grupo de participantes con mejores notas en un examen y grupo débil, a los que tienen notas mas bajas. Con objeto de discriminar claramente ambos grupos, se ha de:

  • Hacer los dos grupos tan grandes como sea posible.
  • Hacer los dos grupos tan diferentes como sea posible.

Una elección de consenso, es utilizar 1/4 o 1/3 del total de participantes para cada grupo.  GEXCAT toma como base de formación de los grupos fuerte y débil el 33,33%  (1/3) del total, siendo pues la muestra utilizada los 2/3 del total de participantes. Los cálculos se hacen en base a los grupos fuerte y débil, descartando a los situados en el grupo medio.

INDICE DE DISCRIMINACIÓN

Es un índice que permite determinar en qué medida una pregunta es suficientemente selectiva para distinguir un grupo fuerte de un grupo débil. Varía de -1 a +1.

Indice de discriminación = 2 x (GF – GD)/ N, donde:

  • GF = Número de respuestas exactas en el grupo fuerte.
  • GD = Número de respuestas exactas en el grupo débil.
  • N = Número total de participantes, de estos dos grupos.

Cuanto mayor sea el índice, mejor permitirá la pregunta diferenciar al grupo fuerte del débil.

Un test con preguntas con altos índices de discriminación, asegura una clasificación discriminativa de los participantes según su nivel de actuación. Dicho de otra manera, el test no concede ventajas a los débiles con respecto a los fuertes. Es decir, ayuda a reconocer a los mejores.

Es un índice muy util para mejorar un banco de preguntas. Los valores aceptados son:

  • 0,35 o más = Pregunta excelente.
  • 0,25 a 0,34 = Pregunta buena.
  • 0,15 a 0,24 = Pregunta límite (para revisar).
  • menos de 0,15 = Pregunta mala que debe ser eliminada o reexaminada.

ÍNDICE DE FACILIDAD

Permite determinar en qué medida una pregunta es fácil o difícil. Varía de 0 a 100, siendo 100 muy fácil y 0 muy difícil. En principio, una pregunta que tenga un índice de facilidad comprendido entre 30 y 70 por 100 es aceptable.

Para su cálculo se utiliza la fórmula siguiente:

Indice de facilidad = (GF + GD) x 100/N donde:

  • GF= Número de respuestas exactas en el grupo fuerte.
  • GD = Número de respuestas exactas en el grupo débil.
  • N = Número total de participantes, de estos dos grupos.

Si utilizamos una prueba con un conjunto de preguntas que tengan índices repartidos entre el 30 y el 70 por 100, su índice medio se situará alrededor del 50 por 100.( También se aceptan valores comprendidos entre 35 y 85 por ciento).

Se ha demostrado que un test con índice medio de facilidad del 50 al 60 por 100 tiene grandes probabilidades de ser fiable en su consistencia interna u homogeneidad.

INDICE DE DIFICULTAD

Es utilizado internamente por GEXCAT para asignar la dificultad a una pregunta.

Indice de dificultad = Redondear (M*10/A) donde:

  • M = Nº de respuestas falladas
  • A = Nº total de participantes en un examen
  • Redondeado sin decimales

Los valores van de 0 a 10, siendo la dificultad mayor cuanto mas alto es el número (8 ->80% de los participantes, la han fallado, 2, por el 20%)

Ver el siguiente enlace, donde se implementa esta herramienta: http://gexcat.com/forogexcat/posts/list/569.page


Deja un comentario

Ventajas e inconvenientes de las pruebas objetivas

Las pruebas objetivas son una potente herramienta que ayudan al profesor a realizar la evaluación continua de una forma mas sencilla. Tienen gran variedad de aplicaciones y con ellas se pueden comprobar aspectos muy variados del aprendizaje. Con preguntas adecuadas podemos medir desde el conocimiento (memoria) hasta las capacidades de comprensión, interpretación, análisis, etc.

Vamos a dar una visión general de los aspectos positivos y negativos que tienen este tipo de pruebas. GEXCAT facilita su realización al automatizar todo el proceso sin necesidad de disponer de ninguna infraestructura especial.

VENTAJAS

Desde el punto de vista del profesor

Esfuerzo:

  • Permiten una evaluación continua con un menor esfuerzo
  • Especialmente útil en cursos numerosos o en profesores con gran carga de trabajo.
  • La preparación (con hasta 9 modelos) y corrección es fácil y rápida (minutos).
  • Permiten al profesor disponer de mas tiempo para lo realmente importante: creación y análisis.

Mejores evaluaciones

  • Se pueden realizar exámenes mas equilibrados y uniformes (ya que podemos saber a nivel de pregunta el número de veces que se ha utilizado y en que exámenes, la nota media sacada por los alumnos y por lo tanto su nivel de dificultad, con las etiquetas ver preguntas relacionadas..).
  • El factor suerte es mucho menor en las pruebas objetivas que en las pruebas abiertas (al tener normalmente muchas mas preguntas)
  • Permite la evaluación de aspectos muy concretos,
    • Para detectar conceptos erróneos o equivocaciones habituales.
  • Se puede preguntar de forma extensiva sobre todos los aspectos de cualquier materia, lo que implica que los alumnos han de preparar todos los contenidos.
  • No hay lugar para ambigüedades en las respuestas o para que el alumno responda a lo que no se le pregunta.
  • Se puede medir objetivamente las competencias adquiridas por cada alumno.

Corrección

  • Corrección exacta, rápida y objetiva. Mismo criterio para todos los alumnos
    • Recorrección sin esfuerzo
  • Conceptos a evaluar idénticos para todos los alumnos. Contestan únicamente a lo preguntado, sin salirse del tema.
  • Permite al profesor corregir o reorientar la enseñanza según los resultados obtenidos

Desde el punto de vista del alumno

  • Si se hacen evaluaciones frecuentes los alumnos se habitúan a estudiar de forma constante
  • Los alumnos reciben los resultados a los pocos minutos de haber realizado la prueba ( se pueden organizar mejor)
  • Al conocer su nivel con frecuencia pueden tomar medidas correctoras de forma temprana

Desde el punto de vista de la calidad

De las preguntas

  • Se puede mantener curso tras curso una amplia base de preguntas sobre todas las materias de las asignaturas que impartamos. Al poder evaluar utilizando una base de preguntas tan amplia como queramos, podremos apreciar de forma muy objetiva el nivel de conocimiento de los alumnos.
  • Las mismas pruebas pueden utilizarse en otros cursos o centros. Podemos modificar o evolucionar fácilmente las preguntas ya existentes.
  • Podemos analizar de forma muy sencilla la calidad de las preguntas que realizamos. Podemos analizar si las preguntas son las adecuadas y si los alumnos conocen el tipo de pregunta para el que deben estudiar.
  • Banco de preguntas cada vez mejor
    • Ampliable curso tras curso
    • Se puede compartir con otros profesores

De la enseñanza

  • Las estadísticas proporcionadas tienen un valor diagnóstico de fácil interpretación, permitiéndonos identificar con claridad las debilidades y fortalezas de la marcha del curso.
  • Podemos disponer sobre la marcha de estadísticas que nos sirven para modular tanto la marcha del curso como la validez de las preguntas
  • Análisis estadístico en tiempo real sobre la marcha del curso.
  • Herramientas estadísticas y de análisis de los exámenes

INCONVENIENTES

  • Inconveniente principal: disponer de buenas preguntas
    • que no solo sirvan para evaluar la memoria.
  • Se necesita mucho tiempo y experiencia para preparar buenas preguntas.
    • Se tiende a hacer preguntas simples, ya que requieren menos esfuerzo.
    • La gran mayoría de este tipo de exámenes son memorísticos.
  • Si no estan bien preparadas o se utilizan como método exclusivo de evaluación, las pruebas objetivas pueden condicionar negativamente los hábitos de estudio de los alumnos. Deben ser complementadas por otro tipo pruebas (trabajos, presentaciones, exámenes escritos, …)
  • No puede usarse, para evaluar conocimientos y competencias complejas
    • lingüísticas, creatividad, análisis, síntesis, …
  • No se puede evaluar el proceso de pensamiento del alumno.
  • Posibilidad de contestar y acertar respuestas al azar
    • Minimizado con suficiente nº de preguntas y de respuestas
  • Posibilidad de obtener mejores notas a alumnos “entrenados”
  • Posibilidad de que los alumnos tengan las preguntas de años anteriores.
    • Los alumnos estudian solo las respuestas para aprobar
    • Minimizado con nº suficiente de preguntas y GEXCAT
  • Coste de papel

En resumen:

Considerando los pros y los contras de las pruebas objetivas, podemos convenir que son una herramienta muy válida, especialmente si se complementan con otro tipo de pruebas (trabajos, presentaciones, exámenes escritos, orales, pruebas abiertas…) al permitirnos realizar una evaluación contínua que facilita el que los estudiantes estudien de forma constante, con el consiguiente reflejo en la buena marcha del curso.


Deja un comentario

Sistemas de calificación utilizados en GEXCAT

A partir de la versión 2.6.5, se ha incorporado la posibilidad de calificar exámenes no uniformes, así como la posibilidad de aplicar cualquier sistema de calificación externo.

Vamos a dar una visión general del nuevo sistema de calificación (fórmula avanzada) incorporado. Daremos posteriormente una visión general de los sistemas de calificación utilizados por GEXCAT. Los dividiremos en soportados de forma nativa y gestionados por el profesor.

Sugerimos revisar la información contenida en Preguntas Frecuentes

Fórmula avanzada

A partir de la versión 2.6.5 se puede utilizar Javascript para calcular notas de forma nativa, lo que permite gestionar las necesidades mas avanzadas. Para ello el usuario puede escribir un pequeño programa utilizando código Javascript para calcular las notas según sus necesidades. Nos remitimos al Apendice 1 de la Guía de Usuario para mas información .

Exámenes no uniformes utilizando fórmula estandard

Aprovechando esta posibilidad, hemos incorporado de forma standard el cálculo de notas para exámenes no uniformes (exámenes que tiene preguntas con un número diferentes de respuestas) tomando como base la fórmula mas utilizada en el cálculo de notas de exámenes de selección múltiple:

Nota = (Aciertos-(Fallos/Nº Resp-1))/Nº preguntas

Para este caso se va calculando la nota pregunta a pregunta en función de las respuestas que tenga, es decir, si la respuesta es correcta suma un punto, si es errónea resta 1/(NºResp-1) puntos y si es en blanco suma cero puntos. Finalmente se suman las calificaciones individuales de cada pregunta, se multiplica por diez  y se divide por el número total de preguntas.

El código mostrado es el que proporcionamos en Gexcat y permite calcular las notas de un examen con preguntas no uniformes:

var i, j; 
for (i = 0; i < ALUMNOS; i++) { 
    NOTAS[i] = 0; 
    for (j = 0; j < PREGUNTAS; j++) { 
       if (CORRECTAS[j] == 0) { 
            NOTAS[i] += 10/PREGUNTAS; 
        } else if (MATRIZ[i][j] == 1) { 
            NOTAS[i] += 10/PREGUNTAS; 
        } else if (MATRIZ[i][j] == -1 ) { 
            NOTAS[i] -= 10/PREGUNTAS/(RESPUESTAS[j]-1); 
        } 
    } 
} ;

SISTEMAS DE CALIFICACIÓN NATIVOS DE GEXCAT

GEXCAT ofrece cuatro sistemas de calificación (obtención de notas) de forma que se pueda escoger el mas conveniente.

GEXCAT permite:

  1. Sistema estándar GEXCAT
  2. Sistema basado en fórmula definida por el usuario
  3. Sistema basado en parámetros (penalización y pesos)
  4. Fómula avanzada (por defecto: exámenes no uniformes utilizando fórmula estandard)

Sistema estándar GEXCAT

GEXCAT utiliza la fórmula estandad para calificar exámenes uniformes y que se muestra en la imagen inferior.CapturaEs preciso que todas las preguntas sean uniformes, es decir, todas deberán tener el mismo número de respuestas y en todas habrá el mismo número de respuestas válidas.

Sistema basado en fórmula

Permite que el usuario utilice la fórmula que desee, utilizando las siguientes variables, para exámenes uniformes:

  • C = Nº de preguntas correctas
  • E = Nº de respuestas incorrectas
  • B = Nº de respuestas en blanco
  • N = Nº de preguntas totales
  • R = Nº de respuestas totales

Captura

Ejemplo: La fórmula equivalente a la estándar GEXCAT sería: ((C-E/(R-1))*10)/N

Sistema basado en parámetros / pesos

Es otra alternativa común de calificación, en el que cada n preguntas incorrectas (o en blanco) anulan una correcta.

CapturaHay dos posibilidades de indicarlo:

  • Colocar un valor positivo (p.ej. 3). Restaría uno a la calificación por cada n preguntas falladas (o en blanco).
  • Colocar un valor negativo (-1, -2, ….). En este caso, el cálculo lo realizaría el programa en base al máximo nº de respuestas que tiene el examen (y que se puede ver en la hoja de respuestas). Restaría al nº máximo de respuestas del examen el valor entrado (-1, -2, …) y el resultado sería el número de preguntas falladas (o en blanco) al que se les restaría un punto.
  • Colocar el valor 0: En este caso las respuestas incorrectas y/o en blanco, no serán penalizadas.

Ejemplo: Nº máximo de respuestas del examen: 8. Valor introducido: -2. En este caso, cada 6 preguntas falladas (o en blanco) se restaría un punto.

EJEMPLO
Si se tiene un examen de 30 preguntas un alumno necesitará 15 para aprobar (de forma coherente). Sin embargo, si el número de decimales máximo definido en las notas es 0, una persona con 14 respuestas contestadas, obtendrá un 5 por redondeo. En este caso, estableciendo este valor, el alumno con 14 respuestas obtendrá un 4 en lugar de un 5.

Sistema basado en parámetros / penalización

Se penaliza por pregunta fallada y por pregunta en blanco (en ambos casos un valor que normalmente está comprendido entre 0 y 1, con hasta tres decimales. Es un valor absoluto, no un coeficiente). La penalización a aplicar dependerá del número de preguntas del examen.

EJEMPLO
Si tenemos un examen de 40 preguntas, el valor de cada pregunta correcta es  0,25 puntos, ya que si se contestasen bien todas las preguntas, la nota final sería 40*0,25=10. Si tuviésemos un examen de 100 preguntas, el valor de cada pregunta correcta sería 0,1 (10/100), de 200 preguntas, 0,05 (10/200), de 20 preguntas, 0,5 (10/20) etc. A partir de estos valores se deberán aplicar las penalizaciones correspondientes para conseguir las notas que deseemos. Aparece una casuística compleja.Si queremos que cada respuesta errónea penalice p.ej. 1/3 de una respuesta correcta, el valor de la penalización a aplicar sería 0,25/3 para un examen de 40 preguntas, de 0,1/3 para 100 preguntas, de 0,5/3 para 20 …..

Sistemas de calificación gestionados por el profesor

Si se desea utilizar un sistema de calificación diferente de los cuatro que se ofrecen en modo nativo, se podrá utilizar un sistema de calificación alternativo, ya que el programa puede generar un fichero Excel con los datos de cada alumno y las preguntas acertadas, falladas y en blanco.

De esta forma se pueden calcular fuera de GEXCAT las notas y posteriormente importarlas. Hay una entrada específica para tratar este tema en este Blog (Ver).

También se puede utilizar este sistema para obtener las estadísticas que se deseen e incluso tomarlo como base para medición de resultados de aprendizaje, ya que se entrega toda la información a nivel de alumno sobre las respuestas acertadas, falladas y en blanco.