Profundización en los conceptos básicos sobre evaluación (fiabilidad, validez, objetivo, criterio, constructo, especificaciones, impacto)

Análisis de diferentes modelos de tests.

1 º Sesión:  

Antes de la sesión:

Ángel Díaz Cobo preparará materiales y contenidos para consulta bibliográfica del curso realizado en el Reino Unido. 

Los profesores reflexionarán individualmente  sobre los resultados de la aplicación de las conclusiones sacadas en la formación de centro del cuso anterior para mejorar la elección o la elaboración de las pruebas de evaluación que utilizan con el alumnado. 

Los profesores estudiarán y analizarán los documentos aportados por Ángel sobre los conceptos básicos de la evaluación y distintos modelos de tests.

Durante la sesión:

Los profesores pondrán en común los puntos que les parecen más relevantes y se sacarán conclusiones sobre los criterios para la selección o elaboración de pruebas de la primera evaluación.

Después de la sesión:

Los profesores seleccionarán pruebas en base a los conceptos y criterios revisados para la comprensión oral y demás destrezas.

Otras actuaciones particulares:

Mª del Rocío García Leiva: Análisis de la explotación de vídeos en el aula para la mejora de la comprensión oral. La profesora preparará algunos vídeos modelos que serán explotados en el aula con el grupo de Primer Curso de Nivel Avanzado de Francés y explicará en qué forma la explotación de vídeos en el aula ayuda al alumnado en las pruebas de comprensión oral. Igualmente, aportará las direcciones URL para que el resto de profesorado pueda acceder a los mismos posteriormente a fin de revisarlos y poder así implantar este recurso en el aula de idiomas. Por último, explicará el tipo de ejercicios que podrán realizarse con este recurso (elección múltiple, huecos a completar en extractos de los vídeos, ...) para poder así implementar la bibliografía aportada por el profesor Ángel Díaz. 

Mayte Díaz Martín: se trabajará con la bibliografía sobre evaluación aportada por el profesor Angel Díaz procedente del curso que realizó en Inglaterra este verano. A partir de ahí, se elaborarán individualmente las pruebas del 1º trimestre siguiendo los criterios de selección de los textos estudiados en el grupo de trabajo el año pasado, e intentando que se cumplan los criterios propios de unas buenas pruebas (fiabilidad, validez, objetivo, criterio, constructo, especificaciones e impacto).

Rocío Zomeño Chaparro: tras reflexionar sobre los materiales e ideas aportados por el compañero Ángel Díaz, trabajaré para  adaptarlos a mis alumnos y a sus necesidades a nivel tanto de grupo como individuales para conseguir el modo de evaluar que mejor refleje el progreso y consecución de objetivos por parte del alumnado.

Gema I. Espejo González: participo en este proyecto en este curso escolar. Espero aprender de mis compañeros para mejorar mi labor docente, especialmente los aspectos evaluativos. Me parece que esta formación puede serme muy útil.

Antonio Romero Rodríguez: elaboraré las pruebas del primer trimestre siguiendo las directrices que nuestro compañero Ángel Díaz nos proporcione, que servirá de recuerdo y de refuerzo de todo lo aprendido en la formación del curso pasado.

Vanessa Aguilar Pinteño: siguiendo las indicaciones del compañero Ángel Díaz y lo aprendido en la formación del curso pasado realizaré las pruebas de evaluación de la comprensión oral a lo largo del curso y realizaré actividades para la clase que prepare al alumnado para superar dicha destreza.

Marina Torres Agudo: haré las pruebas del primer trimestre pensando en que los resultados sirvan para valorar lo aprendido por mis alumnos y ver el grado de consecución de los objetivos planteados.

Rosa Casanova Uyá: utilizaré tanto lo aprendido en el curso anterior como las aportaciones de este año para mejorar el trabajo de evaluación con mis alumnos y, más  concretamente dentro de la destreza de comprensión oral, realizaré también alguna de las pruebas aplicadas el curso pasado como actividad de la formación en centro para comparar fiabilidad de discriminación entre alumnos de distintos cursos y tener ya una base de partida para la sesión posterior relativa a los procedimientos estadísticos.

Pedro Pascual Zahínos: pensaré en cómo organizar la evaluación en función de lo comentado en la sesión, cómo mejorar las tareas de cada destreza para poner en común los resultados con los/as profesores/as del mismo nivel, viendo si las modificaciones en la tipología de las tareas dan resultados más fiables y válidos.

xión sobre distintos tipos de evaluación.

Utilización de nuevas técnicas aplicadas a la evaluación

Antes de la sesión:

Ángel Díaz Cobo preparará los materiales sobre los distintos tipos de evaluación y las nuevas técnicas aplicadas a la evaluación, poniéndolos a disposición de los demás participantes en la plataforma.

Durante la sesión:

Puesta en común y conclusiones sobre actuaciones a nivel de departamento y centro sobre la aplicación de lo aprendido.

Después de la sesión:

Los profesores seleccionarán materiales sobre las nuevas técnicas aplicadas a la evaluación y, si el contexto lo permite, las aplicarán con el alumnado.

Otras actuaciones particulares:

Mª del Rocío García Leiva: Análisis de los resultados obtenidos tras la utilización de vídeos para la mejora de la comprensión oral. La profesora informará de los resultados obtenidos tras la finalización de los exámenes del primer trimestre, poniéndolos a disposición del resto de participantes a través de la plataforma. A continuación, la profesora explicará la evolución de los ejercicios a realizar durante el visionado de vídeos (siguiendo siempre las directrices aportadas por la bibliografía recibida durante la sesión anterior con fecha del 16 de Diciembre de 2016)   a fin de que el alumnado pueda centrarse en la información más detallada (uso de vocabulario, estadísticas...) y mejorar, por tanto, en esta destreza.

Mayte Díaz Martín: tras llevar a cabo en esta sesión una reflexión intensa sobre los distintos tipos de evaluación, pretendo probarlos en clase a lo largo del trimestre, viendo los distintos resultados que se irán obteniendo con cada tipo. Asimismo, haremos un repaso con nuestro compañero Angel Díaz a las nuevas técnicas aplicadas a la evaluación que han ido surgiendo últimamente, e intentaré ponerlas en práctica también en clase en lo que queda de curso escolar.

Rocío Zomeño Chaparro: aportaré los ejercicios que he realizado durante el primer trimestre junto con la metodología para contrastarlos con mis compañer@s y mejorarlos si es necesario.

Gema I. Espejo González: aportaré los textos y audios escogidos para la elaboración de marzo y estudiaré los posibles ítems que haya sacado, cotejándolos con mis compañeros.

Antonio Romero Rodríguez: aportaré mi opinión y probaré distintas técnicas e instrumentos que veamos en la formación, y que sirvan para obtener un mejor y más fiable método de evaluación de las distintas destrezas lingüísticas.

Vanessa Aguilar Pinteño: analizaré los resultados obtenidos en el primer trimestre en esta destreza y probaré en clase las nuevas técnicas aplicadas a la evaluación que puedan ayudar a mejorar los resultados del segundo trimestre.

Marina Torres Agudo:  estudiaré los resultados obtenidos y veré la manera de mejorarlos, y compartiré mi evaluación con algún compañero de mi mismo nivel para que, en común, pueda ser más enriquecedor.

Rosa Casanova Uyá: haré un seguimiento de los resultados obtenidos hasta la fecha e intentaré optimizar la aplicación de la información recibida en la sesión a la idiosincracia de la modalidad de enseñanza impartida.

Pedro Pascual Zahínos: compartiré los resultados de las pruebas hechas con la formación reicibida en la primera sesión con el resto de los miembros del grupo para sacar conclusiones sobre la conveniencia o no de mantener el formato de pruebas o seguir innovando.

Antes de la sesión:

Mayte Díaz Martín preparará los materiales de la formación recibida en el Reino Unido y lo pondrá a disposición de los participantes.

Los profesores estudiarán y analizarán ejemplos de actividades orales y  pruebas de evaluación de la expresión e interacción oral. 

Durante la sesión:

Se pondrán en común los contenidos para ver cómo aplicarlos en la evaluación en el aula. Se hará una reflexión sobre la tipología de tareas orales que resultan más efectivas para la evaluación de estas destrezas de expresión e interacción oral.

Después de la sesión:

Si hay tipos de actividades o pruebas de orales que ya conozcan y quieran probar después de haber analizado los contenidos, si el contexto lo permite, las aplicarán en el aula.

Se trabajará también este punto en pequeños grupos a nivel departamental en vista de la segunda evaluación.

Otras  actuaciones particulares:

Mª del Rocío García Leiva: Explotación de vídeos en el Nivel Intermedio. La profesora explicará las razones por las que la utilización de vídeos con el grupo de Nivel Intermedio de Inglés ha de comenzarse durante el Segundo Trimestre así como el tipo de vídeos a utilizar. Seguidamente, mostrará algunos vídeos que podrán ser utilizados con el alumnado perteneciente a este nivel. Para ello, compartirá las direcciones URL con el resto de profesorado. Por último, se verá la tipología de ejercicios a realizar con este recurso (opción múltiple, batería de preguntas a contestar tras entender el mensaje general...) y cómo utilizarlos de modelo para la realización de ejercicios de Expresión e Interacción Oral en el aula.

Gema I. Espejo González: estudiaré con gran atención la bibliografía aportada por Mayte, que está llena de estrategias y de técnicas para practicar la destreza oral en el aula y preparar al alumnado de NI a enfrentarse al proceso de evaluación de esta destreza.

Rocío Zomeño Chaparro: tras la ponencia de nuestra compañera Mayte Díaz Martín en las Jornadas de noviembre celebradas en esta EOI, aportaré materiales e ideas sobre la evaluación oral que llevo poniendo en práctica hace algunos años y cuya metodología se parece bastante a lo expuesto por nuestra compañera.

Antonio Romero Rodríguez: como anteriormente, intentaré poner en práctica las técnicas e instrumentos que nuestra compañera Mayte Díaz nos proporcione sobre las distintas metodologías para evaluar la destreza de expresión e interacción oral.

Angel Díaz Cobo: Analizaré los materiales aportados por nuestra compañera y estudiaré su adecuación y aplicación en el aula. Revisaré las actividades orales que llevo a cabo en mis clases y valoraré la incorporación de nuevas pruebas para medir esta competencia que puedan mejorar mi trabajo en clase.

Vanessa Aguilar Pinteño: pondré en práctica en clase las ideas y materiales que aporte la compañera Mayte Díaz con la idea de mejorar esta destreza de cara a la evaluación. Ya que es la destreza más temida por el alumnado creo que estos nuevos enfoques pueden motivar y mejorar las estrategias del alumnado y conseguir que afronten esta prueba con más tranquilidad. 

Marina Torres Agudo: intentaré poner en práctica todo aquello que  Mayte Díaz nos aporte y pueda utilizarlo en la destreza de expresión e interacción oral y quizás expresión e interacción escrita.

Rosa Casanova Uyá: intentaré aplicar y enriquecer las actividades orales que se realizan en el aula a través de las estrategias y enfoques que se traten en la sesión, con el fin de optimizar la producción oral de los alumnos y la evaluación específica de esta destreza.

Pedro Pascual Zahínos: aplicaré en clase los nuevos conocimientos sobre la evaluación de la expresión/interacción orales, pensando en posibles modificaciones al formato de prueba oral que vengo usando.

Criterios e instrumentos de evaluación de la expresión e interacción oral

Antes de la sesión:

Mayte Díaz Martín se encargará de divulgar los contenidos de la formación llevada a cabo en el Reino Unido colgándolos en la plataforma Colabora.

Los profesores estudiarán y analizarán distintas tipologías de tablas de evaluación, así como los macrocriterios que se valoran en la mayoría de las tablas estudiadas, procedentes de diversas instituciones europeas.

Durante la sesión:

Se hará una reflexión en conjunto de los aspectos que tienen en común la mayoría de las tablas estudiadas en el curso de Inglaterra, y se intentarán poner las bases de lo que podrían ser unas tablas fiables, válidas y viables dentro de nuestras enseñanzas. 

Después de la sesión:

Se aplicará lo aprendido en las pruebas de la segunda evaluación y en las pruebas finales. Se intentará realizar alguna sesión de estandarización antes de la evaluación, para que todos los miembros de los distintos departamentosse familiaricen con las tablas.

Otras actuaciones particulares:

Mª del Rocío García Leiva: Análisis de resultados obtenidos y modificación de ejercicios de Expresión e Interacción Oral. La profesora recogerá los resultados obtenidos hasta el momento y tratará las posibles modificaciones que puedan sufrir los ejercicios a fin de que tanto los ejercicios planteados como los vídeos utilizados en el aula ayuden al alumnado de Nivel Intermedio en la mejora de la competencia oral con vistas a las próximas Pruebas de Certificación, así como estudiar las tablas aportadas por la profesora Mayte Díaz Martín durante la sesión para posteriormente aplicarlas durante la realización de los distintos ejercicios de práctica oral con su alumnado.

Gema I. Espejo González: pondré en práctica lo aprendido en la bibliografía aportada por Mayte, implementando en el aula estrategias para que el alumnado se sienta más seguro a la hora de utilizar la destreza de expresión oral.

Rocío Zomeño Chaparro: aportaré los modelos y resultados de los ejercicos de mi cosecha realizados hasta el momento y haré acopio y reflexión de las ideas que mis compañer@s aporten.

Antonio Romero Rodríguez: con todo lo aprendido mi intención es reflexionar sobre el uso y forma de las actuales tablas de evaluación y ver cómo es posible mejorarlas. También intentaré poner el producto en práctica en las pruebas orales del segundo trimestre.

Angel Díaz Cobo: El estudio y análisis de la tipología de tablas de evaluación que presentará mi compañera me servirá para compararlas con  las que utilizo en el aula a la hora de medir las competencias de mis alumnos en el aula y valorar su posible modificación y adecuación cara a las pruebas de evaluación del trimestre.

Vanessa Aguilar Pinteño: aplicaré lo aprendido de la formación de mi compañera Mayte Díaz en las tablas de evaluación que uso en la evaluación del alumnado de no certificación y valoraré si son más fiables a la hora de evaluar las competencias de las destrezas de expresión. 

Marina Torres Agudo: compararé las tablas que presentará mi compañera con las que utilizo yo y ver si son mejorables a la hora de medir las competencias de mis alumnos y adecuarlas para la próxima evaluación.

Rosa Casanova Uyá: estudiaré distintos modelos de tablas aportados tanto por la ponente como por los otros participantes con el fin de mejorar la fiabilidad de las tablas utilizadas en niveles de no certificación a través de su aplicación en la segunda parte del curso.

Pedro Pascual Zahínos: al impartir un nivel de no certificación, tengo la libertad de probar tablas de evaluación distintas según lo que nos aporte la compañera ponente. Elaboraré una nueva tabla para ponerla a prueba durante el trimestre.

Antes de la sesión:

Las profesoras Rosa Casanova Uyá y Vanessa Aguilar Pinteño compartirán la bibliografía y materiales correspondiente al tema recibida en los cursos realizados respectivamente en Francia e Italia.

Los profesores estudiarán y analizarán el papel de estos contenidos en la evaluación.

Durante la sesión:

Puesta en común del papel de estos temas en la enseñanza y evaluación en el contexto de las Escuelas Oficiales de Idiomas. 

Después de la sesión:

Selección, elaboración y aplicación de estas actividades tanto dentro del aula como en las actividades complementarias y extraescolares que se lleven a cabo en el centro.

Otras actuaciones particulares:

Mª del Rocío García Leiva: Aplicación de vídeos en el aula con grupos de Nivel Básico. La profesora expondrá el tipo de vídeos a utilizar con alumnado de Nivel Básico (vídeos sobre temática de dicho nivel y cuyo vocabulario se ajuste a los contenidos de la Programación de cada Departamento) y los ejercicios que el alumnado de este nivel podrá realizar (verdadero/falso, opción múltiple, preguntas a responder con una palabra o número [edad, año, color, prenda de vestir...]). Igualmente, explicará los motivos por los cuales la utilización de este recurso es beneficiosa en el aula y cómo se aplicarán los contenidos de la presente sesión en los mismos.

Mayte Díaz Martín: tras la puesta en común de bibliografía y materiales hecha por nuestras compañeras Rosa Casanova y Vanesa Aguilar, intentaré aplicarlo a la evaluación, poniendo en valor los aspectos socioculturales dentro de la misma.

Gema I. Espejo González: los aspectos socioculturales son evaluables y requieren una observación especial. Elaboraré actividades sobre diferentes aspectos del currículo (la chandeleur, le poisson d'avril, la gastronomie, les régions, la musique francophone) tanto en NI como en 2º de NB. Las cuatro destrezas serán evaluadas a base de tareas colaborativas.

Rocío Zomeño Chaparro: en esta sesión presentaré actividades de índole cultural y cómo evaluarlas en el contexto de la enseñanza de idiomas en las EEOOII. Dado que el idioma inglés es omnipresente en nuestra sociedad, hay bastantes actividades que se pueden elaborar para destacar la enorme influencia de este idioma y la manera inconsciente en la que se produce. Las personas estamos rodeadas de expresiones en inglés tan interiorizadas que han perdido casi su significado original.A su vez, contribuirán a desmontar mitos y estereotipos culturales sobre el mundo angloparlante.

Antonio Romero Rodríguez: intentaré comparar los aspectos socioculturales sobre los que nuestras compañeras Rosa Casanova y Vanessa Aguilar nos hablen en esta sesión con los aspectos socioculturales propios de los países de lengua inglesa. Igualmente, intentaré poner en práctica actividades similares a las propuestas por ellas en la lengua que enseño.

Angel Díaz Cobo: Los materiales, documentos y experiencias que aporten mis compañeras me ayudarán a reflexionar sobre la dimensión sociocultural en el proceso de enseñanza-aprendizaje que desarrollo en el aula. De dicha reflexión espero encontrar nuevas líneas de actuación que potencien la atención a los valores culturales tanto en el desarrollo de las actividades que llevo a cabo en el aula como en su evaluación.

Marina Torres Agudo: los aspectos culturales en la enseñanza de un idioma son realmente importantes por lo que tratarlos desde el principio acerca ese pais a los alumnos, pero su evaluación también es necesaria y está bien aprovecharlos para mejorar las destrezas de dicho idioma.

Pedro Pascual Zahinos: es importante reflexionar sobre el papel de aspectos culturales en la enseñanza de idiomas, pero como contenidos que son, también sobre cómo evaluarlos en función de su utilidad para mejorar las destrezas del idioma.

Aplicación de procedimientos estadísticos para analizar los resultados de pruebas y poder mejorarlas.

Antes de la sesión:

Pilar Franco Naranjo y Antonio Romero Rodríguez pondrán a disposición del profesorado la bibliografía utilizada y los materiales del curso realizado en el Reino Unido.

Durante la sesión:

Los profesores se familiarizarán con procedimientos estadísticos para analizar los resultados de pruebas de evaluación y se sacarán conclusiones de cómo modificar las pruebas puede afectar a los resultados.

Se sacarán también las últimas conclusiones, en vista de lo aprendido en los dos años de formación, de cómo mejorar la práctica en evaluación a nivel de departamento y de centro.

Otras actuaciones particulares:

Mª del Rocío García Leiva: Análisis de resultados obtenidos y satisfacción del alumnado con la explotación del recurso audiovisual. Durante esta sesión se analizarán los resultados obtenidos durante cada uno de los trimestres, así como el progreso del alumnado y la satisfacción del mismo (mediante una encuesta que se pasará a tal efecto) a fin de poder seguir trabajando este recurso en cursos venideros. Igualmente, realizará una comparativa entre la rúbrica utilizada en las Pruebas Unificadas de Certificación y las utilizadas durante la presente formación.

Mayte Díaz Martín: tras la revisión de la bibliografía y experiencias compartidas por nuestros compañeros Antonio Romero y Pilar Franco en su curso de verano en Lancaster, será interesante aplicar todos esos conocimientos de estadística a nuestras propias evaluaciones, retomando las anteriores y sentando las bases para las de junio y septiembre.

Gema I. Espejo González: analizaré las tablas de evaluación y la guía del corrector de cursos anteriores para cotejar la información recibida por mis compañeros y valorar la eficacia de las PUCs en los años anteriores.

Rocío Zomeño Chaparro: tras todas las sesiones,será el momento de comparar y cotejar todo el material y todas las ideas expuestas y llegar a conclusiones sobre la mejor consecución del éxito en el  modo de introducir y evaluar los contenidos que se enseñan en las EEOOII.

Angel Díaz Cobo: la reflexión y el análisis de los procedimientos estadísticos necesarios para interpretar los resultados de una prueba de evaluación me serán de gran utilidad a la hora de diseñar las pruebas de evaluación de los cursos de no certificación que imparto, especíicamente en las competencias de comprensión (oral y escrita). El uso de dichos procedimientos me permitirá analizar estadísticamente los resultados obtenidos por los diferentes tipos de tareas que suelo usar en el aula y concluir cuáles de ellas son más adecuadas, válidas y prácticas para diseñar las pruebas de medición de dichas competencias.

Vanessa Aguilar Pinteño: los procedimientos estadísticos que espero aprender de mis compañeros me ayudaran a identificar si las tareas y las pruebas que diseño a lo largo del curso son válidas y fiables y miden las competencias del alumnado. Con todo lo aprendido durante la formación espero al menos poder identificar cuales son las  pruebas adecuadas para evaluar las diferentes competencias. 

Rosa Casanova Uyá: será interesante aprender cómo los procedimientos estadísticos pueden ayudar a entender lo que nos dicen los resultados de nuestros alumnos no sólo desde un punto de vista interno en el aula, como docentes, sino también a nivel de escuela, con el fin de comparar los resultados de las pruebas de certificación de otras escuelas. Asimismo considero de gran pertinencia una reflexión final del grupo sobre todo lo avanzado y aprendido en estos dos años.

Marina Torres Agudo: los cálculos estadisticos al final son necesarios para poder comprender mejor los resultados de los alumnos y poder aplicarlos para la mejora de la evaluación.

Pedro Pascual Zahínos: espero poder aplicar cálculos estadísticos a los resultados académicos de mis alumnos/as en la mejora de la práctica de la evaluación.

La bibliografía propuesta será la estudiada por los asistentes a los cursos del proyecto KA1. Se detallan algunos libros de consulta a continuación:

Douglas, D. 2010 Understanding Language Testing. Hodder Education.

Green, T. 2014 Exploring Language assessement and testing. Routledge.

Green, R. 2013. Statistical analyses for Language Testers. Palgrave. Mcmillan.

Fulcher, G. 2010 Practical Language Testing. Routledge

Fulcher, G. &Davidson, F. 2007 Language Testing and Assessment. London & New York: Routledge.