Evaluación del desempeño en lectura y escritura

Aportes empíricos a la noción de componentes lingüísticos en el cuarto grado de primaria

ALDO BAZÁN RAMÍREZ / SANDRA CASTAÑEDA FIGUEIRAS /

SILVIA MACOTELA FLORES / MERCEDES LÓPEZ VALENZUELA

Resumen:

Se evaluaron 139 niños de Sonora, México, de cuarto grado de primaria de nueve escuelas públicas, con un instrumento de 12 series de ejercicios agrupados en tres componentes lingü.sticos: reflexión sobre la lengua, lectura y escritura, derivados del plan y programas de estudios del español y los libros de texto gratuito para el cuarto grado de primaria. Los resultados muestran que el instrumento de evaluación posee validez convergente y divergente de constructor. Los resultados se discuten con base en los hallazgos obtenidos en un estudio anterior cuando los mismos niños estaban concluyendo el tercer grado de primaria (Bazán et al., 2004).

Abstract:

139 fourth graders from nine public elementary schools in Sonora, México, were evaluated by means of a test of twelve series of exercises grouped in three linguistic components –reflection on language, reading and writing– derives from the plan and programs of study for Spanish, and from the free text books for the fourth grade. The results show that the test has convergent and divergent validity of the construct. The discussion of the results is based on the findings from a previous study carried out when the same children were finishing the third grade (Bazán et al ., 2004).

 

La evaluación del aprendizaje es un tema que aún genera desacuerdos entre los especialistas y estudiosos de los problemas educativos, así como resistencias por parte de los maestros, directores de escuela y funcionarios educativos. Una de las razones de esta problemática ha sido confundir la evaluación de resultados del proceso de enseñanza-aprendizaje con el uso, casi exclusivo, de tests psicométricos o de otras pruebas estandarizadas. Al menos, son cinco los elementos que cuestionan la evaluación del aprendizaje escolar sólo a través de la aplicación de instrumentos estandarizados, baterías y tests:

• 1) miden las ejecuciones de los niños en situaciones artificiales apli- cando arbitrariamente estándares o criterios de desempeño;
• 2) omiten el uso de textos y elementos significativos para el niño y no fomentan el desarrollo de la capacidad crítica y creativa, ni el mane- jo de relaciones abstractas;
• 3) generan confusión de lo que es evaluación del desempeño académico con el uso y calificación de tests e instrumentos psicométricos per se;
• 4) reducen la práctica educativa a la elaboración, aplicación e interpre- tación de datos; y
• 5) sirven para determinar la promoción a grados o niveles educativos, o para determinar la aceptación o rechazo del aspirante (Díaz Ba- rriga, 1993; Guillet y Temple, 1986; Fernández Ballesteros, 1997; Ferreiro, 1999).

Concretamente, la confusión radica en que, en lugar de evaluar el apren- dizaje, lo que se hace es “medirlo” a través de la ejecución de los evaluados en tests o pruebas estandarizadas, con una marcada incidencia de la tradi- ción psicométrica. Por ejemplo, de ninguna manera se puede afirmar que se evalúa el aprendizaje de un estudiante exclusivamente con su ejecución en una prueba estandarizada de 20 o 30 preguntas.

El malestar, entonces, no apunta al uso en sí de los instrumentos sino al que se hace de los resultados, así como a los problemas de validez ecológica de los instrumentos que, muchas veces, incluyen actividades muy ajenas a eventos significativos y familiares a las situaciones de aprendizaje, espe- cialmente cuando fueron elaborados para evaluar a niños de otros países o de conocimientos y habilidades de otras lenguas. Por ello, un primer as- pecto que se debe delimitar es lo que implica una evaluación del aprendi- zaje y la medición como un elemento del proceso evaluativo.

La evaluación del aprendizaje es un proceso que implica decidir, con base en supuestos teóricos y los objetivos establecidos, el procedimiento, los instrumentos así como las condiciones para recoger información del desarrollo y logro de los objetivos del proceso de enseñanza-aprendizaje; definir el tipo de análisis de la información recogida, así como asumir juicios de valor. Es decir, se trata de un proceso de obtención de informa- ción –y de su empleo– para formar juicios que conducen a la toma de decisiones (TenBrink, 2002), que es lo que permitirá valorar los conteni- dos del aprendizaje (por ejemplo, programas temáticos), la forma en que los estudiantes aprenden, así como la identificación de las relaciones en- tre los sujetos y los contenidos que participan en el proceso educativo (Álvarez, 2001).

De acuerdo con Reimers (2003), esta evaluación es una forma par- ticular de investigación educativa, que se ocupa de describir y explicar diversos aspectos que inciden en las oportunidades de aprendizaje, para lo cual se relacionan distintos resultados educativos con los factores que influyen en el aprendizaje de los alumnos, y estas relaciones se utilizan para proponer o establecer la efectividad de programas o políticas que podrían afectar estas condiciones.

Por otra parte, el especialista en evaluación busca recoger evidencias en relación con las características y propiedades de los fenómenos que estudia –como es el caso del aprendizaje escolar– y para ello, por lo ge- neral, utiliza una serie de instrumentos y herramientas que le permiten contar con una mejor descripción de las propiedades relevantes de su objeto de estudio (Fernandez-Ballesteros, 1997). Estas propiedades o atri- butos de los objetos y eventos se expresan a través de la definición de constructos que pueden ser “identificados” en la respuesta de los estu- diantes en una prueba (Martínez y Moreno, 2002), o en la interacción de los alumnos con eventos u objetos en situaciones específicas, o bien, en los resultados esperados al diseñar y aplicar programas educativos. Cuando se asignan valores (puntuaciones numéricas) a esas características o propiedades representadas en constructos o indicadores, se dice que se está midiendo un comportamiento.

Es conveniente señalar que la medición –obtención de valores– sólo es uno de los elementos que el especialista debe tomar en cuenta al evaluar–analizar– el aprendizaje de los estudiantes en un determinado periodo, en ciertos contenidos temáticos, o bien, en situaciones concretas de aprendizaje. Precisamente, la elaboración y/o uso de instrumentos para la evaluación de resultados implica que tales instrumentos recojan evidencias confiables acerca de las propiedades y atributos definidos teóricamente, de tal modo que permitan obtener valoraciones flexibles de las diferencias individuales del desempeño en actividades cercanas al mundo real de los niños, así como captar, de manera genuina, el grado de dominio en actividades de lectura y escritura, de suposiciones, inferencias y deducciones matemáticas o habilidades científicas básicas.

De igual manera, el incremento del interés en la medición de re- sultados de aprendizaje también demanda el énfasis en los criterios de la validez, tanto de los instrumentos como de los constructos impli- cados en la medición, así como del proceso mismo de la evaluación de aprendizajes.

Una forma de evaluar el aprendizaje garantizando validez ecológica es elaborar y validar instrumentos tomando en cuenta tanto los planes como los programas de estudio, las actividades, aquellas situaciones de eva- luación implicadas en los libros de texto, así como los materiales de apoyo que se utilizan masivamente en el sistema educativo. Todo esto bajo una concepción global sobre la similitud entre las condiciones en las que el niño aprende, en las que ejercita estas competencias y las situa- ciones de evaluación; enfatizando la valoración del logro de los estu- diantes mediante pruebas o situaciones basadas en el currículum (Bazán et al., 2004; Carrasco, 2003; López y Rodríguez, 2003; Martínez y Schmelkes, 1999).

Por otra parte, también cabe destacar que en las dos últimas décadas la evaluación del aprendizaje ha tenido grandes cambios, mismos que alientan su desarrollo como un área necesariamente ligada con una teoría que sustente tanto los métodos de medición utilizados como las ca- racterísticas y propiedades a evaluar (Cole, 1993; Mislevy, 1993), tales son los casos de la evaluación adaptativa y la modelización generativa de respuestas.

En la evaluación adaptativa las pruebas no se diseñan con un carácter fijo para todas las personas sino que, más bien, los reactivos se seleccio- nan de un banco a partir de la información inicial, misma que se obtiene mediante el nivel de dominio de la habilidad o conocimiento que se pre- tende evaluar (Castañeda et al., 1993). Por su parte, la modelización generativa de respuestas supone una aproximación al diseño de pruebas desde la validación de constructos, donde los ítems son generados con- juntamente con la estimación de sus parámetros psicométricos en fun- ción de los intereses de evaluación de cada ocasión (Béjar, 1993; Martínez y Moreno, 2002).

Tales constructos –descriptivos o interpretativos– se derivan de eventos y de situaciones concretas y, por lo tanto, están sujetos a criterios de validez y de significancia, puesto que éstos no son arbitrarios ni son impuestos sobre los eventos por influencia de la tradición o capricho (Kantor, 1978). Tal proceso de hacer explícita una palabra abstracta en términos de variables observables se conoce como validación del constructo. De tal manera, bajo este supuesto es posible emplear una o más medi- das cuyos resultados se generalicen a una clase más amplia de indicadores que, legítimamente, empleen el mismo nombre –o constructo– (Nunnally y Bernstein, 1995).

De este modo, la validez de constructo se refiere a la garantía de que las variables empíricas son indicadores adecuados del concepto o mode- lo teórico a ser evaluado, sin embargo, las evidencias obtenidas al anali- zar la estructura de los constructos particulares sólo describen la utilidad de la teoría o enfoque con respecto a los mismos y no evalúan la verdad de una teoría en sí, ni permiten decir que los eventos o acontecimientos sobre los que se elaboran sean, en sí mismos, constructos (Kantor, 1978; Nunnally y Bernstein, 1995).

Retomando lo anterior, y con base en los planteamientos de Martínez y Moreno (2002), se puede considerar que la elaboración y/o aplicación de instrumentos para “medir” y evaluar el aprendizaje se encuentra necesaria- mente relacionada con la teoría que subyace a dichos instrumentos y a los constructos o variables que el especialista pretende medir, e implica tres condiciones necesarias:

 

• delimitación teórica del constructo a medir a partir de la abstrac- ción de alguna propiedad de los objetos o fenómenos bajo estudio;
• desarrollo de un diseño de observación –o recolección– que operativice la noción teórica respecto de dichos constructos mediante la cons- trucción de un instrumento de medición; y
• aplicación de modelos matemáticos para obtener medidas de la pro- piedad o constructos a partir de la ejecución de determinadas ta- reas o respuestas recogidas con los

Las tres condiciones anteriores son elementales e insustituibles para aportar indicadores valiosos en la evaluación del aprendizaje. Un ins- trumento basado en complejos sistemas informáticos para la recolec- ción y/o análisis estadísticos sofisticados, pero desligados de una teoría o modelos teóricos que la sustenten, poco podrá contribuir a la conso- lidación de una teoría de la evaluación, y a una práctica evaluativa in- tegral que permita conocer, por lo menos, una buena parte del aprendizaje de los estudiantes.

En este estudio se analiza la validación de constructo de un instrumen- to de evaluación elaborado con base en el documento Programas de estudio de español y las actividades incluidas en los libros de texto gratuito en el cuarto grado de primaria. Cabe mencionar que en la enseñanza y aprendi- zaje del español en los seis grados de primaria en México, los contenidos y actividades son organizados en cuatro componentes: expresión oral, lectu- ra, escritura y reflexión sobre la lengua (Gómez Palacio y Martínez, 2000; SEP, 2000 a y b).

Un antecedente directo es el estudio de Bazán et al. (2004), quienes evaluaron a 235 niños de Sonora y a 92 del Distrito Federal, con un ins- trumento de 17 series de ejercicios agrupados en tres componentes (re- flexión sobre la lengua, lectura y escritura). Utilizando análisis factorial exploratorio y confirmatorio, los autores sólo obtuvieron un modelo de dos componentes (reflexión-lectura y escritura) y únicamente fueron con- firmadas 12 de las 17 series de actividades.

Derivado del hallazgo anterior, en la presente investigación se buscó obtener validez, tanto convergente como divergente, de constructo de un instrumento para evaluar el dominio de la lengua escrita en el cuarto grado de primaria, en 12 series de ejercicios, agrupados en tres compo- nentes lingüísticos: reflexión, lectura y escritura, con ejercicios muy si- milares a las 12 series utilizadas para evaluar competencias lingüísticas en el tercer grado.

 

Descargar artículo completo