FORMACIÓN DE CODIFICADORES Y FIABILIDAD DE LOS REGISTROS. UNA APLICACIÓN AL GOALBALL

Muñoz, J.^1,2; Gamonales, J.M.¹; León, K.^1,2e Ibáñez, S.J.¹

¹ Facultad de Ciencias de la Actividad Física y el Deporte. Universidad de Extremadura (España) suliwan@unex.es, martingamonales@unex.es, fleon@unex.es, sibanez@unex.es

jesus.munoz@uautonoma.cl, francisco.leon@uautonoma.cl 

² Universidad Autónoma de Chile (Chile) jesus.munoz@uautonoma.cl, francisco.leon@uautonoma.cl 

AGRADECIMIENTOS Y/O FINANCIACIÓN

Trabajo desarrollado dentro del Grupo de Optimización del Entrenamiento y Rendimiento Deportivo (G.O.E.R.D.) de la Facultad de Ciencias del Deporte de la Universidad de Extremadura.

Este trabajo ha sido parcialmente subvencionado por la Ayuda a los Grupos de Investigación (GR15122) de la Junta de Extremadura (Consejería de Empleo e Infraestructuras); con la aportación de la Unión Europea a través de los Fondos Europeos de Desarrollo Regional (FEDER).

Código UNESCO / UNESCO code: 5899 Educación Física y Deportiva / Physical Education and Sports

Clasificación Consejo de Europa / Council of Europe classification: 5. Didáctica y metodología / Didactics and methodology 17. Otras: Procesos de percepción / Others: Perception processes

Recibido 13 de enero de 2017 Received January 13, 2017

Aceptado 11 de septiembre de 2017 Accepted September 11, 2017

Muñoz, J.; Gamonales, J.M.; León, K. e Ibáñez, S.J. (2018)Formación de codificadores y fiabilidad de los registros. Una aplicación al goalball / Training of Coders and Reliability. An Application to the Goalball. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte vol. 18 (72) pp. 669-691.

DOI: http://doi.org/10.15366/rimcafd2018.72.005

RESUMEN

El propósito de este artículo es describir el proceso de formación y evaluación de la fiabilidad inter-observador de los cinco codificadores participantes en un estudio sobre el análisis del rendimiento competitivo en goalball de alta competición. Los codificadores participaron en un proceso de formación consistente en seis sesiones presenciales en grupo y cuatro ejercicios prácticos individuales y no presenciales, distribuidos en tres fases; Teórica, Práctica y de Entrenamiento. Tras las dos primeras se procedió al cálculo de la fiabilidad durante el desarrollo de la fase de entrenamiento a través de la prueba Multirather Kappa Free, obteniendo finalmente un nivel de fiabilidad inter-observador casi perfecto (>0,86) en todas las variables definidas para el estudio, lo que permitió la codificación de las acciones de los partidos registrados de Goalball que conformaron la muestra del mismo.

PALABAS CLAVES: goalball, metodología observacional, fiabilidad, formación de observadores, deportes de equipo.

 

ABSTRACT

The purpose of this paper is to describe the training process and inter-rather reliability evaluation of five coders involved in a research about performance analysis of sport in goalball. The coders participated in a training process, consisted of six face-to-face sessions and four individual exercises, distributed in three phases; Theoretical, Practical and training. After the first two phases, reliability was measured during the development of training period using Multirather Kappa Free. Finally, an almost perfect level of inter-rather reliability (>.86) was obtaining in all variables defined for the research, allowing codificate all goalball match actions that formed the sample.

KEY WORDS: goalball; observational methodology; reliability; training of coders; team sports.

INTRODUCCIÓN

El análisis del Rendimiento Deportivo tiene por objetivo avanzar en el conocimiento del contexto de juego con vistas a mejorar los resultados futuros (McGarry, 2009) durante el entrenamiento o la competición. Dentro del Análisis del Rendimiento Deportivo se incluyen todas las investigaciones que analizan el rendimiento deportivo (Hughes & Bartlett, 2002). Cada vez son más, los investigadores que utilizan este análisis ya que facilita la toma de decisiones directivas por parte de los entrenadores, ofreciendo una realidad objetiva del juego, en competición infantil (Ureña, Morales-Rojas, León & González, 2014), amateur (García, Ibáñez, Parejo, Feu & Cañada, 2011; Ortega, Fernández, Ubal, Lorenzo & Sampaio, 2010) o profesional (Blanco, Ibáñez, Antúnez & Hernández-Mendo, 2014; Ohnjec, Vuleta, Milanović, & Gruić, 2008; Volossovitch, Dumangane, & Rosati, 2012). Este tipo de estudios permite observar las conductas que influyen en el rendimiento deportivo en condiciones de calidad, fiabilidad, validez y precisión (Salas & Hernández-Mendo, 2016), o realizar análisis sincrónico o concurrente a una fase concreta de estudio (Hileno & Buscá, 2012). Por tanto, coincide con uno de los aspectos más relevantes en el análisis del rendimiento deportivo, que no es otro que mostrar la capacidad del estudio para obtener resultados significativos referentes al contexto de la investigación, a través del registro riguroso de las variables definidas previamente.

En este proceso intervienen los observadores-codificadores, que son los responsables de identificar todas las acciones que se desarrollan en cada contexto analizado. Este procedimiento es aplicado en diferentes campos de investigación y no solamente en el ámbito del deporte. González-Díaz & Iglesias-García (2015) plantean el proceso de trabajo y entrenamiento de los codificadores aplicado a un proyecto de investigación sobre la publicidad de alimentos. En el ámbito de la atención temprana, Trenado, Pons-Salvador & Cerezo (2014) estudian la fiabilidad de la medida que genera el sistema CITMI-R (Sistema de Codificación de la Interacción Temprana materno-infantil) en su versión inglesa, incluyendo el procedimiento de entrenamiento de los observadores.

La base del Análisis Notacional aplicado al estudio de los indicadores del rendimiento deportivo es la observación. En investigaciones que utilizan metodología observacional al tratarse de observaciones realizadas por personas y, por tanto dependientes de interpretaciones subjetivas, es fundamental asegurar que los registros tenga el mayor nivel de validez y fiabilidad posible, con el objetivo de garantizar la objetividad de los datos recogidos. De esta forma la investigación cumple con sus fines y propósitos con eficacia y rigor, como se muestra en numerosos trabajos para el análisis de la acción del juego en el deporte, que tienen una validez científica constatada y verificada (Anguera, 1991) así como por el relevante crecimiento constante y sostenido de la utilización de la metodología observacional en la última década en el ámbito deportivo (Anguera & Hernández-Mendo, 2013, 2014). Por tanto, esta metodología se adapta correctamente para resolver los problemas de estudios que surgen en la educación física y el deporte (Blanco et al., 2014). En este contexto surge la figura del observador como elemento imprescindible y fundamental (Arias, Argudo & Alonso, 2009a, 2009b).

El observador, no se puede considerar una herramienta como tal, pero sí se concibe como un individuo formado para la evaluación de la realidad de conductas perceptibles, y tiene una participación activa en el proceso de observación (Arias et al., 2009a; Anoz, García & García, 2004; Piñar, 2005). Anguera, Blanco-Villaseñor, Losada & Hernández-Mendo (2000) ponen de manifiesto la necesidad de realizar un adiestramiento de los observadores, para el cual existen distintas propuestas (Medina & Delgado, 1999; Losada & Manolov, 2014). La formación del observador se debe concebir como un proceso a través del cual, las personas encargadas de observar adquieren una madurez conceptual, empírica y tecnológica que le permite llevar a cabo la observación (Anguera, 2003). Tras el entrenamiento teórico, los observadores son sometidos a una evaluación práctica utilizando coeficientes de concordancia o asociación. Según O´Donoghue (2007) un importante número de métodos de análisis del rendimiento emplean técnicas no automatizas para la recogida de datos, que pueden propiciar la aparición de errores que limiten la fiabilidad de los resultados obtenidos.

Desarrollar un programa de entrenamiento de codificadores riguroso con la finalidad de determinar la fiabilidad y la objetividad del proceso es importante (Brewer & Jones, 2002). Esta validez y fiabilidad deben garantizar adecuadamente que los datos recogidos son un reflejo real del rendimiento del contexto analizado. Para ello, se hace imprescindible seleccionar herramientas estadísticas necesarias que puedan ser usadas para el análisis, con el fin de llevar a cabo el estudio de fiabilidad coherente (Hughes, Cooper & Nevil, 2002). Además, la fiabilidad debe reflejar el camino por el cual los datos notacionales son analizados, de forma que las medidas puedan ser hechas en relación a la variables y así presentar los resultados codificados de forma precisa (James, Taylor & Stanley, 2007). En este sentido, diferentes trabajos han adaptado la propuesta de formación de codificadores de Medina & Delgado (1999) para contextos específicos deportivos como el waterpolo (García, Argudo & Alonso, 2007), el baloncesto (Arias et al., 2009a), el voleibol (Moreno, & et al., 2002) para ámbitos docentes (Viciana, 1999) o que plantean la fiabilidad de los observadores en función de su experiencia y formación (Denis, Lortie & Bruxelles, 2002). Igualmente, hay trabajos que mencionan el proceso de formación de los codificadores pero no desarrollan el procedimiento seguido (Chillón & Delgado, 2012; Ortega et al., 2010; Salas & Hernández-Mendo, 2016; Ureña et al., 2014).

El Análisis Notacional dentro de la Ciencias del Deporte está demostrando ser una herramienta útil para la mejora del rendimiento competitivo, siempre que se desarrolle de forma adecuada, pues es un método que permite registrar y analizar situaciones dinámicas complejas (Hughes & Franks, 2005). Permite, entre otras aplicaciones, estudiar movimientos generales o patrones de movimiento en deportes de equipo, relacionados principalmente con la táctica y la estrategia (Bartlett, 2001). Esta cuestión de vital importancia hace que sea necesario que las investigaciones pasen por una serie de fases, que comienza por la correcta definición de las variables del contexto deportivo a observar. Posteriormente, y según Anguera (2003) el proceso debe seguir dos etapas: la primera es la de entrenamiento de los codificadores, que permita aumentar el conocimiento de los aspectos básicos y del funcionamiento del proceso. Durante la segunda etapa, de adiestramiento, la formación específica se enfoca en mejorar el conocimiento de los aspectos básicos del proceso de observación. Después, de forma consecutiva a las dos etapas propuestas, es necesario medir de forma objetiva que se ha obtenido un acuerdo elevado entre los codificadores. Para esto se debe utilizar pruebas estadísticas que calculen la validez y fiabilidad intra o inter-observador en relación a las conductas a observar, definidas por las variables y sus respectivas categorías.

La metodología observacional se está empleando para mejorar el conocimiento de ámbitos concretos del deporte, como es el caso del Goalball, deporte de equipo específico creado para personas con discapacidad visual que se basa en la audición y en el tacto (Gulick & Malone, 2011). Tras una rigurosa revisión de la literatura científica en torno al uso de la metodología observacional en el tópico del análisis del rendimiento deportivo en goalball, se aprecia que en comparación con otras modalidades los estudios desarrollados son pocos pero recientes, lo que implica que es un campo de conocimiento incipiente que está comenzando a generar el interés científico actual. Abdolmaleki, Mirzazadeh, Allahyari & Ramezani (2015) emplea un cuestionario propio con el fin de describir los factores que influyen en el rendimiento relacionados con la técnica, el equipo, la experiencia de los jugadores y de los entrenadores. Otros estudios se centran en el análisis de los sistemas defensivos y ofensivos en Goalball, como es el caso de Amorím, Botelho, Sampaio, Molina & Corredeira (2010), Tosim, Junior, Leitão & Simões (2008a), Tosim, Massolli & Beltrao (2008b). Por otro lado, Owen (2014) identifica los indicadores de rendimiento utilizando un análisis de regresión basado en O’Donoghue & Cullinane (2011) de manera específica para el Goalball. En este sentido destaca el estudio de Molik et al., (2015) que describe el rendimiento del juego en Goalball en relación con las características antropométricas de jugadores de élite mediante el uso de una hoja de Eficiencia de Juego o el de Morato, Da Cunha, Gamero, Magalhães & Almeida (2016) desarrollan y evalúan un sistema de observación para el análisis de Goalball utilizando la MO sistemática a través de observadores expertos. Weber & Link (2016) desarrollan un software para el análisis de las jugadas de Goalball (GoalScout, GoalView y GoalTracK).

Sin embargo, en la mayoría de estos trabajos no se detalla el proceso de formación de los codificadores y fiabilidad de los registros. Por ello, el objetivo de esta investigación es mostrar y describir el proceso de formación de los observadores participantes en un estudio sobre los Indicadores de Rendimiento en Goalball mejorando los procedimientos descritos en la literatura. Este objetivo general, se concreta en dos objetivos específicos: i) diseñar un proceso de formación de codificadores; ii) analizar la fiabilidad de los observadores.

MÉTODO

Diseño

Se trata de un diseño de investigación perteneciente a los estudios instrumentales (Montero & León, 2007), donde se desarrolla un proceso de formación de codificadores involucrados en la definición de las variables y categorías a observar. Es por tanto un trabajo que incluye tanto el diseño como el estudio de las propiedades de los datos analizados (Servera & Cardo, 2006). Busca una metodología de entrenamiento de observadores que asegure la fiabilidad en la recogida de datos y, por lo tanto, puede resultar un proceso útil para ser utilizado en diferentes contextos y líneas de investigación relacionadas con las Ciencias de la Actividad Física y el Deporte, y en concreto con la modalidad deportiva del Goalball.

Participantes

Para el presente estudio se seleccionaron cinco observadores de forma deliberada e intencional (Anguera, 2003; Rodríguez, Gil & García, 1996). Se trataba de sujetos expertos capaces de transmitir conocimientos e informaciones acerca del objeto de estudio, así como realizar valoraciones al respecto que pueden provocar reflexiones y servir de ayuda al investigador (Escobar & Cuervo, 2008), y además accesibles (Valles, 2003). Los sujetos seleccionados para formar parte de la muestra de observadores debían cumplir los cincos criterios de inclusión establecidos:

Primer criterio. Mostrar interés en el estudio.

Segundo criterio. Poseer una titulación universitaria relacionada con la Actividad Física y el Deporte (Licenciatura / Graduado en Ciencias de la Actividad Física y del Deporte).

Tercer criterio. Tener formación específica por haber superado las asignaturas específicas relacionadas con la actividad física para personas con discapacidad del título universitario.

Cuarto criterio. Haber practicado de forma inclusiva o divulgativa la modalidad deportiva, Goalball.

Quinto criterio. Comprometerse a realizar la observación, registro y codificación de los partidos asignados.

Estos criterios, buscan que los codificadores tengan un conocimiento previo con la actividad física y el deporte adaptado, así como la modalidad deportiva del Goalball y, por tanto, un conocimiento de sus características y funcionamiento. Los cinco sujetos seleccionados cumplían con los criterios establecidos.

Variables

 

Las variables a observar por los codificadores, así como sus categorías, también denominados Núcleos Categoriales, con sus respectivos Rangos de Apertura (Anguera, 1991), han seguido el procedimiento propuesto por Anguera & Hernández-Mendo (2013). Es decir, han sido planteadas tras un estudio previo, en consenso con un comité de expertos (entrenadores de nivel nacional e internacional y docentes de universidad, expertos en deporte y discapacidad), tratando de definir de forma precisa cuáles eran las acciones motrices determinantes susceptibles de ser observadas.

Las variables observadas por los codificadores se agruparon en bloques. El primero para las de carácter ofensivo, formado por seis variables relacionadas con las acciones técnico-tácticas ofensivas, concretamente el jugador implicado en el lanzamiento, la zona de comienzo, la de finalización, la técnica de lanzamiento, el tipo de lanzamiento y el resultado del lanzamiento. El segundo bloque agrupa las variables de carácter defensivo, en concreto seis relacionadas con acciones técnico-tácticas defensivas como el sistema defensivo, el jugador implicado en defensa, el tipo de posición defensiva, el tipo de defensa, la zona donde se produce la acción y el resultado de la acción defensiva. Las variables serán usadas para el análisis de los indicadores de rendimiento (O´Donoghue, 2010). Todas se categorizan de forma numérica, con la finalidad de facilitar su registro y posterior análisis estadístico. Además, de esta forma, se facilita que sean fácilmente observadas y registradas por los codificadores durante el proceso de formación.

 

Materiales

Para el proceso de formación de codificadores y observación de partidos, así como para su registro, codificación y tratamiento de los datos, se utilizó: una Plataforma virtual en entorno Moodle; un manual de presentación (donde se describen las infracciones del juego así como las variables a observar en el estudio), vídeos de los partidos de Goalball; software de análisis de la fiabilidad (Randolph, 2005); y servicio de alojamiento de archivos en la nube.

Procedimiento

Para diseñar y elaborar un proceso de formación de codificadores para la valoración de las acciones técnico-tácticas ofensivas y defensivas en el Goalball es necesario seguir un procedimiento metódico, en el cual, hay que tener en cuenta muchos factores tales como la revisión bibliográfica, diseño y elaboración del procedimiento, selección de la muestra, envió de la documentación, recogida y análisis de los datos, y elaboración definitiva del instrumento (Gamonales, León, Muñoz, González-Espinosa & Ibáñez, 2017).

Por tanto, teniendo en cuenta lo citado anteriormente, y el planteamiento de Medina & Delgado (1999) se involucró a los codificadores durante su proceso de formación para la recodificación de las categorías a observar, con el fin de mejorar de forma constructiva algunas de las propuestas de formación de codificadores existente en la literatura científica (Arias et al., 2009a; Moreno et al., 2002). Igualmente, para diseñar el proceso de formación de los codificadores, se tuvo en cuenta las fases de entrenamiento y adiestramiento sugeridas por Anguera (2003). Este proceso se dividió en dos momentos: la Selección de los codificadores y el Proceso de formación de los mismosy la evaluación de la fiabilidad inter-codificador. En la figura 1 se muestran las fases que debieron seguir los investigadores y los codificadores durante el proceso de formación.

Los codificadores disponían de las variables y las categorías definidas previamente y revisadas por el grupo de expertos, lo que permite simplificar el proceso, obviando la división en las dos fases que estos autores plantean (preparatoria -con dos subfases- y entrenamiento). Por tanto, en el proceso de formación y entrenamiento de los observadores del presente estudio, se plantean finalmente tres fases, desarrolladas en el entorno de la plataforma virtual Moodle:

1) Fase de Formación teórica, para adquirir conocimientos en torno al contexto deportivo en general y las variables del estudio en particular. Para esta fase se diseñan específicamente instrumentos que aproximen de forma efectiva a los codificadores a la realidad del contexto a observar. Se desarrollan diferentes tipos de documentos tanto en formato de vídeo, screencast y fragmentos de partidos, como presentaciones. En la tabla 1 se muestran los instrumentos desarrollados y empleados durante la fase de Formación Teórica.

Esta fase se desarrolla en su totalidad de forma presencial, en jornadas formativas divididas en seis sesiones, de 40 o 60 minutos según el contenido. En la Tabla 2 se muestra la distribución de contenidos y materiales de las sesiones formativas presenciales.

Para el desarrollo de la jornada de formación se utiliza un ordenador con pantalla de gran formato, y se distribuye a los codificadores en torno a la misma. Cada una de las sesiones se desarrolla con la siguiente estructura: el investigador principal muestra el contenido apoyándose de las presentaciones previamente preparadas así como de imágenes del campeonato. Durante la explicación los codificadores realizan preguntas para aclarar conceptos. Luego se hacen ejercicios prácticos de codificación de situaciones reales en torno a los cuatro bloques de variables concretas que conforman el estudio; variables contextuales, ofensivas, defensivas y de resultado, que se van presentando en cada sesión. Estos ejercicios consisten en visualizar y codificar bloques de diez acciones de forma individual, que va proyectando el investigador principal. Por último, cada sesión finaliza con la corrección y los comentarios en grupo de cada uno de los ejercicios planteados, incidiendo sobre aquellas acciones que suscitan dudas.

2) Fase de Formación práctica. Tiene la finalidad de analizar las imágenes y conseguir un alto índice de fiabilidad inter – codificador en las observaciones registradas. A partir de esta etapa, la estructura de cada uno de los ejercicios, tanto de la fase de práctica, como de la fase de Entrenamiento es similar, incluyendo todas las fases los mismos recursos. En la Tabla 3 se muestran los espacios permanentes de la Plataforma virtual en entorno Moodle para intercambiar información y registrar de los datos.

3) Fase de entrenamiento individual en la que, de forma progresiva, se evalúa la fiabilidad y se realizan las correcciones y ajustes necesarios, con tres finalidades: facilitar el acceso inmediato a los materiales necesarios para la formación; poner en común a través de foros virtuales, las dudas que pudieran surgir; realizar y almacenar los ejercicios que cada codificador completa durante las dos fases. Por último, exponer de manera general que las sesiones de formación que se desarrollan son de dos tipos: presenciales en grupo y no presenciales individuales (Tabla 4).

Análisis estadístico

La evaluación de la fiabilidad de los datos recogidos por los codificadores se desarrolló mediante estadístico Multirather Kappa free (en adelante MKF), variante del coeficiente Kappa (Cohen, 1960), y que es una herramienta específicamente diseñada para valorar la fiabilidad (Randolph, 2005) cuando hay más de dos codificadores que tienen que observar variables que cuentan con más de dos categorías y donde los observadores no están obligados a asignar un número de casos a cada categoría (Brennan & Prediger,1981). Los valores de Kappa pueden variar desde -1,00 hasta 1,00, siendo el valor aceptable del acuerdo entre codificadores del coeficiente Kappa variable dependiendo de los autores (James & et al., 2007). Landis & Koch (1977) establecen una nomenclatura cuando se describe el nivel relativo de acuerdo asociado con el estadístico Kappa (Tabla 5).

La etiquetas propuestas por Landis & Koch (1977) se emplearon para describir el grado de consenso entre los observadores durante el periodo de formación. Por otro lado, Randolph (2005) señala que un valor del estadístico MKF de 0,70 o superior indica un alto grado de acuerdo entre codificadores. Este es el valor que se estableció como necesario en la fiabilidad inter-codificador del presente estudio. Por último, se calculó el promedio de la fiabilidad de los datos recogidos por los codificadores en las variables defensivas y ofensivas, así como de manera global. Esto sirve para comprobar si el proceso de formación de los codificadores que se está evaluando es adecuado.

RESULTADOS

En la Tabla 6 se muestra la evolución del grado de acuerdo obtenido en los ejercicios de la fase de entrenamiento para las variables de las acciones técnico – tácticas ofensivas y defensivas. Esta fase se desarrolló con un aumento progresivo en el número de acciones a analizar hasta llegar a un partido completo que es similar a las unidades de observación.

 

En la mayoría de las variables el nivel de acuerdo es alto desde el inicio. En otras, a través de la fase de entrenamiento, se logra mejorar notablemente sus resultados hasta superar ampliamente el valor de 0,70 establecido por Randolph (2005) como significativo. Tan solo en la variable Técnica defensiva, después de todo el proceso no se llega a obtener más de 0,70, lo que indica un nivel de acuerdo inter-observador bajo para el valor de referencia establecido en este estudio, a pesar de ser “sustancial” según la nomenclatura de Landis & Koch (1977). Con el objetivo de alcanzar un mayor nivel de concordancia, y teniendo en cuenta el origen de los errores entre observadores planteado por James et al., (2007) y Anguera (1988) se desarrolló un proceso de recodificación y/o nueva definición de las variables afectadas, como se puede observar en la Figura 2.

En la tabla 7 se muestran la evolución de la fiabilidad de los datos recogidos por los codificadores durante los ejercicios prácticos y de entrenamiento.

Durante el proceso de formación se aprecia una mejora parcial y total de la concordancia entre los codificadores.

DISCUSIÓN

Existe diferentes trabajos que adaptan la propuesta de formación de codificadores de Medina & Delgado (1999), detallando las diferentes fases seguidas en el proceso (Arias et al., 2009a; García et al., 2007; Viciana, 1999; Denis et al., 2002; Moreno et al., 2002). Sin embargo, otros mencionan el proceso de formación de los codificadores pero no detallan con claridad y precisión el procedimiento seguido para definir las sesiones, el número de codificadores, o los errores frecuentes (Chillón & Delgado, 2012; Ortega et al., 2010; Salas & Hernández-Mendo, 2016; Ureña et al., 2014). Por otro lado, en relación a la modalidad objeto de este estudio, el Goalball, los trabajos que existen en la literatura no aportan información detallada sobre el proceso de formación (Amorím et al., 2010; Morato et al., 2016) ni de evaluación de la fiabilidad inter-observador (Abdolmaleki et al., 2015; Molik et al., 2015; Oliveira & De Martino, 2012; Owen, 2014; Tosim et al., 2008a; Weber & Link, 2016). Algunos autores justifican esta falta de concreción por la complejidad del proceso, argumentando la imposibilidad de explicar no solo la formación sino también las pruebas de fiabilidad desarrolladas (O´Donoghue, 2010). Esto supone una carencia de información relevante con respecto al proceso formación de los codificadores (Arias et al., 2009a), lo que para Anguera (1988) puede ser una fuente de error en el empleo de la Metodología Observacional.

La finalidad de este trabajo es analizar los índices de fiabilidad obtenida entre los diferentes sujetos sometidos a un proceso de formación de codificadores. La formación de observadores desarrollada en el presente estudio cumple con las premisas de Medina & Delgado (1999) y Anguera (2003), considerando las siguientes fases: Formación Teórica, Formación Práctica y Entrenamiento Individual.

1) Fase de Formación Teórica

En esta primera fase se hace referencia a la formación de codificadores, asumiendo su participación puntual en la redefinición de las variables y categorías a observar, donde tiene especial importancia la concreción del número de sesiones planteadas para el proceso. Algunos autores del ámbito de la Actividad Física y el Deporte plantean un proceso de formación presencial de codificadores limitado a tres sesiones de unos noventa minutos aproximadamente (Moreno et al., 2002), siete sesiones con variabilidad de duración por sesión, mínimo una hora y máximo tres (Arias et al., 2009a), doce según Blanco et al. (2014) o quince sesiones sin especificar la duración de cada sesión (Medina, 1996). Sin embargo, Viciana (1999) expone que el número de sesiones será variable en función de los contenidos a programar. En su estudio realizó concretamente doce sesiones, cuatro para cada fase. Por último, Usuabiaga, Castellano, Blanco-Villaseñor & Casamichana (2013) realizan un plan de entrenamiento de cuatro semanas (treinta horas) o al igual que todos los autores a partir de un protocolo de observación diseñado. En otros campos de estudio, la propuesta de formación consta de cinco sesiones de cuatro horas de duración (Trenado et al., 2014). Esto pone de manifiesto la importante variabilidad en la definición del número y la duración de las sesiones.

Sin embargo, en el presente trabajo, se opta por un número de sesiones condicionado por los contenidos del estudio, de manera que se estructuró en seis sesiones. Este supone un número suficiente para desarrollar el objetivo propuesto por Medina & Delgado (1999) en la fase de formación de los codificadores, permite familiarizar al observador con la conducta o comportamiento a observar, hacerle partícipe del proceso de elaboración de las categorías que conformarán el esquema de observación y darle a conocer el tipo de registro que va a tener que realizar durante el proceso de observación. Además, las sesiones se orientaron para que fueran lo más productivas, participativas y clarificadoras posible con una duración máxima de sesenta minutos para evitar fatiga que provocase pérdidas de atención y concentración de los codificadores.

Por otro lado, el número de codificadores que intervienen durante el proceso de formación varían según los autores. La selección del grupo de codificadores es clave para que el procedimiento de recogida sea un éxito, así como que sean los más adecuados para el estudio. Medina (1996) propone que ocho sujetos a entrenar es un número adecuado para formar y conseguir la suficiente fiabilidad inter-codificador. Viciana (1999) emplea a quince observadores (divididos en tres grupos de cinco), todos estudiantes de la licenciatura de Educación Física. Moreno et al. (2002) seleccionan diez codificadores sin especificar los requisitos de participación en el estudio, Arias et al. (2009a) cuatro sujetos noveles de diferentes ámbitos académicos además de un experto y Hernández-Mendo, Montoro, Reina & Fernández (2012) seleccionan seis personas, divididas en dos grupos de para realizar observaciones no planificadas y sistemáticas. En el estudio de Usuabiaga et al. (2013) participaron ocho parejas de observadores, de los cuales dos fueron excluidos por no completar el plan de entrenamiento. Por último, el estudio de Casal, Losada & Ardá (2015) incluyó a cuatro codificadores. Otros trabajos no citan el número de codificadores, a pesar de especificar que los codificadores siguieron un entrenamiento (Jiménez & Hernández-Mendo 2016; Morillo & Hernández-Mendo, 2015).

En el presente estudio se estableció como criterio de participación la presencia de cinco codificadores, pues era un número suficiente para asegurar la correcta recogida de los datos, además de poder afrontar alguna posible baja circunstancial durante el proceso, asegurando la correcta recopilación de todos los datos de la muestra. Todos los sujetos eran capaces de transmitir conocimientos e informaciones acerca del objeto de estudio. Los criterios de selección del estudio muestran similitudes con respecto a los de otros trabajos como el de Medina (1996), es decir, se seleccionaron profesionales de la Actividad Física y el Deporte, con formación inicial y conocimientos suficientes sobre el tema de estudio. El nivel académico de los observadores que participaron en este trabajo es mayor que el de los participantes del estudio de Viciana (1999), puesto que contaban con una acreditación académica que aseguraba un nivel competencial específico. Por otro lado, al igual que se plantea a los codificadores del estudio de Arias et al. (2009a), se les demandó interés y compromiso para realizar la observación, el registro y la codificación de los partidos asignados.

Por tanto, esta fase tiene el objetivo de que los codificadores conozcan desde el primer momento el plan de observación, minimizando dudas o imprecisiones sobre el proceso. Por este motivo es importante seleccionar codificadores responsables y comprometidos con el estudio. De esta manera, se evita fallos en el procedimiento (Anguera et al., 2000) y abandono de los codificadores. Es importante que al finalizar una sesión, se facilite a todos los observadores las imágenes de vídeo y archivos necesarios para poder afrontar el resto de sesiones de la primera fase. De esta manera, la observación contará con un sistema de retroalimentación continua y, por tanto, constituirá un método destinado a representar lo más fielmente posible lo que ocurre en el contexto observado (Pieron, 1986). 

 

2) Fase de Formación Práctica

 

Esta etapa “ha de estar constituida por actividades prácticas que ayudarán a los observadores a conocer cómo deben realizar los registros durante el proceso de observación” (Medina & Delgado, 1999). La fase práctica del proceso de formación de los codificadores se planteó siguiendo un criterio básico de simplicidad, basado en ejercicios individuales en los que analiza y codifica un número predeterminado de lanzamientos del mismo campeonato objeto de estudio. No se incluyen en el análisis las variables contextuales. Estas sesiones de entrenamiento se programan de manera progresiva, incrementando paulatinamente su número, tal como plantea Medina (1996).

Con este ejercicio, se inicia la evaluación del nivel de acuerdo inter-codificador, que posteriormente se desarrollará para estudiar la fiabilidad y la validez. En el primer ejercicio de la fase práctica (Vid04), que contaba con veinte lanzamientos. Se aprecia que la mayoría de las variables tienen un alto grado de acuerdo (>0,70), siguiendo a Randolph (2005), a excepción de las variables V30 y V1D. Esto significa la existencia de dudas y/o errores por parte de los codificadores. Según Anguera (1988) las fuentes de error a las que se ven sometidos los observadores pueden resolverse mediante una buena planificación y adecuado adiestramiento de los mismos. Por tanto, tras la conclusión del ejercicio se facilitó un informe de resultados y recomendaciones.

Este proceso se planteó también en la fase de entrenamiento individual. Estos informes tienen como finalidad identificar y resolver los errores de las variables sin falta de acuerdo, así como mejorar la comprensión de las categorías, centrándose en reconducir la situación y evitar errores futuros. Cada fase debe evolucionar según la estrategia de formación que se emplee Viciana (1999), por lo que se optó por recordar a los codificadores los principales aspectos a tener en cuenta antes de comenzar cada ejercicio. De esta manera, se evitan posibles errores en las codificaciones. Además, es importante considerar que los medios técnicos utilizados en el proceso de formación de codificadores y fiabilidad de los registros deben favorecer el trabajo de los observadores (Anguera, 1988), razón por la cual para esta fase se empleó la plataforma Moodle que permitía aportar toda la información y los recursos necesarios necesaria para el correcto desarrollo del proceso, así como recopilar su trabajo. Todo planteado sobre la base de que un adecuado entrenamiento de codificadores otorga a la investigación un mayor grado de objetividad y credibilidad (Medina, 1996)

3) Fase de Entrenamiento Individual

En esta fase los ejercicios de observación se vuelven a realizar de forma individual, evaluando la fiabilidad de cada uno, al tiempo que se realizan las correcciones y los ajustes oportunos mediante el informe de resultados y recomendaciones. Se aumentó de manera progresiva el número de acciones ofensivas y defensivas a observar, concretamente 30 en el “Vid05”, 40 en el “Vid 06” y todas las acciones de la mitad de un partido en el “Vid07”. Al igual que en las fases anteriores, los codificadores subían un archivo con los resultados de las observaciones de cada ejercicio al un lugar específico dentro de la plataforma Moodle, donde también podían platear dudas en los distintos foros habilitados para ello. Este tipo de soporte es muy útil para organizar y gestionar la información aportada a los codificadores, y supone una actualización de las herramientas empleadas en el proceso de formación de codificadores eficiente y accesible.

Respecto a los ejercicios de la fase de entrenamiento, la mayoría de las variables muestran un nivel de acuerdo alto desde el inicio. En otras, a través de la fase de entrenamiento, se logra mejorar notablemente sus resultados hasta superar ampliamente el valor de 0,70 establecido (Randolph, 2005). Tan solo en la variable Técnica defensiva, después de todo el proceso no llega a superar el 0,70, lo que indica un nivel de acuerdo inter-observador insuficiente para el valor de referencia establecido en este estudio. En este caso se hace necesario encontrar el origen del desacuerdo. James et al. (2007) sugieren tres fuentes de error que provocan la falta de acuerdo entre los observadores y por tanto una baja fiabilidad inter-observador; el Error Operacional, El Error Observacional y por último el Error de Definición. En el caso de la variable Técnica defensiva, tras analizar las anotaciones de todos los observadores, el error que se detectó eran del tercer tipo, un Error de Definición. Dos de las categorías de esta variable eran muy similares y por tanto difíciles de diferenciar en las imágenes por el ángulo de grabación de la cámara. En este caso se optó por el procedimiento de recodificación de variables. Este proceso consiste en fusionar varias categorías en una sola. Tras las pruebas realizadas con diferentes combinaciones se detectan las dos categorías que causan el error, y se unen en una sola categoría. Se vuelve a someter las observaciones a un nuevo análisis de la fiabilidad y el resultado es el mostrado en la Tabla 6. Como se puede comprobar el aumento de la fiabilidad es evidente, con valores de acuerdo muy elevados. De esta forma la variable Técnica defensiva se recodifica de seis categorías a cinco, uniendo las categorías uno y dos, además de dar una nueva numeración que ordena las mismas de forma más lógica. Una vez alcanzado el nivel suficiente de fiabilidad inter-observador en todas las variables se puede comenzar con la recogida de la muestra.

El proceso descrito en este documento tiene la finalidad de garantizar que la muestra del estudio tiene un alto grado de objetividad y, por tanto, el rigor necesario para la investigación. Se describe tanto la formación de codificadores, así como la evaluación de fiabilidad de los mismos, que es imprescindible en las investigaciones que utilicen Metodología Observacional (Anguera, 1988, 1991). Como se puede apreciar, la evolución parcial y total del grado de acuerdo entre codificadores del presente trabajo es coherente con el nivel de fiabilidad establecido en el estudio. El procedimiento de formación de codificadores en goalball muestra un valor de 0,86 superior al de otros trabajos de investigación (Den Hollander, Brown, Lambert, Treu & Hendricks, 2016; Cañadas, Ibáñez & Leite, 2015; Ibáñez, Santos & García, 2015) y ligeramente inferior al valor del trabajo de García, Ibáñez, Gómez & Sampaio (2009), 0,88. Por consiguiente, a la vista de estos resultados, se puede afirmar que la fiabilidad del procedimiento es “casi perfecto” (Landis & Koch, 1977), y sus datos son similares a otras investigaciones previas.

CONCLUSIÓN

La finalidad del proceso de formación de los codificadores es conseguir un alto acuerdo entre los observadores en todas las variables a analizar. Este proceso de formación se divide en tres fases: fase de formación teórica, fase de formación práctica y fase de entrenamiento individual.

El diseño y procedimiento de las sesiones es clave para tener éxito y debe cumplir con las expectativas y los objetivos iniciales. Por tanto, la fase de entrenamiento de los codificadores ha de durar hasta que el nivel de fiabilidad inter-observador sea el adecuado para asegurar la objetividad de los registros, buscando las causas de los errores, proceder a su análisis y dar feedback a los codificadores para mejorar la fiabilidad inter-observador.

El procedimiento de formación de codificadores presentado en este trabajo puede ser usado en el ámbito de las Ciencias de la Actividad Física y el Deporte, concretamente en el contexto del Goalball.

Una limitación del presente artículo, se concreta en la escasez de trabajos que describan de forma precisa y detallada el proceso de formación de los codificadores, por lo que sería necesario realizar en un futuro revisiones bibliográficas específicas sobre el proceso de formación de codificadores.

REFERENCIA BIBLIOGRÁFICAS

Abdolmaleki, H., Mirzazadeh, Z., Allahyari, M., & Ramezani, M. (2015). Identify and analysis of performance evaluation indicators of Iranian Goalball coaches. Annals of Applied Sport Science, 3(3), 43-56.

Altman, D. G. (1991). Practical Satistics for Medical Research. London: Chapman y Hall.

Amorím, M. T., Botelho, M., Sampaio, E., Molina, J., & Corredeira, R. (2010). Caracterización de los patrones comportamentales de los atletas con discapacidad visual practicantes de Goalball. Revista Electrónica Interuniversitaria de Formación del Profesorado, 13(3), 47-57.

Anguera, M. T. (1988). Observación en la escuela. Barcelona: Graó.

Anguera, M. T. (1991). Metodología observacional en la investigación psicológica. Barcelona: PPU.

Anguera, M. T. (2003). La observación. En C. Moreno Rosset (ed.), Evaluación psicológica. Concepto, proceso y aplicación en las áreas del desarrollo y de la inteligencia (pp. 271-308). Madrid: Sanz y Torres.

Anguera, M. T., & Hernández-Mendo, A. (2013). Metodología observacional en el ámbito del deporte. E-balonmano.com: Revista de Ciencias del Deporte, 9(3), 135-160.

Anguera, M. T., & Hernández-Mendo, A. (2014). Metodología observacional y psicología del deporte: Estado de la cuestión. Revista de Psicología del Deporte, 23(1), 103-109.

Anguera, M. T., Blanco-Villaseñor, A., Losada, J. L., & Hernández-Mendo, A. (2000). La metodología observacional en el deporte: Conceptos básicos. Lecturas: E.F. y Deportes, Revista Digital, 24.

Anoz, I., García, T., & García, J. A. (2004) Análisis de la estructura del ataque en equipos de alto nivel de balonmano. Apunts, Educación Física y Deportes (76), 53-58.

Arias, J. L., Argudo, F. M., & Alonso, J. I. (2009a). El proceso de formación de observadores y la obtención de la fiabilidad en metodología observacional para analizar la dinámica de juego en minibásquet. Apunts, Educació Física i Esports, 4(98), 40-45.

Arias, J.L., Argudo, F.M., & Alonso, J. I. (2009b). Método objetivo para analizar dos modelos de la línea de tres puntos en minibasket. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 9(36): 349-365.

Barlett, R. M. (2001). Performance analysis: Can bringing together Biomechanics and notational analysis benefit coaches? International Journal of Performance Analysis in Sport, 1(1), 122-126.

Blanco, A., Ibáñez, S. J., Antúnez, A., & Hernández-Mendo, A. (2014). Estudio de fiabilidad de los indicadores de rendimiento en liga asobal. Cuadernos de Psicología del Deporte, 15(1), 255-264.

Brennan, R. L., & Prediger, D. J. (1981). Coefficient kappa – some uses, misuses, and alternatives. Educational and Psychological Measurement, 41(3), 687-699.

Brewer, C. J., & Jones, R. L. (2002). A five-stage process for establishing contextually valid systematic observation instruments: The case en rugby unión. The Sports Phychologist, 16, 138-156.

Cañadas, M., Ibáñez, S. J., & Leite, N. (2015). A novice coach´s planning of the technical and tactical content of youth basketball training: a case study. International Journal of Performance Analysis in Sport, 15, 572-587.

Casal, C., Losada, J. & Ardá, T. (2015). Análisis de los factores de rendimiento de las transiciones ofensivas en el fútbol de alto nivel. Revista de Psicología del Deporte, 24(1), 103-110

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46.

Chillón, P., & Delgado, M. A. (2012). Observación del profesor de educación física: una investigación de salud en el aula. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 12(47): 493-521.

Den Hollander, S., Brown, J., Lambert, M., Treu, P., & Hendricks, S. (2016). Skills Associated with Line Breaks in Elite Rugby Union. Journal of Sport Science & Medicine, 15(3), 501-508.

Denis, D., Lortie, M., & Bruxelles, M. (2002). Impact of observers´experience and training on reliability of observations for a manual handling task. Ergonomics, 45(6), 441-454.

Escobar, J., & Cuervo, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6, 27-36.

Gamonales, J. M., León, K., Muñoz, J., González-Espinosa, S., & Ibáñez, S. J. (2018). Validación del IOLF5C para la eficacia del lanzamiento en fútbol para ciegos. Revista Internacional de Medicina y Ciencias del Deporte, 18(70), 361-381. http://dx.doi.org/10.15366/rimcafd2018.70.010

García, J., Ibáñez, S. J., Gómez, M, A., & Sampaio, J. (2009). Basketball game-related statistics discriminating ACB league teams according to game location, game outcome and final score diferences. International Journa of Performance Analysis in Sport, 14, 443-452.

García, J., Ibáñez, S. J., Parejo, I., Feu, S., & Cañada, M. (2011). Diferencias entre nivel de juego y categoría de los jugadores en etapas de formación. Revista Española de Educación Física y Deportes, 395(21), 13-28.

García, P., Argudo, F., & Alonso, J. I. (2007). Validación de un entrenamiento de observadores para el análisis de una microsituación de juego en waterpolo. Lecturas: Educación Física y Deportes, 12(109), 1-18.

González-Díaz, C., & Iglesias-García, M. (2015). Coder Training aplicado a la investigación sobre la publicidad de alimentos. Opción, 31(4), 545-563.

Gulick, D. T, & Malone, L. A. (2011). Field test for measuring aerobic capacity in Paralympic goalball athletes. International Journal of Athletic Therapy and Training, 16(5), 22-25.

Hernández-Mendo, A., Montoro, J., Reina, Á., & Fernández, J. (2012). Desarrollo y optimización de una herramienta observacional para el bloqueo en voleibol. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 7(1), 15-31.

Hileno, R., & Buscá, B. (2012). Herramienta observacional para analizar la cobertura del ataque en voleibol. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 12(47), 557-570.

Hughes, M. D., & Bartlett, R. M. (2002). The use of performance indicators in performance analysis. Journal of Sports Sciences, 20(10), 739-754.

Hughes, M. D., & Franks, I. (2005). Analysis of passing sequences, shots and goals in soccer. Journal of Sports Sciences, 23(5), 509-514.

Hughes, M. D., Cooper, S. M., & Nevil, A. (2002). Analysis procedures for non-parametric data from performance in sport (2ª ed.). Nueva York: Routledge.

Ibáñez, S. J., Santos, J. A., & García, J. (2015). Multifactorial analysis or free throw shooting in eliminatory basketball games. International Journal of Performance Analysis in Sport, 15, 897-912.

James, N., Taylor, J. B., & Stanley, S. (2007). Reliability procedures for categorical data in performance analysis. International Journal of Performance Analysis in Sport, 7, 1-11.

Jiménez, J., & Hernández-Mendo, A. (2016). Análisis de la calidad del dato y generalizabilidad de un sistema de observación del contraataque en el balonmano de élite. E-balonmano.com: Revista de Ciencias del Deporte, 12(1), 31-34.

Landís, J. R. & Koch, G. G. (1977). Aplication of hierarchical kappa-type statistics in assessment of majority agreement among multiple observers. Biometrics, 33(2), 363-374.

Losada, J. L., & Manolov, R. (2014). The process of basic training, applied training maintaining the performance of an observer. Quality & Quantity, 48(2). DOI 10.1007/s11135-014-9989-7

McGarry, T. (2009). Applied and theoretical perspectives of performance analysis in sport: Scientific issues and challenges. International Journal of Performance Analysis in Sport, 9(1), 128-140.

Medina, J. (1996). Proceso de entrenamiento de codificadores para el estudio de los diarios del profesorado de educación física. Revista Motricidad, 2, 113-127.

Medina, J., & Delgado, M.A. (1999). Metodología de entrenamiento de observadores para investigaciones sobre E.F. y Deporte en la que se utilice como método la observación. Revista Motricidad, 5, 69-86.

Molik, B.; Morgulec-Adamowicz, N.; Kosmol, A.; Perkowski, K.; Bednarczuk, G.; Skowroński, W.; Gómez, M.; Koc, K.; Rutkowska, I.; & Szyman, R. J. (2015). Game Performance Evaluation in Male Goalball Players. Journal of Human Kinetics, 48(1), 43-51.

Montero, I., G., & León O. (2007). A guide for naming research studies in Phychology. International Journal of Clinical and Health Psychology, 7(3), 847-862.

Morato, M., Da Cunha, O., Gamero, D., Magalhães, T., & Almeida, J. (2016). Development and evaluation of an observational system for goalball match analysis. Revista Brasileira de Ciências do Esporte, xx(xx), xx-xx. Pendiente de publicación / In press. http://dx.doi.org/10.1016/j.rbce.08.002

Moreno, M. P., Santos, J. A., Ramos, L. A., Sanz, D., Fuentes, J. P., & Del Villar, F. (2002). Aplicación de un sistema de codificación para el análisis de contenido de la conducta verbal del entrenador de voleibol. Revista Motricidad, 9, 119-140.

Morillo, J., & Hernández-Mendo, A. (2015). Análisis de la calidad del dato de un instrumento para la observación del ataque en balonmano playa. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 10(1), 15-22.

O’Donoghue, P. (2007). Reliability issues in performance analysis. International Journal of Performance Analysis in Sport, 7(1), 35-48.

O’Donoghue, P. (2010). Research methods for sports performance analysis. London: Routledge.

O’Donoghue, P., & Cullinane, A. (2011). A regression-based approach to interpreting Sports performance. Internacional Journal of Performance Analysis in Sport, 11, 295-307.

Ohnjec, K., Vuleta, D., Milanović, D., & Gruić, I. (2008). Performance indicators of teams at the 2003 World Handball Championship for women in Croatia. Kinesiology, 40(1), 69-79.

Oliveira, E. P. L.; & De Martino, J. M. (2012). Sistema de análise tática para a modalidade paraolímpica Goalball explorando processamento paraleo. En Quinto Encontro dos Alunos e Docentes do Departamento de Engenharia de Computacao e Automacao Industrial. Universidad Estatal de Campinas, Brasil.

Ortega, E., Fernández, R., Ubal, M., Lorenzo, A., & Sampaio, J. (2010). Indicadores de rendimiento defensivo en baloncesto en los ganadores y perdedores. International Journanl of Sport Sciences, 6(19), 1-12.

Owen, G. (2014). Exploratory analysis of goalball: A regression based aproach. Tesis Doctoral. Universidad de Chester.

Pieron, M. (1986). Enseñanza de las actividades física y deportivas. Observación e investigación. Málaga: Editorial Unisport.

Piñar, M. I. (2005). Incidencia del cambio de un conjunto de reglas de juego sobre algunas de las variables que determinan el proceso de formación de los jugadores de minibásquet (9-11 años). Granada: Universidad de Granada.

Randolph, J. J. (2005). Free-Marginal Multirater Kappa (multirater Kfree): An Alternative to Fleiss´ Fixed-Marginal Multirater Kappa. Joensuu Learning and Instruction Symposium 2005, University of the Joensuu, Finland. In http://www.eric.ed.gov/PDFS/ED490661.pdf

Rodríguez, G., Gil, J., & García, E. (1996). Métodos de investigación cualitativa. Málaga: Aljibe.

Salas, J., & Hernández-Mendo, A. (2016). Análisis de la calidad del dato y generalizabilidad de un sistema de observación del contraataque en el balonmano de élite. E-balonmano.com: Revista de Ciencias del Deporte, 12(1), 31-44.

Servera, M., & Cardo, E. (2006). Children Sustained Attention Task (CSAT): Normative, reliabillity, and validity data. International Journal of Clinical and Health Psychology, 6, 697-707.

Tosim, A., Junior, A. P., Leitão, M. T., & Simões, R. (2008a). Sistemas técnicos e táticos no Goalball. Revista Mackenzie de Educacao Física e Esporte, 7(2), 141-148 .

Tosim, A., Massolli , G., & Beltrao, M. A. (2008b). Seleção da percepção auditiva e tátil em atletas de Goalball em situação defensiva de jogo. Revista Mackenzie de Educacao Física e Esporte, 7(3), 181-187.

Trenado, M. T., Pons-Salvador, G., & Cerezo, M. A. (2014). Interacción Temprana: Evaluación de la Fiabilidad del Sistame Observacional CITMI-R, Versión Inglesa. Revista Electrónica de Metodología Aplicada, 19(1), 29-42.

Ureña, A., Morales-Rojas, J.S., León, J. & González, M. (2014). El voleibol español infantil. Estudio del nivel de participación en el juego. Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte, 14(56): 771-786.

Usuabiaga, O., Castellano, J., Blanco-Villaseñor, A. & Casamichana, D. (2013). La Teoría de la Generalizabilidad en las primeras fases del método observacional aplicado en el ámbito de la iniciación deportiva: calidad del dato y estimación de la muestra. Revista de Psicología del Deporte, 22(1), 103-109.

Valles, M. (2003). Técnicas cualitativas de investigación social: Reflexión metodológica y práctica profesional. Madrid: Editorial Síntesis.

Viciana, J. (1999). Proceso de entrenamiento de grupos de codificadores específicos antes un sistema múltiple de categorías de análisis del discurso en un grupo de trabajo de docentes en educación física. Revista Motricidad, 5(1), 53-67.

Volossovitch, A., Dumangane, M., & Rosati, N. (2012). Factores que influenciam a dinâmica do rendimento colectivo no andebol. Revista Española de Educación Física y Deportes, 396(22), 13-33.

Weber, C., & Link, D. (2016). Performance Analysis in Goalball. In Proceedings of the 10th International Symposium on Computer Science in Sports (ISCSS) (pp. 157-160). Springer International Publishing.

Referencias totales / Total references: 69 (100%)

Referencias propias de la revista / Journal’s own references: 5 (7,2%)

Download English PDF

Download Spanish PDF