CONSTRUCTION AND VALIDATION OF AN OBSERVATIONAL ANALYSIS TOOL IN FUTSAL (OAF-I)

CONSTRUCCIÓN Y VALIDACIÓN DE UNA HERRAMIENTA DE ANÁLISIS OBSERVACIONAL EN FUTSAL (AOFS-I)

Álvarez Medina, J.1; Murillo Lorente, V.1; Ramírez San Jose, J.1 y Nuviala Nuviala, A.2

1Profesores del Departamento de Fisiatría y enfermería. Universidad de Zaragoza (España) javialv@unizar.esvmurillo@unizar.esjrsalfaro@gmail.com

2Profesor del Departamento de Deportes y Computación. Universidad Pablo de Olavide (España) anuvnuv@upo.es

Código UNESCO / UNESCO Code: 17 Otras especialidades (Educación Física y Deportiva / Other pedagogical specialties (Physical Education and Sports)

Clasificación Consejo de Europa / Council of Europe classification: 4. Educación Física y deporte comparado / Physical Education and sport compared.

Recibido 9 de septiembre de 2019 Received September 9, 2019

Aceptado 19 de enero de 2020 Accepted January 19, 2020


Álvarez Medina, J.; Murillo Lorente, V.; Ramírez San Jose, J.; Nuviala Nuviala, A. (2021) Construction and Validation of an Observational Analysis Tool in Futsal (OAF-I). Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte vol. 21 (84) pp. 639-651.

DOI: https://doi.org/10.15366/rimcafd2021.84.001

RESUMEN

El gol y cómo se consigue cada vez es objeto de mayor estudio por ser el indicador más importante de rendimiento en el deporte colectivo. Este estudio de tipo puntual, nomotético y multidimensional, de intervención no participativa y grado de perceptividad completa donde han participado 5 expertos, tiene el objetivo de crear y validar un instrumento observacional ad hoc para analizar las acciones ofensivas que acaban en gol en partidos de fútbol sala. La muestra ha sido 4716 acciones realizadas por 41 equipos (16 españoles, 11 italianos y 14 rusos) en 622 partidos de las tres grandes ligas europeas (240 de Liga Española, 109 de Liga Italiana y 273 de Liga Rusa), durante la temporada 2014-2015. El instrumento de observación Análisis Observacional de Fútbol Sala (AOFS I) ha superado todas las pruebas para su fiabilidad y validez, obteniendo valores medidos con Kappa de Cohen superiores a 0.85, quedando compuesto por 26 criterios y 324 categorías.

PALABRAS CLAVE: futsal, gol, herramienta de observación, validación

ABSTRACT

The goal and how it is achieved each time is the object of further study because it is the most important indicator of performance in collective sport. This punctual, nomothetic and multidimensional study of non-participatory intervention and degree of complete perception where 5 experts have participated, has the objective of creating and validating an ad hoc observational instrument to analyze the offensive actions that end up in goal in soccer matches living room. The sample has been 4716 actions carried out by 41 teams (16 Spaniards, 11 Italians and 14 Russians) in 622 games of the three major European leagues (240 of the Spanish League, 109 of the Italian League and 273 of the Russian League), during the 2014 season -2015. The observational instrument Observatory Analysis of Futsal (AOFS I) has passed all the tests for its reliability and validity, obtaining values measured with Cohen Kappa higher than 0.85, being composed of 26 criteria and 324 categories.

KEY WORDS: futsal, goal, observational tool, validation.

INTRODUCCIÓN

El fútbol sala es un deporte moderno, con siete Campeonatos del Mundo organizados por la Federación Internacional de Asociaciones de Fútbol (FIFA) y diez Campeonatos Europeos organizados por la Unión Europea de Asociaciones de Fútbol (UEFA) (Lapresa, Álvarez, Arana, Garzón, & Caballero, 2013). En 2006, la FIFA y la UEFA unifican sus reglamentos favoreciendo que los torneos domésticos e internacionales se jueguen con las mismas reglas, con el objetivo de promocionar el fútbol sala a nivel mundial, consiguiendo un incremento exponencial de participantes en la modalidad (Sarmento et al., 2016). En España es el sexto deporte más practicado con 129.334 licencias federativas en 2018 tras las modalidades de fútbol, baloncesto, caza, golf y deportes en la naturaleza (Licencias CSD, 2019). En la actualidad las dos grandes potencias mundiales en futsal son Brasil con cinco campeonatos del Mundo y España con dos y a nivel europeo España con siete de los diez campeonatos de Europa disputados hasta la fecha (Lapresa et al., 2013).

La profesionalización mundial de este deporte, sus grandes requerimientos fisiológicos y de concentración que implica su práctica deportiva de alto nivel (Álvarez, Corona, Giménez, Serrano, & Manonelles, 2001; Álvarez, Giménez, Manonelles & Corona, 2002; Álvarez, Murillo, Manonelles & Giménez, 2014), hace que cada vez los equipos tanto a nivel nacional como internacional estén más igualados, por lo que el análisis y comprensión de lo que ocurre en la competición, así como el estudio del rival denominado scouting, cada vez es más importante para poder tener una ventaja en la competición (Abdel-Hakim, 2014).

El proceso de entrenamiento debe ayudar a establecer patrones individuales y colectivos de juego (Álvarez, Puente, Manero & Manonelles, 2004). Predecir estos patrones es un gran desafío para preparar los partidos de competición (James, 2012). El gol y cómo se consigue cada vez es objeto de mayor estudio (Armatas & Yinnakos, 2006) por ser el indicador más importante del rendimiento, ya que la finalización de las acciones ofensivas (AO) que acaban en gol marcan el resultado final (Michaildis, Michaildis, & Primpa, 2013), siendo el índice de aprovechamiento su mejor predictor (De Bortoli, De Bortoli, & Márquez, 2001).

Las investigaciones científicas que tienen como objeto de estudio las AO que acaban en gol en el fútbol sala, si se comparan con el fútbol, son pocas (Moore, Bullough, Goldsmith, & Edmondson, 2014), lo que dificulta la comparación de los resultados, que se hace más difícil si se tiene en cuenta que utilizan diferentes metodologías, instrumentos y muestras como equipos concretos, campeonatos cortos-fases finales, campeonatos nacionales largos-temporadas completas, además de diferentes. Por lo que se refiere a equipos concretos, Sarmento et al. (2016) estudian un equipo de la Primera División española durante los 30 partidos de una temporada. Lapresa et al. (2013) analizan las AO que finalizan con disparo a portería de la selección española en el campeonato UEFA 2010 en los 5 partidos jugados de la fase final. En relación a Campeonatos cortos-fases finales, Armatas y Yiannakos (2010) analizan los goles de la fase final de la Copa del Mundo 2006. Michaildis et al. (2013) analizan los goles de la Eurocopa de 2012. Abdel-Hakim (2014) analiza los goles de la fase final de los Campeonatos del mundo 2002 y 2008 y establece que la media de AO que acaban en gol por partido es de 6,71 y 6,91 goles respectivamente.

Existen pocos estudios sobre temporadas completas. Álvarez et al. (2004) analizan las AO que acaban en gol de toda la Primera División Española de la temporada 2002-2003. Álvarez, Murillo y García (2015) comparan cómo influye en la consecución de los goles y en su lógica interna, el cambio de reglamento realizado por la FIFA en la temporada 2006, analizando los 1771 goles de la temporada 2002-2003 antes del cambio y los 1355 goles de la temporada 2013-2014 después del cambio. Álvarez, Murillo y García (2016) comparan las AO que acaban en gol de la temporada 2012-2013 con 1094 goles y la 2013-2014 con 1355 goles y además buscan relaciones entre la zona de tiro-superficie de contacto-tipo de tiro y tipo de acción-número de pases-jugadores involucrados, por considerar que las acciones anteriores al lanzamiento a portería mantienen una relación estable entre sí y, por consiguiente, pueden ser consideradas como excitadoras para la consecución del éxito en el juego. De estos estudios se establece que la media de AO que acaban en gol en la liga española profesional están entre 6,44-8 goles/partido y 3,22 y 4 por equipo/partido (Álvarez et al., 2004, 2015, 2016).

Los instrumentos de observación ad hoc han sido utilizados en modalidades deportivas como voleibol (Hileno & Buscà, 2012), bádminton (Valldecabres, De Benito, Casal & Pablos, 2019), waterpolo (Sabio, Guerra, Cabedo, Sola, & Argudo, 2018), entre otras. En futsal también se han utilizado para analizar las AO que acaban en gol (Álvarez et al., 2004; Jonsson et al., 2006; Lapresa et al., 2013; Álvarez, 2015). Así, Álvarez et al. (2004) utiliza un instrumento con 6 criterios y 31 categorías y Álvarez (2015) en su tesis doctoral utiliza 7 criterios y 58 categorías. En ninguno de ellos se introducen nuevos criterios como: jugar como local o visitante, conseguir el primer gol, momento del gol, marcadores parciales, clasificación, etc., que cada vez se consideran más importantes, a tener en cuenta, por considerar que afectan al estado psicológico de los jugadores y al resultado final (Goumas, 2014), lo que permitirá conocer mejor la lógica interna del deporte analizado y establecer patrones de juego.

La ausencia de estos criterios anteriormente mencionados en investigaciones anteriores en futsal justifica la necesidad del presente trabajo y establece su objeto de estudiovalidar un instrumento observacional útil para analizar las acciones ofensivas que acaban en gol con el fin de explicar la lógica interna del juego y establecer patrones de juego ofensivos efectivos.

MÉTODO

Participantes

Se analizaron un total de 4716 acciones ofensivas que acaban en gol, llevadas a cabo por 41 equipos (16 españoles, 11 italianos y 14 rusos) en 622 partidos de tres ligas europeas (240 de Liga Española, 109 de Liga Italiana y 273 de Liga Rusa), durante la temporada 2014-2015. Los partidos, en soporte audiovisual, fueron visionados en plataformas libres y gratuitas de internet.

Se han elegido las tres mejores ligas europeas, según títulos europeos, por considerar que son la mejor referencia para estudiar el objeto de estudio, ya que de los diez Campeonatos de Europa desde 1996 a 2016, España ha conseguido siete, Italia dos y Rusia uno (Lapresa et al., 2013).

Material

Los instrumentos utilizados fueron:

– Paquete informático Microsoft Office Excel 2010, para la validación del cuestionario.

– Programa Lince, versión 1.2.1, para el registro y codificación de los datos. Programa GSEQ, versión 5.1., para la obtención del coeficiente Kappa de Cohen.

Procedimiento

Para registrar las acciones ofensivas de los encuentros de las tres ligas europeas de fútbol-sala, se diseñó una herramienta ad hoc, combinando diferentes formatos de campo y sistema de categorías, las cuales debían presentar como requisito la exclusividad.

La unidad de análisis son las acciones ofensivas que acaban en gol, basado en el criterio de Pollard y Reep (1997). La AO comienza cuando un jugador del equipo observado (el atacante) se hace con la posesión de balón con el suficiente control sobre la pelota. La unidad finalizará cuando el equipo observado obtenga el gol.

El instrumento denominado Análisis Observacional en Fútbol Sala (AOFS-I) quedó formado por 26 criterios y 324 categorías (Anexo 1).

El estudio fue aprobado por el comité ético de la Universidad de Zaragoza.

Instrumento de observación

En el proceso de construcción y diseño de la herramienta observacional ad hoc, de tipo puntual, nomotético y multidimensional, de intervención no participativa y grado de perceptividad completa, han participado cinco expertos que cumplían los criterios de inclusión:

– Tener la titulación nacional de tercer nivel en fútbol sala y/o Licenciado/Graduado en Ciencias de la Actividad Física y el Deporte con experiencia profesional en análisis observacional de fútbol sala.

– Haber estado ejerciendo como entrenador o parte del cuerpo técnico al menos en una de las últimas 5 temporadas en la máxima categoría española.

Para estimar posteriormente la calidad del dato se han utilizado dos observadores que cumplían con los criterios: tener el título de Licenciado/Graduado en Ciencias de la Actividad Física y del Deporte, así como el título de Entrenador Nacional de Fútbol Sala.

En primer lugar se diseñó el instrumento observacional a partir de anteriores trabajos (Lapresa et al., 2013; Álvarez et al., 2004, 2016; Álvarez, 2015), combinando formatos de campo con sistema de categorías. Se constató la validez de contenido mediante un grupo de cinco expertos. Se les envió el instrumento con una exhaustiva descripción del mismo y se les pasó un formulario para su análisis. Los expertos podían elegir las respuestas respecto de una lista previamente establecida.

A continuación se procedió al registro de los datos. Se realizó la formación de los observadores seleccionados para verificar la calidad del dato. La formación se realizó en tres etapas. La primera, formación teórica, en la que se presentó y explicó el instrumento de observación. La segunda, formación teórico-práctica, compuesta de 3 subfases. Primera, se mostró al observador un gol y su registro. Segunda, se mostró una nueva acción de gol diferente a la primera y el observador procedió a su registro de forma individual. Se realizó una puesta en común del registro realizado acompañada de un nuevo visionado de la acción completa. Tercera, se procedió al registro de 5 goles consecutivos de cada liga. Una vez se concluía la realización de los ejercicios de cada fase se dispuso de un tiempo dedicado a la aclaración de cualquier duda. La tercera y última fase fue de formación práctica, prueba piloto, con el objetivo de garantizar un índice de fiabilidad adecuado entre los datos obtenidos de los registros realizados a través de la automatización del proceso de registro y codificación (Quera & Behar, 1997).

Para establecer la consistencia entre las observaciones se desarrollaron dos sesiones de registro. Una primera sesión en la que se registraron y codificaron todos los goles pertenecientes a la jornada dos de las diferentes ligas analizadas. La segunda sesión se realizó transcurridas dos semanas, repitiendo el mismo proceso. La concordancia entre los resultados se calculó a través del índice de confiabilidad, con valores superiores a 0,91 en todos los análisis, con lo que quedó garantizado el proceso de formación.

Finalmente se procedió a estimar la concordancia de las observaciones totales.Se establecieron tres bloques (B) de datos:

– B-1; que representa la totalidad del muestreo observacional.

– B-2; que es igual al 10% de los registros de cada liga.

– B-3; obtenido de forma consultiva (Arana, Lapresa, Anguera & Garzón, 2013), en el que se analizaron únicamente las AO en las que se detectaron algunas discrepancias entre B-1 y B-2. B-3 está conformado por los datos pertenecientes a los partidos y jugadas cuyo valor Kappa sea inferior a 0,8 entre los bloques de datos B-1 y B-2. B-3 pretende superar la debilidad inherente a la concordancia intraobservador. El observador disponía del mismo material audiovisual e instrumento, pero carecía de los registros discrepantes a fin de reducir el sesgo de expectancia (Anguera, 1990).

Análisis estadístico

Se calcularon las frecuencias y porcentajes de respuesta de los observadores. Se establecieron como adecuados valores Kappa de Cohen superiores al .8 como establecen Landis y Koch (1997).

RESULTADOS

Esta investigación tuvo como primer episodio la construcción de la herramienta observacional “AOFS-I”. Siguiendo las indicaciones Haynes, Richard, y Kubany (1995), el primer paso a la hora de construir un instrumento es definir el constructo que quería evaluarse, los criterios y categorías que conforman la herramienta de observación. Para ello fue necesario realizar una revisión bibliográfica sobre el tema objeto de estudio, lo que permitió concretar los componentes que lo integran (Carretero & Pérez, 2005). Realizada la revisión bibliográfica en la base de datos Web of Knowledege en diciembre de 2019 se confirma la escasez de estudios científicos relacionados con el objeto de estudio. Se utilizaron las palabras clave “futsal con 219 resultados”, “futsal & goal” 31 resultados, “futsal & observational” 9 resultados y “futsal & goal & observational” solo 2 resultados. Se revisaron todos ellos, siendo la mayoría estudios de aspectos fisiológicos, control de la carga de entrenamiento y epidemiológicos.

La validez de contenido del instrumento se evalúo a través de un panel de expertos como es habitual en este tipo de cuestiones (Ding & Hershberger, 2002). El juicio de expertos se entiende como una opinión informada de personas con trayectoria en el tema, que son reconocidas por otros como expertos cualificados en éste, y que pueden dar información, evidencia, juicios y valoraciones. La identificación de estos expertos es una parte crítica en este proceso y deben cumplir con una serie de requisitos (Skjong & Wentworht, 2000) entre los que se encuentran la formación y la experiencia, requisitos que los expertos seleccionados en este trabajo cumplen tras respetar los criterios de inclusión definidos.

El instrumento se validó a través de un grupo de expertos mediante el acuerdo de la pertinencia de los diferentes criterios y categorías. El acuerdo de los expertos con los criterios y categorías definidos superó en la totalidad de los casos el 80%. No se obtuvo un acuerdo del 100% en cinco categorías, correspondiendo a tres criterios (Tabla 1).

Tabla 1. Criterios y Categorías que no obtuvieron el 100% del acuerdo entre expertos.

Criterio

Categoría

Porcentaje

8: Tipo jugada

Defensa estructurada presionante

80%

12: Finalización jugada

Rechace

Pared con pívot

Desdoble

80%

14: Zona portería

Raso

80%

Para determinar si los datos obtenidos en los registros realizados a través del instrumento de observación eran fiables, se procedió a comparar los diversos paquetes de datos entre sí, correspondientes a los tres 3 bloques de datos (B-1, B-2 y B-3) (Tabla 2). La concordancia entre las observaciones correspondientes a B-1 y B-2 fue positiva en el caso de la Liga Española y la Liga Rusa, mientras que la concordancia no fue aceptable en el caso de la Liga Italiana (Tabla 2). 

Tabla 2. Valores Kappa bloques de datos B-1 y B-2 de las tres ligas.

Ligas

Resultados

Consideración de acuerdo

Liga Española

Kappa

,96

Casi perfecto

Acuerdo

97%

Liga Rusa

Kappa

,97

Casi perfecto

Acuerdo

97%

Liga Italiana

Kappa

,79

Sustancial

Acuerdo

80%

Siendo el resultado no aceptable en el caso de la Liga Italiana, se procedió a estudiar la concordancia entre las observaciones correspondientes a B-1 y B-3, así como B-2 y B-3 (Tabla 3). Los resultados muestran que la concordancia es casi perfecta entre los bloques 1 y 3.

Tabla 3. Valores Kappa bloques de datos B-1 y B-3 y datos B-2 y B-3 de la Liga Italiana

Liga Italiana

Resultados

Consideración de acuerdo

Datos B-1 y B-3

Kappa

1

Casi perfecto

Acuerdo

100%

Datos B-2 y B-3

Kappa

,79

Sustancial

Acuerdo

80%

De esta forma, se ha conseguido, mediante el empleo del segundo observador y la generación del bloque de datos B-3, superar las limitaciones inherentes a la concordancia intraobservador, con lo que queda comprobado la calidad del dato de B-1.

DISCUSIÓN

La importancia y objeto de este trabajo se centra en la construcción y validación de una herramienta ad hoc, la cual permita obtener información precisa, válida y fiable para posteriores estudios en el ámbito del fútbol-sala, lo cual es complejo debido a la complejidad del registro observacional en los deportes de equipo como consecuencia de la velocidad a la que se desarrollan las acciones, el espacio sobre el que tiene lugar el juego, el tipo de registro audiovisual utilizado, el gran número de jugadores que intervienen y ciertos problemas de no observabilidad (Castellano, Hernández, Gómez de Segura, Fontetxa, & Bueno, 2000)

Ante la novedad del fin de la investigación, la escasez de instrumentos de observación relativos al fútbol-sala, junto a la evolución de los mismos (Lapresa et al., 2013; Álvarez et al., 2004, 2016; Álvarez, 2015), llevó a la decisión de construir un nuevo instrumento que abarcara todas los nuevos criterios y categorías que podían afectar al estado psicológico de los jugadores y por tanto tener relación con el resultado final del partido. Tomando de referencia los instrumentos de Álvarez et al. (2004) con 6 criterios y 31 categorías y Álvarez (2015) 7 criterios y 58 categorías, muy similares entre ellos, se estructura una nueva hoja formada por 25 criterios y 324 categorías (Tabla 4).

Tabla 4: Evolución hojas de observación. Criterios utilizados

CRITERIOS

Álvarez et al. (2004)

Álvarez (2015)

AOFS I

Zona finalización

X

X

X

Zona cuerpo golpeo

X

X

X (teniendo en cuenta lateralidad)

Tipo de jugada

X

X

Nº jugadores

X

X

Nº pases

X

X

Inicio jugada tras interrupción reglamentaria

X

X

X

Inicio jugada tras interceptaciones

X

X

X

Zona de inicio

X

X

Fundamento técnico utilizado

X

X

Tiro (consecuencia)

X

Liga

X

Nº de jugada

X

Jornada

X

Ronda

X

Sede

X

Posición-tipo jugador

X

Número de toques

Zona portería (altura pasa balón)

X

Lateralidad portería (latitud pasa balón)

X

Momento del gol (periodos de 5’)

X

Resultado previo

X

Marcador temporal local que supone el gol

X

Marcador temporal visitante que supone el gol

X

Diferencia de goles que supone el gol

X

Resultado inicial, descanso y fina

X

Clasificación al inicio de la jornada

X

Clasificación al final de la liga

X

Los resultados obtenidos en cuanto a la calidad del dato se pueden considerar como óptimos. El coeficiente de Kappa de Cohen para cada pareja de bloques de observaciones realizadas fue excelente en el caso de dos ligas. En el caso de la Liga Italiana hubo que utilizar el procedimiento descrito para efectuar el B3 y tratar de superar la debilidad inherente a la concordancia intraobservador. Los resultados finales, todos siempre por encima de .8 siguiendo el criterio establecido por Landis y Koch (1997), demuestran la calidad del dato obtenido. La concordancia de las observaciones ha aportado resultados satisfactorios, lo que da pie a pensar que el sistema propuesto, cumple con los requisitos metodológicos relativos a la fiabilidad, precisión y validez exigibles. Se entiende que la herramienta observacional que se ha confeccionado permite llevar a cabo estudios sobre la acción de juego en fútbol-sala, haciendo posible el análisis de los aspectos del juego desde una perspectiva contextualizada y secuenciada. Las posibles aplicaciones prácticas que a partir de este estudio se pudieran obtener resultan reveladoras desde nuestro punto de vista, pues permitirían conocer cuáles son los flujos de conducta más eficaces para el juego tanto en el plano defensivo como en el ofensivo.

CONCLUSIONES

El instrumento de observación Análisis Observacional de Fútbol Sala (AOFS-I) formado por 25 criterios y 324 categorías ha superado todas las pruebas para su fiabilidad y validez obteniendo siempre valores superiores a 0,85 para el análisis de las acciones ofensivas que acaban en gol en fútbol sala.

REFERENCIAS BIBLIOGRÁFICAS

1. Abdel-Hakim, H. (2014). Quantitative analysis of performance indicators of goals scored in the futsal World Cup Thailand 2012. Pamukkale Journal of Sport Sciences, 5 (1), 113-127.

2. Álvarez, J., Giménez, L., Manonelles, P., & Corona, P. (2002).Necesidades cardiovasculares y metabólicas delfútbol-sala: Análisis de la competición. ApuntsEducación Física y Deporte, 67, 45-51.

3. Álvarez, J., Murillo, V., García, A., & Parra, A. (2018). Análisis observacional de los goles de dos temporadas de la LNFS. Revista internacional de medicina y ciencias de la actividad física y del deporte. 18(69), 27-42. DOI: https://doi.org/10.15366/rimcafd2018.69.002

4. Álvarez, J., Murillo, V., & García A. (2018). Influencia del cambio de reglamento sobre la consecución de los goles en el fútbol sala. Revista internacional de medicina y ciencias de la actividad física y del deporte, 18 (70), 213-216. DOI: https://doi.org/10.15366/rimcafd2018.70.002

5. Álvarez, J., Murillo, V., Manonelles, P., & Giménez L. (2014). Heart rate variations in an elite futsal player after twelve years of máximum performance. American Journal of Sports Science and Medicine, 2 (3), 98-102. DOI: https://doi.org/10.12691/ajssm-2-3-6

6. Álvarez, J., Corona, P., Giménez, L., Serrano, E., & Manonelles, P. (2001). Perfil cardiovascular en el fútbol-sala. Respuesta inmediata al esfuerzo. Archivos de Medicina del Deporte. 18 (83), 199-204.

7. Álvarez, J., Puente, J., Manero, J., & Manonelles, P. (2004). Análisis de las acciones ofensivas que acaban en gol de la liga profesional de fútbol-sala española. Revista de Entrenamiento Deportivo, 18 (4), 27-32.

8. Álvarez, L. (2015). Análisis técnico-táctico de la fase ofensiva de la selección española de fútbol sala (Eurocopa, 2010). Tesis doctoral, Universidad de La Rioja, Logroño.

9. Anguera, M.T. (1990). Metodología observacional. En J. Arnau, M.T. Anguera y J. Gómez. Metodología de la investigación en Ciencias del Comportamiento (125-236). Murcia: Secretariado de Publicaciones de la Universidad de Murcia.

10. Arana, J., Lapresa, D., Anguera, M.T. & Garzón, B. (2013). Adapting football to the child: an application of the logistic regression model in observational methodology. Quality & Quantity, International Journal of Methodology, 47 (6), 3473-3480. DOI: https://doi.org/10.1007/s11135-012-9734-z

11. Armatas, V., & Yiannakos, A. (2010). Analysis and evaluation of goals scored in 2006 World Cup. Journal of Sport and Health Research, 2, 119-128.

12. Carretero, H., & Pérez, C. (2005). Normas para el desarrollo y revisión de estudios instrumentales. International Journal of Clinical and Health Psychology, 5, 521-551.

13. Castellano, J., Hernández, A., Gómez de Segura, P., Fontetxa, E., & Bueno, I. (2000). Sistema de codificación y análisis de la calidad del dato en el fútbol de rendimiento. Psicothema12 (4), 635-64.

14. De Bortoli, A. L., De Bortoli, R., & Márquez, S. (2001). Utilización de coeficientes ofensivos para el análisis del rendimiento deportivo en el fútbol sala. Revista Motricidad, 7, 7-17.

15. Ding, C. & Hershberger, S. (2002). Assessing content validity and content equivalence using structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 9 (2), 283-297. DOI: https://doi.org/10.1207/S15328007SEM0902_7

16. Goumas, C. (2014). Home advantage in Australian soccer. Journal of Science and Medicine in Sport, 17 (1), 119-123. DOI: https://doi.org/10.1016/j.jsams.2013.02.014

17. Haynes, S.N., Richard, D.C.S., & Kubany, E.S. (1995). Content validity in psychological assessment: A functional approach to concepts and methods. Psychological Assessment, 7, 238-247. DOI: https://doi.org/10.1037/1040-3590.7.3.238

18. Hileno, R. y Buscà, B. (2012). Herramienta observacional para analizar la cobertura del ataque en voleibol. Revista Internacional de Medicina y Ciencias de la Actividad Física y del Deporte. 12(47), 557–570.

19. James, N. (2012). Predicting performance over time using a case study in real tennis. Journal of Human Sport and Exercise, 7 (2), 421-433. DOI: http://dx.doi.org/10.4100/jhse.2012.72.08

20. Jonsson, G. K., Anguera M. T., Blanco, A., Losada, J. L., Hernández-Mendo, A., Ardá, T., Camerino O. & Castellano, J. (2006). Hidden patterns of play interaction in soccer using Sofcoder. Behavior Research Methods, Instruments & Computers, 38 (3), 372-381. DOI: http://dx.doi.org/10.3758/bf03192790

21. Landis, J.R. & Koch, G.G. (1997). The Measurement of Observer Agreement for Categorical Data. Biometrics, 1, 159-174. DOI: https://doi.org/10.2307/2529310

22. Lapresa, D., Álvarez, L. Arana, J., Garzón, B. & Caballero, V. (2013). Observational analysis of the offensive sequences that ended in a shot by the winning team of the 2010UEFA Futsal Championship. Journal of Sports Sciences, 31 (15), 1731-1739. DOI: https://doi.org/10.1080/02640414.2013.803584

23. Licencias CSD. https://www.csd.gob.es/es/federaciones-y-asociaciones/federaciones-deportivas-espanolas/licencias (consultado 31/12/2019)

24. Michaildis Y., Michaildis C., & Primpa E. (2013). Analysis of goals scored in European Championship 2012. Journal of Human Sport and Exercise. 8 (2), 367-375. DOI: https://doi.org/10.4100/jhse.2012.82.05

25. Moore, R., Bullough, S., Goldsmith, S. & Edmondson, L. (2014). A Systematic review of Futsal Literature. American Journal of Sport Science and Medicine, 2 (3), 108-116. DOI: https://doi.org/10.12691/ajssm-2-3-8

26. Pollard & Reep (1997). Measuring the effectiveness of playing strategies at soccer. Journal of the Royal Statistical Society, 46 (4), 541-550. DOI: https://doi.org/10.1111/1467-9884.00108

27. Quera, V., & Behar, J. (1997). La observación. En G. Buela-Casal y J. C. Sierra (Dirs.), Manual de evaluación psicológica (315-342). Madrid: Siglo XXI.

28. Sabio, Y., Guerra, M., Cabedo, J., Sola, J., y Argudo, F. (2018). Diseño, validación y fiabilidad de un instrumento para analizar acciones técnico-tácticas en waterpolo. Retos. 34, 57-65.DOI: https://doi.org/10.47197/retos.v0i34.55388

29. Sarmento, H., Bradley, P., Anguera, Mª. T., Polido, T., Resende, R., & Campanico, J. (2016). Quantifying the offensive sequences that result in goals in elite futsal matches. Journal of Sport Sicences, 34 (7), 621-629. DOI: https://doi.org/10.1080/02640414.2015.1066024

30. Skjong, R. & Wentworth, B. (2000). Expert Judgement and risk perception. Proceedings of the Eleventh (2001). International Offfshare and Polar Engineering Conference Stavanger. Normay, June 17-22, 2001. ISBN 1-880653-51-6

31. Valldecabres, R., De Benito, A.M., Casal, C.A. y Pablos, C. (2019). Diseño y validación de una herramienta observacional para el bádminton (BOT). Revista Internacional de Medicina y Ciencias de la Actividad Física y el Deporte. 19(74), 209-223.
DOI: http://doi.org/10.15366/rimcafd2019.74.003

Número de citas totales / Total references: 31 (100%)

Número de citas propias de la revista / Journal’s own references: 4 (12.9%)

Rev.int.med.cienc.act.fís.deporte– vol. 21 – número 84 – ISSN: 1577-0354

ANEXO 1

Debido a la extensión del mismo se presenta únicamente el instrumento con sus criterios, sin definiciones y el número de categorías en que se dividen.

A los 26 criterios se debe añadir el criterio temporada que en este estudio es fijo.

1. Nº de jugada. 1, 2, 3…n.

2. Liga (3)

3. Jornada (30)

4. Ronda. Únicamente liga rusa (2)

5. Vuelta (2)

6. Sede (2)

7. Posicióntipo jugador (5)

8. Zona inicio (26)

9. Zona finalización (26)

10. Forma inicio jugada (16)

11. Tipo jugada (9)

12. Jugadores intervienen con contacto balón (5)

13. Número pases (11)

14. Finalización jugada. Acción técnico-táctica (12)

15. Número toques (11)

16. Zona contacto (14)

17. Zona portería (3)

18. Lateralidad portería (3)

19. Momento gol (10)

20. Resultado previo (3)

21. Marcador temporal local que supone el gol anotado (13)

22. Marcador temporal visitante que supone el gol anotado (13)

23. Diferencia goles supone el gol anotado (31)

24. Resultado inicial, descanso y final partido (7)

25. Clasificación jornada al inicio de la misma (16)

26. Clasificación final al acabar liga (16)

Número de citas totales / Total references: 31 (100%)

Número de citas propias de la revista / Journal’s own references: 4 (12.9%)