Reliability in the evaluation of international and national judges in an artistic swimming routine / Confiabilidade na avaliação de juízes internacionais e nacionais em uma rotina de nado artístico

ABSTRACT

Abstract Artistic swimming (AS) is a sport evaluated by fifteen judges in routine sessions. The athletes' goal is to achieve proficient motor patterns according to pre-established criteria. The present studied analyzed whether there is difference between the two groups of AS judges with different levels of experience. The group of the International Swimming Federation - FINA (IG) evaluates AS at national and international level and the non-FINA group (NG) evaluates AS only at national level. Twenty experienced judges were divided into groups, 10 IG judges and 10 NG judges. Thus, judges evaluated the item execution of three routines with five required elements. Cronbach's alpha coefficient showed high internal consistency in IG (a= 0.85 in T1 and 0.83 in T2). In NG, internal consistency was observed in T1 and low consistency in T2 (a= 0.82 in T1 and 0.39 in T2). Evaluation analysis between IG and NG was significant (p?0.0330) and reliability analysis (bias -0.1266 95% agreement limit -1.642 to 1.388) showed consistency and high degree of confidence in results. The findings suggest that the item execution of required elements showed high objectivity regarding judges with different levels of experience, IG and NG, regardless of categorization and time of practice. FINA has changed the number of judges and the number of items evaluated in routine sessions. It is suggested that the reduction of items has contributed in a positive way so that judges can focus more on evaluation itself.

RESUMO

Resumo Nado artístico (NA) é um esporte avaliado por quinze juízes em provas de rotinas. A meta dos atletas é a realização de padrões motores proficientes de acordo com critérios pré-estabelecidos. O presente estudo analisou se havia diferença entre os dois grupos de juízes de NA com diferentes níveis de experiência. O grupo da Federação Internacional de Natação - FINA (GI) avalia a nível nacional e internacional e o grupo não FINA (GN) avalia apenas a nível nacional. Participaram 20 juízes experientes separados em grupos, 10 juízes GI e 10 juízes GN. Assim, os juízes avaliaram o item execução de três rotinas com cinco elementos obrigatórios. O coeficiente alfa de Cronbach apresentou elevada consistência interna no GI (a= 0,85 em T1 e 0,83 em T2). No GN observou-se consistência interna em T1 e baixa em T2 (a = 0,82 em T1 e 0,39 em T2). A análise de avaliação entre GI e GN, foi significativa (p?0,0330) e análise de confiabilidade (viés -0,1266 de limite de concordância 95% -1,642 a 1,388) mostrando consistência e alto grau de confiança nos resultados. Os achados sugerem que o item execução dos elementos requeridos apresentou alta objetividade no que diz respeito aos juízes com diferentes níveis de experiência, GI e GN, independentemente da categorização e do tempo de prática. A FINA alterou o número de juízes e o número de itens que são avaliados nas provas de rotina. Sugere-se que a redução dos itens tenha contribuído para que os juízes se concentrassem mais na avaliação.