Web version of the protocol of the orofacial myofunctional evaluation with scores: usability and learning / Versão para Web do protocolo de avaliação miofuncional com escores: usabilidade e aprendizado

ABSTRACT Purpose The Orofacial Myofunctional Evaluation with Scores (OMES) protocol has been validated and used in clinical practice and research. The goals of this study were to develop, analyze and improve a version of OMES for the Web and to investigate the relationship between the usability judgments and the prior experience of the evaluators and whether using the interface promotes learning, as shown by the task completion time (TCT). Methods Study steps: 1) inspection of the prototype by the team; 2) evaluation of usability by three experienced speech-language pathologists (SLPs); and 3) evaluation of its usability by 12 SLPs with varying levels of experience in the use of OMES. Participants answered the Heuristic evaluation (HE), the Computer System Usability Questionnaire (CSUQ), and expressed free comments. The TCT was recorded. Results The OMES-Web reached excellent usability levels, and the participants were highly satisfied. The correlations between the participants' experience and the HE and CSUQ scores were not significant. The TCT decreased significantly throughout the tasks. Conclusion OMES-Web meets the usability criteria, and participants feel satisfied with the system regardless of their level of experience. The fact that it is easy to learn favors its adoption by professionals.

RESUMO Objetivo O Protocolo de Avaliação Miofuncional Orofacial com Escores (AMIOFE) é validado e usado na prática clínica e pesquisas. Os objetivos deste estudo foram desenvolver, analisar e aprimorar a versão do AMIOFE para a Web e investigar a relação entre os julgamentos de usabilidade e a prévia experiência dos avaliadores, e se o manuseio da interface promove o aprendizado, baseado no tempo para completar a tarefa (TCT). Método Passos do estudo: 1) inspeção do protótipo pela equipe; 2) avaliação de usabilidade por três fonoaudiólogos experientes; e 3) avaliação de usabilidade por 12 fonoaudiólogos com variados níveis de experiência no uso do AMIOFE. Avaliação heurística (HE), Computer System Usability Questionnaire (CSUQ) e livre expressão dos participantes foram realizadas. O TCT foi registrado. Resultados O AMIOFE-Web atingiu ótimos níveis de usabilidade e os participantes mostram-se altamente satisfeitos (Escala geral do CSUQ; Média= 1,31, DP= 0,31). A relação da experiência dos participantes e a HE e o CSUQ não foi significativa. O TCT decresceu significantemente ao longo das tarefas, mostrando que o sistema é fácil de aprender e usar. Conclusão O AMIOFE-Web atende os critérios de usabilidade e os participantes sentiram-se satisfeitos com o sistema, independentemente de seus níveis de experiência. O fato de ser de fácil aprendizado é um fator favorável para a sua adoção por profissionais.

Pesquisa de satisfação dos médicos de família do Brasil com o uso de prontuários eletrônicosPesquisa de satisfação dos médicos de família do Brasil com o uso de prontuários eletrônicos / Satisfaction survey of family doctors in Brazil with the use of electronic medical records

A informatização da medicina busca potencializar o sistema de saúde, mas diversas dificuldades são encontradas na usabilidade dos sistemas pelos profissionais. No Brasil, sabe-se muito pouco sobre a percepção dos médicos sobre o uso de prontuários eletrônicos. O objetivo desta pesquisa foi identificaro nível de satisfação dos médicos de família com o uso de prontuários eletrônicos. Trata-se de pesquisa observacional transversal, com aplicação de questionário para a avaliação do grau de satisfação dos usuários de prontuários eletrônicos. Para a análise, foi utilizada a metodologia de mineração de dados com ferramentas específicas. O alto nível de satisfação esteve relacionado à capacidade de o prontuário prevenir erros, prover prescrição rápida e fácil, ajudar a atender mais pacientes, facilitar a discussão de casos e realizar tarefas. Jáa insatisfação esteve relacionada a suporte técnico ruim, falta de ferramentas de suporte à decisão clínica, ser empecilho à relação médico paciente e alertas ruins. Apesar do nível de satisfação geral ser baixo, os médicos demonstraram gostar de usar o prontuário eletrônico. Este estudo é uma oportunidade para reflexão sobre as demandas mais urgentes no aprimoramento desses sistemas e para planejamento de ações futuras.

The informatization of medicine aims to improve the health system. Professionals encounter several difficulties with the usability of systems. In Brazil, very little is known about physicians' perceptions of the use of electronic medical records. The objective of this research is to identify the level of satisfaction of family doctors with the use of electronic medical records. This is a cross-sectional observational study, with the application of a questionnaire to assess the degree of the user's satisfaction with electronic medical records. For analysis, the data mining methodology with specific tools was used. A high level of satisfaction was related to several factors: the ability of the medical record to prevent errors, quick and easy prescriptions, support in seeing more patients, facilitating case discussions, and task performance. On the other hand, dissatisfaction was related to poor technical support, lack of clinical decision support tools, obstructing the doctor-patient relationship, and deficient alerts. Despite the low level of overall satisfaction, physicians demonstrated that they enjoyed using the electronic medical record. This study is an opportunity to reflect on the most urgent demands for improving these systems and plan future actions.

Quality of the documentation of the Nursing process in clinical decision support systems / Qualidade da documentação do processo de enfermagem em sistemas de apoio à decisão clínica / Calidad de la documentación del proceso de Enfermería en sistemas de apoyo a la decisión clínica

Objective: to compare the quality of the Nursing process documentation in two versions of a clinical decision support system. Method: a quantitative and quasi-experimental study of the before-and-after type. The instrument used to measure the quality of the records was the Brazilian version of the Quality of Diagnoses, Interventions and Outcomes, which has four domains and a maximum score of 58 points. A total of 81 records were evaluated in version I (pre-intervention), as well as 58 records in version II (post-intervention), and the scores obtained in the two applications were compared. The interventions consisted of planning, pilot implementation of version II of the system, training and monitoring of users. The data were analyzed in the R software, using descriptive and inferential statistics. Results: the mean obtained at the pre-intervention moment was 38.24 and, after the intervention, 46.35 points. There was evidence of statistical difference between the means of the pre- and post-intervention groups, since the p-value was below 0.001 in the four domains evaluated. Conclusion: the quality of the documentation of the Nursing process in version II of the system was superior to version I. The efficacy of the system and the effectiveness of the interventions were verified. This study can contribute to the quality of documentation, care management, visibility of nursing actions and patient safety.

Objetivo: comparar a qualidade da documentação do processo de enfermagem em duas versões de um sistema de apoio à decisão clínica. Método: estudo quantitativo, quase-experimental do tipo antes e depois. O instrumento utilizado para mensurar a qualidade dos registros foi o Quality of Diagnoses, Interventions and Outcomes Versão Brasileira, que possui quatro domínios e escore máximo de 58 pontos. Foram avaliados 81 registros na versão I (pré-intervenção), 58 registros da versão II (pós-intervenção) e comparados os escores obtidos nas duas aplicações. As intervenções consistiram em planejamento, implantação piloto da versão II do sistema, treinamento e acompanhamento dos usuários. Os dados foram analisados no software R, utilizando-se estatística descritiva e inferencial. Resultados: a média obtida na pré-intervenção foi de 38,24 e pós-intervenção, 46,35 pontos. Houve evidências de diferença estatística entre as médias dos grupos pré e pós-intervenção, visto que o valor-p foi menor que 0,001 nos quatro domínios avaliados. Conclusão: a qualidade da documentação do processo de enfermagem na versão II do sistema foi superior à versão I. A eficácia do sistema e a efetividade das intervenções foram comprovadas. Este estudo pode contribuir para a qualidade da documentação, gerenciamento do cuidado, visibilidade das ações de enfermagem e segurança do paciente.

Objetivo: comparar la calidad de la documentación del proceso de Enfermería en dos versiones de un sistema de apoyo a la decisión clínica. Método: estudio cuantitativo y cuasi-experimental del tipo antes y después. El instrumento que se usó para medir la calidad de los registros fue la versión brasileña del Quality of Diagnoses, Interventions and Outcomes, que contiene cuatro dominios y puntaje máximo de 58 puntos. Se evaluaron 81 registros en la versión I (pre-intervención), 58 registros de la versión II (post-intervención) y se compararon las puntuaciones logradas en las dos aplicaciones. Las intervenciones consistieron en planificar, implementar de forma piloto la versión II del sistema, entrenar y realizar un seguimiento a los usuarios. Los datos se analizaron en el software R, utilizando estadística descriptiva e inferencial. Resultados: el promedio obtenido en el momento pre-intervención fue de 38,24 y en la post-intervención fue de 46,35 puntos. Se registraron evidencias de diferencia estadística entre los promedios de los grupos pre- y post-intervención, visto que el valor-p fue menor que 0,001 en los cuatro dominios evaluados. Conclusión: la calidad de la documentación del proceso de Enfermería en la versión II del sistema fue superior a la versión I. Se comprobó la eficacia del sistema y la efectividad de las intervenciones. Este estudio pudo contribuir para la calidad de la documentación, gerenciamiento de la atención, visibilidad de las acciones de Enfermería y seguridad del paciente.

Avaliação de usabilidade de sistema de apoio à decisão clínica do processo de enfermagem / Usability Evaluation Nursing Process-Clinical Decision Support System

Introdução: A maioria dos países do mundo está implantando o Registro Eletrônico em Saúde como uma das iniciativas mais importantes em sua política de assistência à saúde, na perspectiva de obter atendimento seguro e de qualidade. No entanto, problemas de usabilidade podem afetar a eficácia, a eficiência e a satisfação do usuário. Objetivo: avaliar a usabilidade de um Sistema de Apoio à Decisão Clínica para documentar o Processo de Enfermagem. Método: estudo quantitativo, desenvolvido em três etapas. A primeira etapa configurou o delineamento quase- experimental, do tipo antes de depois, comparando a qualidade de 81 registros de enfermagem da Versão I do sistema (pré-intervenção) com 58 registros da versão II (pós-intervenção). O instrumento utilizado foi o Quality of Diagnoses, Interventions and Outcomes Q-DIO Versão Brasileira, que possui quatro domínios e escore máximo de 58 pontos. As intervenções consistiram em planejamento e implantação piloto da versão II do sistema, treinamento e acompanhamento dos usuários. A segunda etapa correspondeu à avaliação da eficiência por meio da mensuração do tempo despendido pelo enfermeiro para documentar a Avaliação de Enfermagem e à correlação com os itens da avaliação. Na terceira etapa, foi medida a satisfação dos usuários na utilização da versão II do sistema por meio do questionário Software Usability Measurement Inventory SUMI, cujas escalas possuem escores padronizados com referência a uma média populacional de 50 pontos. Os escores das escalas SUMI foram computados e analisados no software SUMISCO. Os demais dados foram analisados no software R, utilizando estatística descritiva e inferencial. A coleta de dados das três etapas ocorreu entre janeiro de 2019 e janeiro de 2020. Resultados: A média obtida na aplicação do Q-DIO foi 38,24 pontos na versão I e 46,35 pontos na versão II. Houve evidências de diferença estatística entre as médias dos grupos pré e pós-intervenção (valor-p menor que 0,001) e diminuição dos itens não documentados nos quatro domínios avaliados. O tempo médio despendido pelo enfermeiro para documentar a Avaliação de Enfermagem foi de 12,5 minutos, desvio padrão de 11,2 minutos e mediana de 8,9 minutos. A média dos enfermeiros nas escalas SUMI foram: Eficiência 59,58, Satisfação 56,83, Utilidade 55,92, Controle 44,80, Aprendizagem 55,75 e Usabilidade Global 56,00. A média dos técnicos de enfermagem foram: Eficiência 60,42, Satisfação 62,58, Utilidade 60,84, Controle 54,47, Aprendizagem 65,79 e Usabilidade Global 60,68. Conclusões: a qualidade da documentação na versão II do sistema foi superior à versão I. A eficácia do sistema para documentar o Processo de Enfermagem e a efetividade das intervenções foram comprovadas. A avaliação da eficiência identificou o tempo despendido para documentar a Avaliação de Enfermagem. A média na maioria das escalas SUMI ficaram acima do banco de dados de referência internacional, exceto na escala Controle que ficou abaixo do valor médio na avaliação dos enfermeiros. Apontados problemas de usabilidade que podem impactar negativamente na experiência do usuário. Este estudo contribui para a prática clínica, auditoria de qualidade da documentação, visibilidade da enfermagem enquanto ciência do cuidado, desenvolvimento e implementação de sistemas de apoio à decisão clínica funcionais, interativos e amigáveis.

Introduction: most countries in the world have been implementing the Electronic Health Record as one of the most important initiatives of their health care policy, with a view to obtaining safe and quality care. However, usability issues can affect the effectiveness, efficiency and users satisfaction. Objectives: assessing the usability of a Clinical Decision Support System used for Nursing Process documentation purposes. Method: quantitative study developed in three stages. The first stage comprised the adoption of a quasi-experimental design (of the before and after type) comparing the quality of 81 nursing records of Version I of the system (pre-intervention) with 58 records of version II (post-intervention). The instrument used was the Quality of Diagnoses, Interventions and Outcomes - Q-DIO Brazilian Version, which has four domains and a maximum score of 58 points. The interventions consisted of planning and pilot implementing the system version II, users training and monitoring. The second stage comprised efficiency analysis based on the time spent by nurse to document the Nursing Assessment and the correlation with the assessment items. The third stage referred to users satisfaction assessment based on the Software Usability Measurement Inventory - SUMI questionnaire, whose scales have standardized scores with reference to a population average of 50 points. The scores of the SUMI scales were computed and analyzed using the SUMISCO software. The other data were analyzed using R software, and descriptive and inferential statistics. Data collection for the three stages took place between January 2019 and January 2020. Results: The average Q-DIO scores reached 38.24 points (in version I) and 46.35 points (in version II). There was evidence of statistical difference between the means of the pre and post- intervention groups (p-value less than 0.001) and a decrease in the undocumented items in the four domains evaluated. The mean time spent by nurse to document the assessment in the system was 12.5 minutes (standard deviation = 11.2 minutes and median = 8.9 minutes). Nurses recorded the following averages: Global Usability (56.00), Efficiency (59.58), Affect (56.83), Helpfulness (55.92), Control (44.80) and Learnability (55.75). Nursing technicians recorded the following averages: Global Usability (60.68), Efficiency (60.42), Affect (62.58), Helpfulness (60.84), Control (54.47) and Learnability (65.79). Conclusion: the quality of the documentation in version II of the system was superior to version I. The effective of the system to document the Nursing Process and the effectiveness of interventions were proven. The efficiency analysis identified the time spent to document the Nursing Assessment. The average recorded in most SUMI scales was higher than that of the international reference database, except for the Control scale, which recorded below-the-average value in the nurses evaluation. Usability issues pointed out may negatively affect the user experience. This study contributes to clinical practice, documentation quality audit, visibility of nursing as a science of care, development and implementation of functional, interactive and friendly support systems for clinical decision.