Performance evaluation of a Sars-CoV-2 rapid test and two automated immunoassays / Avaliação do desempenho de teste rápido e de dois imunoensaios automatizados para Sars-CoV-2

ABSTRACT Introduction: Due to urgency and demand of a response to the Covid-19 pandemic, numerous Sars-CoV-2 immunoassays have been rapidly developed. Objective: This study aimed at assessing the performance of rapid Sars-CoV-2 antibody test in comparison to high-throughput serological assays. Methods: A total of 86 serum samples were evaluated in the three assays: a lateral flow immunoassay - Wondfo Sars-CoV-2 Antibody Test (WRT) - and two chemiluminescence immunoassays: Elecsys Anti-Sars-CoV-2 (ECLIA), and Sars-CoV-2 IgG (CMIA-IgG). Results: The estimated diagnostic sensitivities of serological tests in the evaluation of serum samples from the epidemiological survey were: WRT 59% [95% confidence interval (CI) 43.4%-72.9%], ECLIA 66.7% (51%-79.4%), and CMIA-IgG 61.5% (47.1%-73%). Meanwhile, the estimated diagnostic specificity was for WRT 78.7% (95% CI 65.1%-88%), ECLIA 72.3% (58.2%-83.1%), and CMIA-IgG 76.6% (74%-95.5%). The sensitivity and specificity values were lower than manufacturers' claimed. Although 16.2% (14/86) of serological results were discordant among the three Sars-CoV-2 serological assays, the degree of agreement by the kappa index was adequate: WRT/CMIA-IgG [0.757 (95% CI 0.615-0.899)], WRT/ECLIA [0.715 (0.565-0.864)], and ECLIA/CMIA-IgG [0.858 (0.748-0.968)]. Conclusion: The serological testing may be a useful diagnostic tool, which reinforces its careful evaluation, and, as well as the correct time to use it.

RESUMEN Introducción: Debido a la urgencia y la demanda de una respuesta a la pandemia de Covid-19, se han desarrollado rápidamente numerosos inmunoensayos del Sars-CoV-2. Objetivo: Este estudio tuvo como objetivo evaluar el rendimiento de la prueba rápida de anticuerpos contra el Sars-CoV-2 en comparación con los ensayos serológicos de alto rendimiento. Métodos: Se evaluaron un total de 86 muestras de suero en los tres ensayos: un inmunoensayo de flujo lateral - Wondfo Sars-CoV-2 Antibody Test (TRW) - y dos inmunoensayos de quimioluminiscencia: Elecsys Anti-Sars-CoV-2 (ECLIA) y Sars-CoV-2 IgG (CMIA-IgG). Resultados: Las sensibilidades diagnósticas estimadas de las pruebas serológicas en la evaluación de muestras de suero de la encuesta epidemiológica fueron: WRT 59% [intervalo de confianza (IC) del 95%: 43,4%-72,9%], ECLIA 66,7% (51%-79,4%) y CMIA-IgG 61,5% (47,1%-73%). Mientras tanto, la especificidad diagnóstica estimada fue para WRT 78,7% (95% CI 65,1%-88%), ECLIA 72,3% (58,2%-83,1%) y CMIA-IgG 76,6% (74%-95,5%). Los valores de sensibilidad y especificidad fueron más bajos que los declarados por los fabricantes. Aunque el 16,2% (14/86) de los resultados fueron discordantes entre los tres ensayos serológicos del Sars-CoV-2, el grado de concordancia del índice kappa fue adecuado: WRT/CMIA-IgG [0,757 (IC del 95%: 0,615-0,899)], WRT/ECLIA [0,715 (0,565-0,864)] y ECLIA/CMIA-IgG [0,858 (0,748-0,968)]. Conclusión: La prueba serológica puede ser una herramienta diagnóstica útil, lo que refuerza su evaluación cuidadosa, así como el momento adecuado para usarla.

RESUMO Introdução: Em função da urgência e demanda de uma resposta à pandemia do novo coronavírus (Covid-19), vários testes de detecção de anticorpos para a síndrome respiratória aguda grave do coronavírus 2 (Sars-CoV-2) têm sido desenvolvidos. Objetivo: Este estudo teve como objetivo avaliar o desempenho do teste rápido utilizado em um inquérito epidemiológico para Sars-CoV-2 em comparação com outros ensaios sorológicos. Métodos: Foram avaliadas 86 amostras de soro em três ensaios sorológicos: um imunoensaio de fluxo lateral - Wondfo Sars-CoV-2 Antibody Test (TRW) - e dois imunoensaios de quimioluminescência: Elecsys anti-Sars-CoV-2 (ECLIA) e Sars-CoV-2 IgG (CMIA-IgG). Resultados: As sensibilidades diagnósticas estimadas dos testes sorológicos na avaliação dessas amostras foram: TRW 59% [95% intervalo de confiança (IC) 43,4%-72,9%], ECLIA 66,7% (51%-79,4%) e CMIA-IgG 61,5% (47,1%-73%). Enquanto isso, a especificidade diagnóstica estimada para TRW foi 78,7% (95% CI 65,1%-88%), ECLIA 72,3% (58,2%-83,1%) e CMIA-IgG 76,6% (74%-95,5%). Os valores de sensibilidade e especificidade foram inferiores aos afirmados pelos fabricantes. Embora 16,2% (14/86) dos resultados tenham sido discordantes entre os três ensaios serológicos para Sars-CoV-2, o grau de concordância pelo índice Kappa foi adequado: TRW/CMIA-IgG [0,757 (95% IC 0,615-0,899)], TRW/ECLIA [0,715 (0,565-0,864)] e ECLIA/CMIA-IgG [0,858 (0,748-0,968)]. Conclusão: O teste sorológico pode ser uma ferramenta diagnóstica útil, o que reforça sua avaliação criteriosa, bem como o momento correto de sua utilização.

Performance evaluation of HIV infection diagnostic tests / Avaliação do desempenho de testes para diagnóstico da infecção pelo HIV

ABSTRACT Introduction: Many factors can impact the performance of diagnostic assays for the human immunodeficiency virus (HIV) infection, affecting the results of population surveys. Objective: The objective of this study was to evaluate the performance of point-of-care rapid tests (RT) used for HIV diagnosis as compared to conventional tests in blood samples from a population of transvestites and transsexual women. Methods: A total of 1,385 samples with HIV RT results were submitted to Instituto Adolfo Lutz for evaluation by conventional laboratory tests. Results: HIV positivity was confirmed by conventional laboratory tests in 100% of the 240 (17.3%) samples with reactive RT. However, 1,145 (82.7%) samples with non-reactive RT results were evaluated; three (0.3%) tested positive and one (0.1%), indeterminate for HIV. Although a proportion of discordant results were found, the point-of-care RTs showed a high confirmation rate when compared to the serological tests. Conclusion: The data of this study corroborate the importance of adopting effective management tools to ensure quality of HIV infection diagnosis.

RESUMEN Introducción: Muchos factores pueden impactar en el desempeño pruebas para diagnóstico de la infección por el virus de la inmunodeficiencia humana (VIH), comprometiendo los resultados de investigaciones poblacionales. Objetivo: El objetivo de este estudio fue evaluar el desempeño de pruebas rápidas (PR) en el punto de atención utilizadas para diagnosticar el VIH en relación con las pruebas convencionales en muestras de sangre de la población de travestis y mujeres transexuales en la ciudad de São Paulo, São Paulo, Brasil. Métodos: Un total de 1.385 muestras con resultados de PR de VIH se remitieron al Instituto Adolfo Lutz (IAL), para ser evaluadas por pruebas de laboratorio convencionales. Resultados: De las 240 (17,3%) muestras que presentaron resultado reactivo en las PR, positividad para VIH se confirmó en el 100% por pruebas de laboratorio convencionales. Sin embargo, de las 1.145 (82,7%) muestras evaluadas con resultado de PR non reactivo, tres (0,3%) se presentaron reactivas y una (0,1%), indeterminada para VIH. Aunque un porcentaje de resultados falsos negativos en las PR ha sido encontrado, las pruebas realizadas en el punto de atención poseen alta tasa de confirmación cuando comparadas con las pruebas serológicas. Conclusión: Los datos de este estudio resaltan la importancia de adoptar herramientas de gestión eficaces para garantizar la calidad del diagnóstico de la infección por VIH.

RESUMO Introdução: Muitos fatores podem impactar no desempenho dos testes para diagnóstico da infecção pelo vírus da imunodeficiência humana (HIV), comprometendo os resultados de pesquisas populacionais. Objetivo: O objetivo deste estudo foi avaliar o desempenho dos testes rápidos (TR) - point-of-care - utilizados para o diagnóstico do HIV em relação aos ensaios convencionais em amostras de sangue da população de travestis e mulheres transexuais da cidade de São Paulo, São Paulo, Brasil. Métodos: Ao Instituto Adolfo Lutz (IAL), 1.385 amostras com os resultados dos TR do HIV foram encaminhadas para serem avaliadas por testes laboratoriais convencionais. Resultados: Das 240 (17,3%) amostras que apresentaram resultado reagente nos TR, a positividade para HIV foi confirmada em 100% por testes laboratoriais convencionais. Entretanto, das 1.145 (82,7%) amostras com resultado de TR não reagente avaliadas, três (0,3%) apresentaram-se reagentes e uma (0,1%), indeterminada para HIV. Embora uma porcentagem de resultados falso-negativos nos TR tenha sido encontrada, os testes realizados em campo possuem alta taxa de confirmação quando comparados com os testes sorológicos. Conclusão: Os dados deste estudo ressaltam a importância da adoção de ferramentas de gestão eficazes para assegurar a qualidade do diagnóstico da infecção por HIV.

Performance of rapid tests compared to conventional tests used for HIV diagnosis / Desempenho dos testes rápidos em relação aos testes convencionais utilizados no diagnóstico de HIV

ABSTRACT Introduction: Early diagnosis is an important tool for strategies to fight human immunodeficiency virus (HIV) infection. Objective: The main objective of this study is to evaluate the comparability of the results of rapid tests (RT) used for the HIV diagnosis in relation to conventional molecular and serological tests in blood samples from a population of men who have sex with men (MSM), from 12 Brazilian capitals. Material and methods: 591 HIV-1 reactive test samples from 4176 MSM participants were submitted to Instituto Adolfo Lutz (IAL) for evaluation by conventional laboratory tests. From these samples with at least one RT reagent, 522 samples were analyzed, and in 493 (94.4%) the HIV positivity was confirmed, with 33% HIV-1 viral load above 5,000 copies/mL and 67% by the serological tests. A total of 336 (10%) samples with a non-reactive RT result were evaluated by standard serology, four (1.2%) tested positive for HIV. Results and conclusion: The results showed a high percentage of samples with confirmed HIV positivity in the conventional laboratory tests, as well as some non-reactive results that were confirmed positive, indicating some limitations of the RT single-step method. Therefore, the serological tests had a fundamental role in clarifying the diagnosis.

RESUMO Introdução: O diagnóstico precoce é um importante instrumento para estratégias de combate à infecção pelo vírus da imunodeficiência humana (HIV). Objetivo: O objetivo principal deste trabalho foi avaliar a comparabilidade do resultado de testes rápidos (TR) utilizados para o diagnóstico de HIV em relação a testes moleculares e sorológicos convencionais em amostras de sangue de população de homens que fazem sexo com homens (HSH) de 12 capitais brasileiras. Material e métodos: Foram encaminhadas ao Instituto Adolfo Lutz (IAL), 591 amostras com resultado reagente no TR HIV dos 4176 HSH participantes para serem avaliadas pelos testes laboratoriais convencionais. Dessas amostras com pelo menos um TR reagente, 522 amostras foram analisadas e em 493 (94,4%) confirmou-se a positividade para HIV, sendo 33% pela carga viral HIV-1 acima de 5.000 cópias/ml e 67% pelos testes sorológicos. Foram avaliadas pela sorologia convencional, 336 (10%) amostras com resultado de TR não reagente; quatro (1,2%) apresentaram-se reagentes para HIV. Resultados e conclusão: Os resultados mostraram elevado percentual de amostras com a positividade confirmada para HIV nos testes laboratoriais convencionais, bem como alguns resultados negativos que se confirmaram positivos, mostrando algumas limitações do método único do TR, destacando-se aos exames sorológicos papel fundamental à elucidação do diagnóstico.

Effect of multiple freeze-thaw cycles on the stability of positive anti-treponemal serum samples / Efeito dos múltiplos ciclos de congelamento e descongelamento na estabilidade de amostras de soro antitreponêmico positivo

ABSTRACT Introduction: Biological samples have long been used in multiple laboratory investigations, and this procedure has been an issue of concern, as the samples are submitted to repeated freeze-thaw cycles, which may affect the results of a particular immunodiagnostic assay, due to the occurrence of physical damage to the antibody of interest. Objective: This study aimed at investigating the impact of successive freeze-thaw cycles on the stability of serum samples stored at -20ºC regarding the reactivity of anti-treponemal antibodies. Methods: At the Immunology Center-Instituto Adolfo Lutz (IAL), the analyzed serum samples analyzed were prepared and established as reference material for anti-treponemal immunodiagnostic assays. Sera stability was evaluated by chemiluminescence assay in samples submitted to 25 successive freeze-thaw cycles, ranging from 6 to 174 cycles. Results: Neither statistically significant effect on the reactivity of anti-treponemal antibodies (p-value > 0.05), nor adverse effect were observed in weakly reactive samples, such as the occurrence of false-negative results. Conclusion: It was shown that 174 freeze-thaw cycles of anti-treponemal sera did not affect the stability and the quality of samples, when evaluated by chemiluminescence assay.

RESUMO Introdução: As amostras biológicas têm sido utilizadas em múltiplas investigações por um longo período de tempo, e existe a preocupação a respeito dos seus repetidos ciclos de congelamento e descongelamento que podem afetar os resultados de determinado ensaio imunodiagnóstico pela ocorrência de dano físico do anticorpo de interesse. Objetivo: O objetivo deste estudo foi investigar o impacto dos sucessivos ciclos de congelamento e descongelamento na estabilidade das amostras de soro armazenadas a -20ºC quanto à reatividade de anticorpos antitreponêmicos. Métodos: No Centro de Imunologia do Instituto Adolfo Lutz (IAL), as amostras de soro analisadas foram preparadas e estabelecidas como material de referência de teste imunodiagnóstico antitreponêmico. A estabilidade dos soros foi avaliada por meio de ensaio de quimioluminescência, em amostras submetidas a 25 sucessivos ciclos de congelamento e descongelamento, que variaram de 6 a 174 ciclos. Resultados: Não houve efeito estatisticamente significante na reatividade dos anticorpos antitreponêmicos (valor de p > 0,05), e nenhum efeito adverso foi observado nas amostras fracamente reagentes, como a ocorrência de resultados falso negativos. Conclusão: Foi demonstrado que os 174 ciclos de congelamento e descongelamento dos soros antitreponêmicos não afetaram a estabilidade e a qualidade das amostras, quando avaliados por meio do ensaio de quimioluminescência.

Study on the stability of HIV and syphilis reference materials under varied temperature conditions during their transportation / Estudo da estabilidade de materiais de referência para HIV e sífilis sob condições de temperatura variadas durante o transporte

ABSTRACT Introduction: The objective of this study was to evaluate the short-term stability of the serum samples used as internal quality control (IQC) of human immunodeficiency virus (HIV)/acquired immunodeficiency syndrome (Aids) and syphilis immunodiagnostic assays. These samples were produced at the Center of Immunology-Instituto Adolfo Lutz (IAL), and they were distributed to laboratories participating in the IAL Quality Control Program. Method: The sera analyzed by chemiluminescence assay were stored at varied temperature conditions: from 2ºC to 8ºC (refrigerator), from 15ºC to 25ºC (room temperature), at 37ºC (incubator) and at -20ºC (reference temperature) for 12 and 24 hours. Results: Comparative analysis of IQC results for anti-HIV and anti-T. pallidum (anti-treponemal) showed stability in the reference temperature and at the various simulated temperatures for transporting the samples at the established lengths of time. The data from the simple linear regression analysis of negative serum samples (incubator/24 hours) and in one batch of HIV IQC (room temperature/24 hours) were statistically significant at the level of 5% (p-value < 0.05). Conclusion: The sera presented necessary requirements as reference material to be transported to laboratories at refrigeration temperature (2ºC to 8ºC), at the maximum shipping time of 12 hours.

RESUMO Introdução: O objetivo deste estudo foi avaliar a estabilidade de curta duração de amostras de soro utilizadas como controle de qualidade interno (CQI) de testes imunodiagnósticos de vírus da imunodeficiência humana (HIV)/síndrome da imunodeficiência adquirida (Aids) e sífilis, produzidas no Centro de Imunologia do Instituto Adolfo Lutz (IAL) e distribuídas aos laboratórios participantes do Programa de Controle de Qualidade do IAL. Método: Os soros analisados por meio de ensaio de quimioluminescência foram armazenados em diferentes condições de temperaturas: de 2ºC a 8ºC (geladeira), de 15ºC a 25ºC (ambiente), 37ºC (estufa) e de -20ºC (referência) durante 12 e 24 horas. Resultados: A análise comparativa dos resultados do CQI HIV e T. pallidum (antitreponêmico) demonstrou que os materiais permaneceram estáveis, tanto na temperatura de referência quanto nas diferentes temperaturas simuladas para o transporte, no período de tempo estabelecido. No entanto, os resultados da análise de regressão linear simples das amostras de soro negativas (estufa/24 horas) e de um lote de CQI HIV (ambiente/24 horas) foram estatisticamente significativos ao nível de 5% (valor de p < 0,05). Conclusão: Os soros apresentaram requisitos necessários de material de referência para serem transportados aos laboratórios em temperatura de refrigeração (2ºC a 8ºC) no tempo máximo de 12 horas.

Performance validation of western blot for anti-HIV antibody detection in blood samples collected on filter paper (DBS) / Validação de desempenho do western blot para detecção de anticorpos anti-HIV em amostras de sangue coletadas em papel-filtro (DBS)

ABSTRACT Introduction: For conducting field studies on human immunodeficiency virus (HIV) serodiagnosis, the use of samples collected on filter paper [dried blood spot (DBS)] is profitable owing to the simplicity in handling and delivering them. Because of these characteristics, the use of DBS is recommended for studies in which the goal is to increase the population access to diagnostic testing, including HIV infection screening. For HIV diagnosis, the conventional strategy firstly uses an enzyme immunoassay as screening test, and the positive sample is confirmed on a complementary assay, as western blotting (WB). Objective: This study aimed at evaluating the analytical performance of WB assay for analyzing DSB samples. Method: One hundred eighteen blood samples collected in filter paper were analyzed by a modified WB. These samples derived from the SampaCentro Study, and they were HIV-antibody-positive in a screening test. In order to assess the reliability of these results, the assay performance was previously certified by employing the sample panel (reference panel) of Instituto Adolfo Lutz (IAL), which consisted of whole blood and plasma paired samples. Results: All of the DBS samples [100% (118/118)] showed the band pattern compatible with the criterion for HIV positivity established by the Ministry of Health. To validate the WB testing, the reciprocal relationship between antibody reactivity of DBS samples and of the respective plasma samples was investigated. Conclusion: WB optimization allowed the achievement of accurate results, and the easy DBS sample collection, transportation and storage will support the use of this immunodiagnostic technique for conducting HIV/acquired immunodeficiency syndrome (Aids) epidemiological surveys.

RESUMO Introdução: Em estudos de campo é vantajoso o emprego de amostras coletadas em papel de filtro (DBS) pela simplicidade em manuseá-las e transportá-las. Essas características colocam a tecnologia de DBS em posição de destaque nas pesquisas que buscam aumentar o acesso da população aos testes diagnósticos, incluindo os testes sorológicos para vírus da imunodeficiência humana (HIV). A estratégia convencional para o diagnóstico da infecção pelo HIV é utilizar um teste imunoenzimático como primeiro teste e, quando este for reagente, um teste complementar, como o western blot (WB), para confirmar a reatividade da amostra. Objetivo: Neste estudo foi avaliado o desempenho analítico do ensaio WB em amostras DBS. Método: As 118 amostras de sangue coletadas em papel-filtro, provenientes do estudo SampaCentro e reagentes para anticorpos anti-HIV no ensaio de triagem, foram analisadas no WB modificado. Para conferir a confiabilidade a esses resultados, o desempenho do ensaio foi previamente validado por meio de painel de amostras do Instituto Adolfo Lutz (IAL) (painel de referência), composto por amostras pareadas de sangue total e plasma. Resultados: Todas as amostras DBS [100% (118/118)] apresentaram o padrão de bandas compatível com o critério de positividade para HIV preconizado pelo Ministério da Saúde. Na validação do WB, foi averiguada a reciprocidade da reatividade dos anticorpos das amostras DBS e de suas respectivas amostras de plasma. Conclusão: A otimização do WB possibilitou a obtenção de resultados confiáveis, e a facilidade de execução, coleta, transporte e armazenamento de amostra DBS poderá viabilizar a utilização dessa técnica imunodiagnóstica em inquéritos epidemiológicos de HIV/síndrome da imunodeficiência adquirida (Aids).