Evaluación del rendimiento de DeepSeek-R1 como herramienta de educación para el paciente

El modelo rentable de inteligencia artificial (IA) de código abierto DeepSeek-R1 en China tiene un potencial significativo para aplicaciones de atención médica. Como herramienta de educación sanitaria, podría ayudar a los pacientes a adquirir conocimientos sobre ciencias de la salud y mejorar la alfabetización sanitaria. El dolor lumbar (LBP), el problema musculoesquelético más común a nivel mundial, ha experimentado un uso cada vez mayor de chatbots de IA basados ​​en modelos de lenguaje grande (LLM) por parte de los pacientes para acceder a información de salud, lo que hace que sea fundamental examinar más a fondo la calidad de dicha información. Este estudio tuvo como objetivo evaluar la calidad de la respuesta y la legibilidad de las respuestas generadas por DeepSeek-R1 a preguntas comunes de los pacientes sobre el dolor lumbar. Se formularon diez preguntas utilizando métodos inductivos basados ​​en análisis de literatura y datos del índice Baidu, que se presentaron a DeepSeek-R1 el 10 de marzo de 2025. La evaluación abarcó legibilidad, comprensibilidad, aplicabilidad, evaluación médica y evaluación de referencia. La legibilidad se midió utilizando el nivel de grado de Flesch-Kincaid, la escala de facilidad de lectura de Flesch, el índice de niebla Gunning, el índice de Coleman-Liau y la medida simple de Gobbledygook (índice SMOG). La comprensibilidad y la capacidad de acción se evaluaron mediante la herramienta de evaluación y materiales educativos para pacientes para materiales imprimibles (PEMAT-P). Los médicos evaluaron la precisión, la integridad y la correlación. Se utilizó una herramienta de evaluación de referencias para evaluar la calidad de las referencias y la presencia de alucinaciones. El análisis de legibilidad indicó que las respuestas de DeepSeek fueron en general «difíciles de leer», con el nivel de grado Flesch-Kincaid (media 12,39, DE 1,91), la escala de facilidad de lectura Flesch (media 19,55, primer trimestre 12,94, tercer trimestre 29,78), índice de niebla Gunning (media 13,95, DE 2,61), índice Coleman-Liau (media 17,46, DE 2,30) e índice SMOG (media 11,04, DE 1,37). PEMAT-P reveló una buena comprensibilidad pero una débil capacidad de acción. El consenso entre cinco médicos confirmó una precisión, integridad y relevancia satisfactorias. La Evaluación de Referencias identificó 9 casos (14,8%) de referencias alucinadas, mientras que el Apoyo se calificó como moderado, y la mayoría de las referencias provinieron de plataformas autorizadas. Nuestro estudio demuestra el potencial de DeepSeek-R1 en el contenido educativo para pacientes con dolor lumbar. Puede emplearse como complemento de las herramientas de educación del paciente en lugar de sustituir el juicio clínico.