Rendimiento de DeepSeek V3.2 y ChatGPT 5.1 en el triaje musculoesquelético y el diagnóstico diferencial de pacientes ambulatorios con dolor lumbar: estudio comparativo multidimensional

Resumen

Antecedentes: Los pacientes ambulatorios que presentan dolor lumbar (lumbalgia) a menudo requieren una clasificación previa a la consulta eficiente y un apoyo diagnóstico diferencial temprano. Los modelos de lenguaje grandes pueden ayudar en estas tareas basadas en texto, pero su desempeño en diferentes condiciones de información clínica aún no está claro.

Objetivo: Este estudio tuvo como objetivo comparar el rendimiento de ChatGPT (5.1; OpenAI) y DeepSeek (V3.2; DeepSeek AI) en la clasificación de trastornos musculoesqueléticos (TME) y el diagnóstico diferencial de pacientes ambulatorios con dolor lumbar utilizando registros de pacientes ambulatorios del mundo real bajo 2 condiciones de información simuladas.

Métodos: Este estudio comparativo retrospectivo se llevó a cabo en un hospital universitario académico de tercer nivel en Beijing. Se incluyeron un total de 160 casos mediante un diseño equilibrado en 8 categorías de diagnóstico (20 por categoría); 6 TME y 2 no TME. La evaluación se realizó en 2 fases: Fase 1 (queja principal) y Fase 2 (cuestionario estructurado con 7 dominios o 33 ítems), ambas ejecutadas en un entorno de tiro cero utilizando indicaciones estandarizadas. Los resultados incluyeron (1) precisión de la clasificación, (2) precisión del diagnóstico preliminar y (3) concordancia en el diagnóstico diferencial. En la Fase 2, 3 evaluadores ortopédicos senior calificaron además los fundamentos del modelo en 5 dominios utilizando una escala Likert de 5 puntos.

Resultados: Para la precisión de la clasificación en los 160 casos, DeepSeek V3.2 mejoró del 84,4 % al 90,6 % (diferencia de riesgo (DR) 6,2 %, IC del 95 %: -0,7 % al 13,3 %) y ChatGPT 5.1 mejoró del 75,6 % al 93,1 % (DR 17,5 %, IC del 95 %: 10,2 %-24,9 %). Para la precisión del diagnóstico preliminar en los 120 casos musculoesqueléticos, DeepSeek V3.2 mejoró del 48,3% al 76,7% (DR 28,3%, IC del 95%: 16,8%-38,8%), mientras que ChatGPT 5.1 mejoró del 35,0% al 87,5% (DR 52,5%, IC del 95%: 42,8%-60,6%). El número medio de diagnósticos diferenciales correctos aumentó de 1,27 (DE 0,71) a 2,02 (DE 0,74) para DeepSeek V3.2 y de 1,34 (DE 0,70) a 2,03 (DE 0,77) para ChatGPT 5.1. En la Fase 2, las calificaciones de fundamento fueron generalmente buenas para ambos modelos, y ChatGPT 5.1 obtuvo una puntuación más alta en comprensión y razonamiento. El reconocimiento del mieloma múltiple (MM) siguió siendo limitado y mejoró solo del 45 % al 55 % (DeepSeek V3.2) y del 55 % al 60 % (ChatGPT 5.1). La entrada estructurada redujo los errores de riesgo de seguridad en ambos modelos, pero persistieron errores residuales, especialmente para MM y tumor espinal metastásico.

Conclusiones: Tanto ChatGPT 5.1 como DeepSeek V3.2 demostraron potencial en la clasificación basada en texto y el diagnóstico diferencial de TME para el dolor lumbar, con información clínica estructurada que generalmente mejora el rendimiento, particularmente para la precisión del diagnóstico preliminar y la concordancia del diagnóstico diferencial. Sin embargo, su sensibilidad subóptima para condiciones de alerta como el MM resalta importantes preocupaciones de seguridad, lo que indica que no deben usarse como herramientas de clasificación independientes sin supervisión médica. ChatGPT 5.1 mostró un razonamiento más sólido con entradas estructuradas basadas en calificaciones fundamentadas, mientras que DeepSeek V3.2 mostró un mejor rendimiento con entradas únicamente de queja principal, con una precisión de diagnóstico preliminar de la Fase 1 significativamente mayor y una precisión de clasificación de la Fase 1 numéricamente mayor. Estos hallazgos subrayan la necesidad de seguir perfeccionando el modelo, realizar una validación prospectiva rigurosa e integrarlo con la supervisión médica antes de la implementación clínica.

Palabras clave: ChatGPT; búsqueda profunda; diagnóstico diferencial; modelo de lenguaje grande; lumbalgia; trastornos musculoesqueléticos; triaje.

Traducido automáticamente
Publicación Original

¿Quieres recibir semanalmente y gratuitamente todos los contenidos de Fisio One?

Artículos relacionados