¿Qué tan preciso es AI? Una evaluación crítica de los modelos de lenguaje grande comúnmente utilizados para responder a las preocupaciones de los pacientes sobre tumores de riñón incidentales

Antecedentes: Los modelos de idiomas grandes (LLM) como ChatGPT, Google Gemini y Microsoft Copilot son utilizados cada vez más por pacientes que buscan información médica en línea. Si bien estas herramientas proporcionan explicaciones accesibles y conversacionales, su precisión y seguridad en escenarios emocionalmente sensibles, como un diagnóstico de cáncer incidente, el diagnóstico es incierto. Objetivo: Para evaluar la calidad, la integridad, la legibilidad y la seguridad de las respuestas generadas por tres LLM de última generación a las preguntas comunes del paciente después del descubrimiento incidental de un tumor renal. Métodos: Se desarrolló un escenario estandarizado de casos de uso: un paciente se entera de una masa renal sospechosa después de un escaneo de tomografía computarizada (CT) por dolor de espalda. Se enviaron diez indicaciones de lenguaje simple que reflejan las preocupaciones típicas del paciente a ChatGPT-4O, Copilot de Microsoft y Google Gemini 2.5 Pro sin contexto adicional. Las respuestas fueron evaluadas de forma independiente por cinco urólogos certificados por la junta utilizando una rúbrica validada de seis dominios (precisión, integridad, claridad, moneda, riesgo de daño, alucinaciones), puntuadas en una escala Likert 1-5. Se aplicaron dos enfoques estadísticos para calcular las puntuaciones descriptivas y la confiabilidad entre evaluadores (Kappa de Fleiss). La legibilidad se analizó utilizando las métricas de nivel de grado de lectura Flesch (FRE) y Flesch-Kincaid (FKGL). Resultados: Google Gemini 2.5 Pro logró las calificaciones medias más altas en la mayoría de los dominios, en particular en precisión (4.3), integridad (4.3) y baja tasa de alucinación (4.6). Copilot de Microsoft fue observado por un lenguaje empático y renuncias consistentes, pero mostró puntajes de claridad y moneda ligeramente más bajos. CHATGPT-4O demostró fortalezas en el flujo de conversación, pero mostró más variabilidad en la precisión clínica. En general, el 14% de las respuestas fueron marcadas como potencialmente engañosas o incompletas. El acuerdo entre evaluadores fue sustancial en todos los dominios (κ = 0.68). La legibilidad varió entre los modelos: las respuestas de ChatGPT fueron más fáciles de entender (FRE = 48.5; FKGL = 11.94), mientras que las de Gemini fueron los más complejos (FRE = 29.9; FKGL = 13.3). Conclusiones: Los LLM muestran prometedor en la comunicación orientada al paciente, pero actualmente no tienen información consistentemente precisa, completa y conformada en contextos de alto riesgo, como diagnósticos de cáncer incidental. Si bien su tono y estructura pueden respaldar la participación del paciente, no deben usarse de forma autónoma para el asesoramiento. El ajuste adicional, la validación clínica y la supervisión son esenciales para la integración segura en la atención al paciente.