Saltar al contenido

Evaluar la legibilidad, la calidad y la confiabilidad de las respuestas producidas por ChatGPT, Géminis y la perplejidad con respecto a las palabras clave más frecuentes sobre el dolor lumbar

Resumen

Antecedentes:

Los pacientes que están informados sobre las causas, fisiopatología, tratamiento y prevención de una enfermedad están mejor capaces de participar en los procedimientos de tratamiento en caso de enfermedad. La inteligencia artificial (IA), que ha ganado popularidad en los últimos años, se define como el estudio de algoritmos que proporcionan a las máquinas la capacidad de razonar y realizar funciones cognitivas, incluido el reconocimiento de objetos y palabras, la resolución de problemas y la toma de decisiones. Este estudio tuvo como objetivo examinar la legibilidad, la confiabilidad y la calidad de las respuestas a las palabras clave frecuentemente solicitadas sobre el dolor lumbar (LBP) dada por tres chatbots basados ​​en IA diferentes (chatgpt, perplexity y gemini), que son aplicaciones populares en la presentación de información en línea hoy.

Métodos:

A los tres chatbots de IA se les preguntó a las 25 palabras clave utilizadas con mayor frecuencia relacionadas con LBP determinadas con la ayuda de Google Trend. Para evitar el posible sesgo que podría crearse mediante el procesamiento secuencial de palabras clave en las respuestas dadas por los chatbots, el estudio se diseñó al proporcionar información de diferentes usuarios (EO, VH) para cada palabra clave. La legibilidad de las respuestas dadas se determinó con la simple medida de Gobbledygook (SMOG), puntajes de Flesch Reading Fase (FRES) y los puntajes de legibilidad de niebla de armas (GFG). La calidad se evaluó utilizando el puntaje de calidad global (GQS) y la puntuación de información de calidad para los pacientes (EQIP). La fiabilidad se evaluó determinando con escamas Discern y Journal of American Medical Association (JAMA).

Resultados:

Las primeras tres palabras clave detectadas como resultado de la búsqueda de tendencias de Google fueron “dolor lumbar”, “dolor lumbar ICD 10” y “síntomas de dolor lumbar”. Se determinó que la legibilidad de las respuestas dadas por todos los chatbots de IA fue mayor que el nivel recomendado de legibilidad de sexto grado (pag <0.001). En el EQIP, JAMA, la evaluación de la puntuación de discernir y GQS modificado, se descubrió que la perplejidad tenía puntajes significativamente más altos que otros chatbots (pag <0.001).

Conclusión:

Se ha determinado que las respuestas dadas por los chatbots de IA a las palabras clave sobre LBP son difíciles de leer y tienen baja confiabilidad y evaluación de calidad. Está claro que cuando se introducen nuevos chatbots, pueden proporcionar una mejor orientación a los pacientes con mayor claridad y calidad de texto. Este estudio puede proporcionar inspiración para futuros estudios sobre la mejora de los algoritmos y respuestas de los chatbots de IA.

Palabras clave:

Inteligencia artificial; Chatgpt; Géminis; Lumbalgia; Información médica en línea; Perplejidad.

(Tagstotranslate) PMID: 39866564

Traducido automáticamente
Publicación Original