ChatGPT и Google для улучшения читаемости информации

ChatGPT и Google для улучшения читаемости информации

Европейский журнал по сестринскому делу в области сердечно-сосудистой патологии

Generative Pre-trained Transformer (GPT)

Обучение пациентов играет решающую роль в информировании пациентов и их семей о заболеваниях и связанных с ними методах лечения. В США и Канаде большинство взрослых читают на уровне 8-го класса, что эквивалентно уровню грамотности лиц в возрасте 13–14 лет. Кроме того, 20% населения читают на уровне 5-го класса или ниже, что соответствует уровню чтения детей в возрасте 10–11 лет. Чтобы максимизировать понимание и приверженность, учебные материалы для пациентов должны быть написаны на уровне чтения, который как минимум на 2 или более классов ниже среднего уровня чтения. Поэтому для письменных информационных материалов для пациентов рекомендуется уровень чтения 6-го класса (возраст 11–12 лет) или ниже.

Филип Мунс (Philip Moons)

К сожалению, образовательные материалы часто пишутся на уровне, который слишком продвинут для целевой аудитории. Это может произойти из-за того, что поставщики медицинских услуг могут переоценивать уровень грамотности населения в целом, использовать медицинскую терминологию или не собирать достаточных отзывов от пациентов относительно понятности материалов. Когда оценка показывает, что уровень чтения текста слишком высок для предполагаемой аудитории, необходимо пересмотреть и упростить материал. Однако достижение точного уровня чтения 6-го класса может быть сложной задачей, поскольку трудно точно определить, как текст должен выглядеть на этом уровне. Одним из возможных решений проблемы может быть использование языковых моделей искусственного интеллекта, таких как ChatGPT или Google Bard. Важнейший вопрос заключается в том, можно ли использовать ChatGPT или Google Bard для повышения читаемости информационных материалов для пациентов. Чтобы изучить эту возможность, авторы провели концептуальное исследование с использованием ChatGPT и Bard для повышения читаемости уже имеющейся письменной информации для пациентов.

Лисбет Ван Балк (Liesbet Van Bulck)

Информационные материалы создаются учреждениями здравоохранения и отдельными поставщиками. Кроме того, научные журналы все чаще начали публиковать материалы, которые могут быть использованы для обучения пациентов. Например, JAMA представляет серию «Информация для пациентов», а Cochrane Library включает «Резюме простым языком», сопровождающее каждую опубликованную статью. Кроме того, European Journal of Cardiovascular Nursing (EJCN) ввел раздел «Наука для пациентов», в котором представлены результаты систематических обзоров на простом английском языке для облегчения понимания среди пациентов, их семей и широкой общественности. Ключевой вопрос заключается в том, соответствует ли информация для пациентов, опубликованная в этих журналах, рекомендуемому уровню чтения для 6-го класса.

Исследуя этот вопрос выбрали 3 статьи с информацией для пациентов из вышеупомянутых журналов, посвященных сердечно-сосудистым заболеваниям. Несколько формул, таких как уровень оценки Флеша-Кинкейда, индекс SMOG или индекс Коулмана-Лиау, могут быть использованы для оценки уровня чтения текстов. Эти формулы учитывают такие факторы, как длина слова, длина предложения и количество слогов в слове. Поскольку не существует определенного стандарта для оценки уровня чтения, рекомендуется использовать комбинацию различных формул. Для оценки читаемости 3 выбранных статей с информацией для пациентов использовали онлайн-инструмент, доступный по адресу readabilityformulas.com. Инструмент включает 7 различных формул, предоставляя баллы для каждой, а также общую оценку уровня чтения. Чтобы проверить валидность этого инструмента, оценили 2 текста, которые написаны на уровне чтения 6-го класса.

Эти тексты оценены как написанные на уровне чтения 6-го и 7-го классов. Таким образом, инструмент способен правильно оценить уровень чтения, но он также может немного переоценить уровень. В целом, статьи, опубликованные в JAMA, Cochrane и EJCN, признаны написанными на уровне чтения 11-го, 17-го (выпускник колледжа) и 10-го классов соответственно. Даже если инструмент оценки немного переоценил бы уровень чтения, статьи признаны слишком сложными для уровня чтения населения в целом. Специалисты попросили ChatGPT и Bard упростить текст, используя следующую подсказку: «Пожалуйста, переформулируйте следующий текст до уровня чтения 6 класса» и вставили исходный текст. Затем оценивался уровень чтения полученного текста. Если текст не соответствовал желаемому уровню 6-го класса, просили переформулировать исходный текст до уровня 5-го и 4-го классов.

ChatGPT снизил уровень чтения информации для пациентов в JAMA с 11-го до 9-го класса, а резюме простым языком в Cochrane с 17-го до 11-го. Для EJCN уровень чтения остался на уровне 10-го класса. Чем сложнее исходный текст, тем больше улучшение читабельности. Однако ChatGPT не смог достичь желаемого уровня владения чтением 6-го класса. При изучении результатов раздела Science for Patients Европейского журнала EJCN замечено, что упрощенный текст значительно короче исходного текста. ChatGPT попытался упростить текст, сократив количество слов на 44%. С другой стороны, количество слов в разделах из JAMA и Cochrane оставалось относительно стабильным.

Напротив, Барду удалось снизить уровень чтения разделов из JAMA и Cochrane до уровня учащихся 6-го класса. Однако для раздела EJCN самый низкий достигнутый уровень чтения - уровень 8-го класса. Однако поразительно, что Бард существенно сократил длину текста, пытаясь упростить его. В частности, разделы из JAMA, Cochrane и EJCN стали на 60%, 61% и 83% короче оригинальных версий, соответственно. Следовательно, в процессе пропущена значительная информация.

Таким образом, представлено доказательство концепции, которое демонстрирует ценность использования ChatGPT и Google Bard для упрощения текстов и повышения читабельности. Хотя ChatGPT не достиг рекомендуемого уровня чтения 6-го класса, он показал себя намного лучше, чем Bard, который пропустил значительные куски текста - до 83%.

Авторы призывают разработчиков письменных информационных материалов использовать ChatGPT для оптимизации своего контента до уровня чтения населения в целом. Европейский журнал по сестринскому делу в области сердечно-сосудистой патологии должен принять этот подход для дальнейшего улучшения раздела «Наука для пациентов».

Филип Мунс (Philip Moons), Лисбет Ван Балк (Liesbet Van Bulck), Университет Лёвена, Бельгия, "Использование ChatGPT и Google Bard для улучшения читаемости письменной информации для пациентов: доказательство концепции", "Европейский журнал по сестринскому делу при сердечно-сосудистых заболеваниях" (European Journal of Cardiovascular Nursing), 23 (2), март 2024.

10.11.2024