Масштабные нейросети и языковые модели, вроде знаменитого ChatGPT — 4 от компании OpenAI, не справляются с анализом медицинских записей и не могут надежно извлекать из них достоверную информацию. К такому выводу пришли ученые из Колумбийского университета в ходе своего нового исследования, опубликованного на страницах специализированного издания JAMA Network Open.
Источник изображения: flickr.com/
Отмечается, что в этот раз ученые решили изучить способность нейросети определить, носили ли пациенты, получившие травмы во время катания на велосипедах и скутерах, шлемы. Это исследование охватило 54,5 тысяч случаев обращения граждан за медицинской помощью в период 2019-2022 годов. В итоге ChatGPT — 4 так и не удалось эффективно заменить традиционную методику поиска по текстовым данным для извлечения соответствующей информации.
Языковая модель могла демонстрировать удовлетворительные результаты работы лишь при условии наличии всех текстов, которые использовались в рамках строкового поиска, однако при интерпретации отдельных отрицательных фраз, к примеру «без шлема», она раз за разом сталкивалась со сложностями.
Несмотря на то, что использования Зыковых моделей для анализа медицинских записей в определенной степени имеет потенциал, нынешний уровень развития таких технологий ограничивает их возможности и не позволяет говорить о достаточной степени надежности. Кроме того, ученые подчеркивают, что ChatGPT — 4 пока еще не способен полноценно и последовательно выполнять отдельные задачи такого характера, что является очередным подтверждением необходимости разрабатывать более устойчивые методы извлечения данных из клинических записей.
Ранее JAMA Network Open опубликовало результаты исследования, согласно которым использование планшетов делает детей более агрессивными.