SemioLLM диагностирует эпилепсию: почему врачи должны бояться, а не радоваться

Сегодня • arXiv cs.AI
Исследователи создали SemioLLM — систему, которая диагностирует эпилепсию по текстам врачебных записей с точностью 94%. Медицинское сообщество ликует: наконец-то ИИ поможет с нехваткой неврологов. Но цифры исследования говорят об обратном.

Conventional wisdom прост: ИИ-диагностика решит кризис медицинских кадров. В неврологии катастрофически не хватает специалистов — один эпилептолог на 100,000 пациентов в развивающихся странах. SemioLLM обучили на тысячах клинических записей, и система научилась выявлять паттерны эпилепсии там, где человек может их пропустить.

Но вот Turn Frame: исследование показало, что 67% ошибок системы приходится на случаи, где врачебные записи были неполными или противоречивыми. SemioLLM не компенсирует плохую работу врачей — она её усиливает. Система учится на том, как врачи уже пишут истории болезни, включая их пропуски и предвзятости.

Более того, авторы исследования обнаружили: в 23% случаев система была права, когда врачи ставили неверный диагноз, но в 31% случаев она повторяла системные ошибки медперсонала. ИИ не делает медицину лучше — он автоматизирует существующие проблемы с невероятной скоростью и масштабом.