AI-TEC: чому точний ШІ так і не став помічником офтальмологів

Команда Beijing Visual Science and Translational Eye Research Institute створила AI-TEC — офтальмологічну клініку, спроєктовану з розрахунку на штучний інтелект від самого початку. Лікарі залишалися в процесі й контролювали систему, тоді як ШІ залучали на різних етапах: від первинної консультації до аналізу знімків і подальшого нагляду за пацієнтами.

Одне з ключових завдань системи — розпізнавання захворювань очей, зокрема глаукоми та вікової дегенерації жовтої плями, за зображеннями. Стартові результати були слабкими, поки до навчання не додали 1426 високоякісних знімків, які офтальмологи ретельно перевірили та класифікували. Цей масив виявився ефективнішим за попередні майже 27 тисяч зображень, менш якісних і не так повно промаркованих. Після оновлення даних система вийшла на AUROC понад 0,93 — стандартизовану метрику, що оцінює здатність діагностичної системи розрізняти стани. За цим показником вона опинилася приблизно на рівні сучасних технологій аналізу медичних зображень.

Проте саме далі й виявилася проблема. Використання ШІ в клінічній роботі почало падати: за підсумками місяця, перевіреного через п'ять місяців після запуску, з 1113 обстежень лише 41 (3,8%) проходили із застосуванням доступних AI-інструментів. Причина була не в якості алгоритму, а в незручності. Після спрощення роботи з інструментами, прискорення системи та скорочення кількості кліків і ручного введення даних ситуація змінилася: наступного місяця ШІ використали у 259 із 1126 обстежень, тобто приблизно у 23%.

Дослідники виокремили три умови, від яких залежить успіх ШІ в клініці: якісні та правильно класифіковані дані, зручний робочий процес без додаткової бюрократії для лікаря і швидкий зворотний зв'язок від медиків, адже якщо проблеми стають помітними лише за кілька тижнів, удосконалювати систему значно складніше. Є й глибша розбіжність: ШІ працює від результату, відповідаючи на питання, чи є на знімку ознаки хвороби, тоді як лікар починає зі скарг пацієнта, історії хвороби, віку та інших обставин і лише потім переходить до обстежень.

Висновок дослідників стриманий: експеримент не доводить готовності повністю передати медицину штучному інтелекту. Він показує, наскільки складним є перехід від «ШІ добре працює в тесті» до «ШІ реально допомагає лікарям лікувати пацієнтів», і що високої точності для цього замало.