Рентгенологам прокачали зрение

Казанские учёные из университета Иннополис создали ИИ-помощника врача, предсказывающего движение глаз при анализе рентгеновских снимков. Модель может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска.

Детали на снимке подчёркиваются в зависимости от задачи — поиск признаков пневмонии, сердечной недостаточности или контроль за заживлением переломов требуют наблюдения за особенными маркерами. Современные нейросети в этом вопросе работают на основе освещения, что не так объективно, так как оно может быть испорчено технически.

Новый помощник объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. Для обучения использовались три типа данных: визуальные признаки, текстовые описания диагностических меток и семантические данные.

Медкарта в Telegram | в MAX