Ученые создали инструмент G‑AUDIT, чтобы находить скрытые проблемы в данных, на которых обучают медицинский искусственный интеллект. Дело в том, что ИИ порой делает выводы не на основе по-настоящему важных признаков, а опираясь на случайные детали — примерно как лошадь Ганс, которая «считала», улавливая незаметные подсказки хозяина. Например, модель, определяющая пол по глазам, могла ориентироваться не на биологические особенности, а на наличие туши для ресниц.
Инструмент анализирует сами обучающие данные и показывает, какие элементы могут сбить ИИ с толку. Так, в наборе данных о раке кожи были снимки из разных клиник: в одной чаще встречались случаи рака, в другой — реже, да и аппаратура там отличалась по качеству. Еще на фото из онкологической клиники нередко попадались линейки — их использовали, чтобы отслеживать рост новообразований. Из‑за этого ИИ мог ошибочно решить, что рак предсказывают линейка или характеристики камеры. В реальной жизни, скажем, при съемке на смартфон, этих факторов не будет — и работа модели окажется ненадежной.
G‑AUDIT проверяет разные типы данных — от изображений до таблиц — и ранжирует признаки, которые несут риск ошибочных выводов. Авторы подчеркивают: важно не просто проверять готовую модель, а заранее разбираться, какие подвохи могут прятаться в данных. В будущем инструмент планируют развивать и применять не только в медицине.
Ранее Наука Mail рассказывала о том, что хакеры научились подменять «воспоминания» ИИ: новая угроза.
Фото: hi-tech.mail.ru
[expert_review params=»JTdCJTIyY29sb3IlMjIlM0ElMjJibHVlLTElMjIlMkMlMjJleHBlcnRfYXZhdGFyJTIyJTNBJTIyJTIyJTJDJTIyZXhwZXJ0X25hbWUlMjIlM0ElMjIlMjIlMkMlMjJleHBlcnRfbGluayUyMiUzQSUyMiUyMiUyQyUyMmV4cGVydF9pZCUyMiUzQSUyMjElMjIlMkMlMjJleHBlcnRfdHlwZSUyMiUzQSUyMnVzZXJfaWQlMjIlMkMlMjJleHBlcnRfYXZhdGFyX2FsdCUyMiUzQSUyMiUyMiUyQyUyMmV4cGVydF9zaG93JTIyJTNBMSUyQyUyMmV4cGVydF9kZXNjcmlwdGlvbiUyMiUzQSUyMiVEMCVBRCVEMSU4MiVEMCVCRSUyMCVEMCVCRSVEMCVCMSVEMSU4QSVEMCVCNSVEMCVCNCVEMCVCOCVEMCVCRCVEMCVCNSVEMCVCRCVEMCVCOCVEMCVCNSUyMCVEMCVCRiVEMSU4MCVEMCVCMCVEMCVCQSVEMSU4MiVEMCVCOCVEMCVCQSVEMSU4MyVEMSU4RSVEMSU4OSVEMCVCOCVEMSU4NSUyMCVEMCVCMiVEMSU4MCVEMCVCMCVEMSU4NyVEMCVCNSVEMCVCOSUyMCVEMCVCOCUyMCVEMSU4MSVEMCVCRiVEMCVCNSVEMSU4NiVEMCVCOCVEMCVCMCVEMCVCQiVEMCVCOCVEMSU4MSVEMSU4MiVEMCVCRSVEMCVCMiUyMCVEMCVCMiUyMCVEMCVCRSVEMCVCMSVEMCVCQiVEMCVCMCVEMSU4MSVEMSU4MiVEMCVCOCUyMCVEMCVCQyVEMCVCNSVEMCVCNCVEMCVCOCVEMSU4NiVEMCVCOCVEMCVCRCVEMSU4QiUyQyUyMCVEMCVCRiVEMSU4MCVEMCVCOCVEMCVCRCVEMCVCOCVEMCVCQyVEMCVCMCVEMSU4RSVEMSU4OSVEMCVCOCVEMSU4NSUyMCVEMSU4MyVEMSU4NyVEMCVCMCVEMSU4MSVEMSU4MiVEMCVCOCVEMCVCNSUyMCVEMCVCMiUyMCVEMCVCRiVEMCVCRSVEMCVCNCVEMCVCMyVEMCVCRSVEMSU4MiVEMCVCRSVEMCVCMiVEMCVCQSVEMCVCNSUyQyUyMCVEMCVCRiVEMSU4MCVEMCVCRSVEMCVCMiVEMCVCNSVEMSU4MCVEMCVCQSVEMCVCNSUyMCVEMCVCOCUyMCVEMSU4MCVEMCVCNSVEMCVCNCVEMCVCMCVEMCVCQSVEMSU4MiVEMSU4MyVEMSU4MCVEMCVCNSUyMCVEMCVCQyVEMCVCNSVEMCVCNCVEMCVCOCVEMSU4NiVEMCVCOCVEMCVCRCVEMSU4MSVEMCVCQSVEMCVCOCVEMSU4NSUyMCVEMCVCQyVEMCVCMCVEMSU4MiVEMCVCNSVEMSU4MCVEMCVCOCVEMCVCMCVEMCVCQiVEMCVCRSVEMCVCMiUyMCVEMCVCRCVEMCVCMCUyMCVEMSU4MSVEMCVCMCVEMCVCOSVEMSU4MiVEMCVCNS4lMjIlMkMlMjJleHBlcnRfc2hvd19idXR0b24lMjIlM0ExJTJDJTIyZXhwZXJ0X3Nob3dfYnV0dG9uX3R5cGUlMjIlM0ElMjJsaW5rJTIyJTJDJTIyZXhwZXJ0X3F1ZXN0aW9uX2J1dHRvbl90ZXh0JTIyJTNBJTIyJUQwJTlGJUQwJUJFJUQwJUI0JUQxJTgwJUQwJUJFJUQwJUIxJUQwJUJEJUQwJUI1JUQwJUI1JTIwJUQwJUJFJUQwJUIxJTIwJUQwJUIwJUQwJUIyJUQxJTgyJUQwJUJFJUQxJTgwJUQwJUI1JTIwJUUyJTg2JTkyJTIyJTJDJTIycXVlc3Rpb25fZXh0ZXJuYWxfbGluayUyMiUzQSUyMiUyRmF1dGhvciUyRmFkbWluJTIyJTJDJTIycG9wdXBfdXNlX3Bob25lJTIyJTNBMCUyQyUyMmV4cGVydF90aXRsZSUyMiUzQSUyMiVEMCU5QyVEMCVCNSVEMCVCNCVEMCVCOCVEMSU4NiVEMCVCOCVEMCVCRCVEMSU4MSVEMCVCQSVEMCVCOCVEMCVCOSUyMCVEMSU4RCVEMCVCQSVEMSU4MSVEMCVCRiVEMCVCNSVEMSU4MCVEMSU4MiUyMiUyQyUyMmV4cGVydF9zaG93X3RpdGxlJTIyJTNBMSUyQyUyMmV4cGVydF90ZXh0JTIyJTNBJTIyJUQwJTkyJTIwJUQxJTgxJUQwJUJFJUQxJTgxJUQxJTgyJUQwJUIwJUQwJUIyJTIwJUQwJUJDJUQwJUI1JUQwJUI0JUQwJUI4JUQxJTg2JUQwJUI4JUQwJUJEJUQxJTgxJUQwJUJBJUQwJUJFJUQwJUI5JTIwJUQwJUJBJUQwJUJFJUQwJUJCJUQwJUJCJUQwJUI1JUQwJUIzJUQwJUI4JUQwJUI4JTIwJUQwJUIyJUQxJTg1JUQwJUJFJUQwJUI0JUQxJThGJUQxJTgyJTIwJUQwJUIyJUQxJTgwJUQwJUIwJUQxJTg3JUQwJUI4JTIwJUQxJTgwJUQwJUIwJUQwJUI3JUQwJUJCJUQwJUI4JUQxJTg3JUQwJUJEJUQxJThCJUQxJTg1JTIwJUQxJTgxJUQwJUJGJUQwJUI1JUQxJTg2JUQwJUI4JUQwJUIwJUQwJUJCJUQxJThDJUQwJUJEJUQwJUJFJUQxJTgxJUQxJTgyJUQwJUI1JUQwJUI5JTNBJTIwJUQxJTgyJUQwJUI1JUQxJTgwJUQwJUIwJUQwJUJGJUQwJUI1JUQwJUIyJUQxJTgyJUQxJThCJTJDJTIwJUQwJUI4JUQwJUJEJUQxJTg0JUQwJUI1JUQwJUJBJUQxJTg2JUQwJUI4JUQwJUJFJUQwJUJEJUQwJUI4JUQxJTgxJUQxJTgyJUQxJThCJTJDJTIwJUQxJThEJUQwJUJGJUQwJUI4JUQwJUI0JUQwJUI1JUQwJUJDJUQwJUI4JUQwJUJFJUQwJUJCJUQwJUJFJUQwJUIzJUQwJUI4JTJDJTIwJUQwJUIzJUQwJUIwJUQxJTgxJUQxJTgyJUQxJTgwJUQwJUJFJUQxJThEJUQwJUJEJUQxJTgyJUQwJUI1JUQxJTgwJUQwJUJFJUQwJUJCJUQwJUJFJUQwJUIzJUQwJUI4JTJDJTIwJUQwJUJFJUQxJTg0JUQxJTgyJUQwJUIwJUQwJUJCJUQxJThDJUQwJUJDJUQwJUJFJUQwJUJCJUQwJUJFJUQwJUIzJUQwJUI4JTJDJTIwJUQwJUIwJUQwJUJCJUQwJUJCJUQwJUI1JUQxJTgwJUQwJUIzJUQwJUJFJUQwJUJCJUQwJUJFJUQwJUIzJUQwJUI4LSVEMCVCOCVEMCVCQyVEMCVCQyVEMSU4MyVEMCVCRCVEMCVCRSVEMCVCQiVEMCVCRSVEMCVCMyVEMCVCOCUyQyUyMCVEMCVCRiVEMSU4MSVEMCVCOCVEMSU4NSVEMCVCRSVEMSU4MiVEMCVCNSVEMSU4MCVEMCVCMCVEMCVCRiVEMCVCNSVEMCVCMiVEMSU4MiVEMSU4QiUyQyUyMCVEMSU4MSVEMSU4MiVEMCVCRSVEMCVCQyVEMCVCMCVEMSU4MiVEMCVCRSVEMCVCQiVEMCVCRSVEMCVCMyVEMCVCOCUyQyUyMCVEMCVCMCUyMCVEMSU4MiVEMCVCMCVEMCVCQSVEMCVCNiVEMCVCNSUyMCVEMSU4MSVEMCVCRiVEMCVCNSVEMSU4NiVEMCVCOCVEMCVCMCVEMCVCQiVEMCVCOCVEMSU4MSVEMSU4MiVEMSU4QiUyMCVEMCVCMiUyMCVEMCVCRSVEMCVCMSVEMCVCQiVEMCVCMCVEMSU4MSVEMSU4MiVEMCVCOCUyMCVEMSU4MCVEMCVCNSVEMCVCRiVEMSU4MCVEMCVCRSVEMCVCNCVEMSU4MyVEMCVCQSVEMSU4MiVEMCVCOCVEMCVCMiVEMCVCRCVEMCVCRSVEMCVCOSUyMCVEMCVCQyVEMCVCNSVEMCVCNCVEMCVCOCVEMSU4NiVEMCVCOCVEMCVCRCVEMSU4QiUyQyUyMCVEMSU4MSVEMCVCQSVEMCVCRSVEMSU4MCVEMCVCRSVEMCVCOSUyMCVEMCVCRiVEMCVCRSVEMCVCQyVEMCVCRSVEMSU4OSVEMCVCOCUyMCVEMCVCOCUyMCVEMCVCQyVEMCVCNSVEMCVCNCVEMCVCOCVEMSU4NiVEMCVCOCVEMCVCRCVEMSU4MSVEMCVCQSVEMCVCRSVEMCVCOSUyMCVEMCVCNiVEMSU4MyVEMSU4MCVEMCVCRCVEMCVCMCVEMCVCQiVEMCVCOCVEMSU4MSVEMSU4MiVEMCVCOCVEMCVCQSVEMCVCOC4lNUNuJTVDbiVEMCU5QyVEMCVCMCVEMSU4MiVEMCVCNSVEMSU4MCVEMCVCOCVEMCVCMCVEMCVCQiVEMSU4QiUyMCVEMCVCRiVEMSU4MCVEMCVCRSVEMSU4NSVEMCVCRSVEMCVCNCVEMSU4RiVEMSU4MiUyMCVEMCVCRiVEMSU4MCVEMCVCRSVEMCVCMiVEMCVCNSVEMSU4MCVEMCVCQSVEMSU4MyUyMCVEMSU4MSUyMCVEMSU4MyVEMSU4NyVEMCVCNSVEMSU4MiVEMCVCRSVEMCVCQyUyMCVEMSU4MSVEMCVCRSVEMCVCMiVEMSU4MCVEMCVCNSVEMCVCQyVEMCVCNSVEMCVCRCVEMCVCRCVEMSU4QiVEMSU4NSUyMCVEMCVCQSVEMCVCQiVEMCVCOCVEMCVCRCVEMCVCOCVEMSU4NyVEMCVCNSVEMSU4MSVEMCVCQSVEMCVCOCVEMSU4NSUyMCVEMSU4MCVEMCVCNSVEMCVCQSVEMCVCRSVEMCVCQyVEMCVCNSVEMCVCRCVEMCVCNCVEMCVCMCVEMSU4NiVEMCVCOCVEMCVCOSUyQyUyMCVEMCVCRCVEMCVCMCVEMSU4MyVEMSU4NyVEMCVCRCVEMSU4QiVEMSU4NSUyMCVEMCVCNCVEMCVCMCVEMCVCRCVEMCVCRCVEMSU4QiVEMSU4NSUyMCVEMCVCOCUyMCVEMCVCRiVEMSU4MCVEMCVCMCVEMCVCQSVEMSU4MiVEMCVCOCVEMSU4NyVEMCVCNSVEMSU4MSVEMCVCQSVEMCVCRSVEMCVCMyVEMCVCRSUyMCVEMCVCRSVEMCVCRiVEMSU4QiVEMSU4MiVEMCVCMCUyMCVEMCVCMiVEMSU4MCVEMCVCMCVEMSU4NyVEMCVCNSVEMCVCOS4lMjAlRDAlOUUlRDElODElRDAlQkQlRDAlQkUlRDAlQjIlRDAlQkQlRDAlQjAlRDElOEYlMjAlRDAlQjclRDAlQjAlRDAlQjQlRDAlQjAlRDElODclRDAlQjAlMjAlRDAlOUMlRDAlQjUlRDAlQjQlRDAlQkElRDAlQkUlRDAlQkIlRDAlQkIlRDAlQjUlRDAlQjMlRDAlQjglRDAlQjglMjAlRTIlODAlOTQlMjAlRDAlQkUlRDAlQjElRDAlQjUlRDElODElRDAlQkYlRDAlQjUlRDElODclRDAlQjglRDElODIlRDElOEMlMjAlRDAlQjQlRDAlQkUlRDElODElRDElODIlRDAlQkUlRDAlQjIlRDAlQjUlRDElODAlRDAlQkQlRDAlQkUlRDElODElRDElODIlRDElOEMlMkMlMjAlRDAlQjAlRDAlQkElRDElODIlRDElODMlRDAlQjAlRDAlQkIlRDElOEMlRDAlQkQlRDAlQkUlRDElODElRDElODIlRDElOEMlMjAlRDAlQjglMjAlRDAlQkYlRDAlQkUlRDAlQkQlRDElOEYlRDElODIlRDAlQkQlRDAlQkUlRDElODElRDElODIlRDElOEMlMjAlRDAlQkMlRDAlQjUlRDAlQjQlRDAlQjglRDElODYlRDAlQjglRDAlQkQlRDElODElRDAlQkElRDAlQkUlRDAlQjklMjAlRDAlQjglRDAlQkQlRDElODQlRDAlQkUlRDElODAlRDAlQkMlRDAlQjAlRDElODYlRDAlQjglRDAlQjglMjAlRDAlQjQlRDAlQkIlRDElOEYlMjAlRDAlQkYlRDAlQkUlRDAlQkIlRDElOEMlRDAlQjclRDAlQkUlRDAlQjIlRDAlQjAlRDElODIlRDAlQjUlRDAlQkIlRDAlQjUlRDAlQjkuJTVDbiUyMiUyQyUyMnFhJTIyJTNBJTVCJTVEJTJDJTIycWFfc2hvd190aXRsZSUyMiUzQTElMkMlMjJxYV90aXRsZSUyMiUzQSUyMiVEMCU5MiVEMCVCRSVEMCVCRiVEMSU4MCVEMCVCRSVEMSU4MSUyMCVEMSU4RCVEMCVCQSVEMSU4MSVEMCVCRiVEMCVCNSVEMSU4MCVEMSU4MiVEMSU4MyUyMiUyQyUyMnNjb3JlJTIyJTNBJTVCJTVEJTJDJTIyc2NvcmVfc3VtbWFyeV90ZXh0JTIyJTNBJTIyJTIyJTJDJTIyc2NvcmVfc3VtbWFyeV9hdmVyYWdlJTIyJTNBMCUyQyUyMnNjb3JlX21heCUyMiUzQSUyMjUlMjIlMkMlMjJzY29yZV9zeW1ib2wlMjIlM0ElMjIlMjIlMkMlMjJzY29yZV90aXRsZSUyMiUzQSUyMiUyMiUyQyUyMnNjb3JlX3Nob3dfdGl0bGUlMjIlM0EwJTJDJTIycGx1c2VzJTIyJTNBJTVCJTVEJTJDJTIybWludXNlcyUyMiUzQSU1QiU1RCUyQyUyMnBsdXNlc19taW51c2VzX3Nob3dfdGl0bGUlMjIlM0ExJTJDJTIycGx1c2VzX21pbnVzZXNfdGl0bGUlMjIlM0ElMjIlRDAlOUYlRDAlQkIlRDElOEUlRDElODElRDElOEIlMjAlRDAlQjglMjAlRDAlQkMlRDAlQjglRDAlQkQlRDElODMlRDElODElRDElOEIlMjIlMkMlMjJwbHVzZXNfdGl0bGUlMjIlM0ElMjIlMjIlMkMlMjJtaW51c2VzX3RpdGxlJTIyJTNBJTIyJTIyJTdE»]