Глубокие нейронные сети — это тип искусственного интеллекта (ИИ), который имитирует то, как человеческий мозг обрабатывает информацию, но понимание того, как эти сети «думают», долгое время было проблемой. Теперь исследователи из Университета Кюсю разработали новый метод, чтобы понять, как глубокие нейронные сети интерпретируют информацию и сортируют её по группам.
В исследовании, опубликованном в журнале IEEE Transactions on Neural Networks and Learning Systems, рассматривается важная необходимость обеспечения точности и надежности систем искусственного интеллекта, а также их соответствия стандартам, необходимым для безопасного использования.
Глубокие нейронные сети обрабатывают информацию на многих уровнях, подобно тому, как люди решают головоломку шаг за шагом. Первый уровень, известный как входной уровень, вводит необработанные данные . Последующие уровни, называемые скрытыми уровнями, анализируют информацию. Ранние скрытые уровни фокусируются на базовых функциях, таких как обнаружение краев или текстур, например, изучение отдельных частей головоломки.
Более глубокие скрытые слои объединяют эти признаки для распознавания более сложных закономерностей , например, идентификации кошки или собаки, — это похоже на соединение частей пазла для получения более общей картины.
«Однако эти скрытые слои подобны запертому черному ящику: мы видим вход и выход, но то, что происходит внутри, неясно», — говорит Данило Васконселлос Варгас, доцент факультета информатики и электротехники Университета Кюсю.
«Это отсутствие прозрачности становится серьёзной проблемой, когда ИИ допускает ошибки, иногда вызванные чем-то столь незначительным, как изменение одного пикселя. ИИ может казаться умным, но понимание того, как он принимает решение, является ключом к тому, чтобы гарантировать его надежность».
В настоящее время методы визуализации того, как ИИ организует информацию, основаны на упрощении многомерных данных в 2D или 3D представлениях. Эти методы позволяют исследователям наблюдать, как ИИ категоризирует точки данных, например, группируя изображения кошек рядом с другими кошками, отделяя их от собак. Однако это упрощение имеет критические ограничения.
«Когда мы упрощаем многомерную информацию до меньшего количества измерений, это похоже на превращение трёхмерного объекта в двухмерный — мы теряем важные детали и не видим всей картины. Кроме того, этот метод визуализации того, как группируются данные, затрудняет сравнение между различными нейронными сетями или классами данных», — объясняет Варгас.
В этом исследовании учёные разработали новый метод, называемый методом распределения k*, который более наглядно визуализирует и оценивает, насколько хорошо глубокие нейронные сети классифицируют связанные элементы.
Модель работает, назначая каждой введенной точке данных «значение k*», которое указывает расстояние до ближайшей не связанной точки данных. Высокое значение k* означает, что точка данных хорошо разделена (например, кошка далеко от собак), в то время как низкое значение k* предполагает потенциальное перекрытие (например, собака ближе к кошке, чем другие кошки). При рассмотрении всех точек данных в пределах класса, например, кошек, этот подход создает распределение значений k*, которое даёт подробную картину того, как организованы данные.
«Наш метод сохраняет многомерное пространство, поэтому никакая информация не теряется. Это первая и единственная модель, которая может дать точное представление о «локальном соседстве» вокруг каждой точки данных», — подчеркивает Варгас.
Используя свой метод, исследователи обнаружили, что глубокие нейронные сети сортируют данные в кластеризованные, раздробленные или перекрывающиеся расположения. В кластеризованном расположении похожие элементы (например, кошки) группируются близко друг к другу, в то время как не связанные между собой элементы (например, собаки) чётко разделены, что означает, что ИИ способен хорошо сортировать данные.
Однако фрагментарное распределение указывает на то, что схожие элементы разбросаны по большому пространству, в то время как перекрывающиеся распределения возникают, когда несвязанные элементы находятся в одном и том же пространстве, причём оба варианта распределения повышают вероятность ошибок классификации.
Варгас сравнивает это со складской системой: «На хорошо организованном складе похожие товары хранятся вместе, что делает их поиск простым и эффективным. Если товары перемешаны, их становится сложнее найти, что увеличивает риск выбора неправильного товара».
ИИ все чаще используется в критических системах, таких как автономные транспортные средства и медицинская диагностика, где точность и надежность имеют решающее значение. Метод распределения k* помогает исследователям и даже законодателям оценивать, как ИИ организует и классифицирует информацию, выявляя потенциальные слабости или ошибки.
Это не только поддерживает процессы легализации, необходимые для безопасной интеграции ИИ в повседневную жизнь, но и даёт ценную информацию о том, как ИИ «думает». Выявляя основные причины ошибок, исследователи могут совершенствовать системы ИИ, делая их не только точными, но и надёжными — способными обрабатывать размытые или неполные данные и адаптироваться к неожиданным условиям.
«Наша конечная цель — создание систем ИИ, которые сохраняют точность и надежность даже при столкновении с трудностями реальных сценариев», — заключает Варгас.
Мастер пера, обрабатывает новостную ленту.
