Визуализация внутренней структуры принятия решений ИИ

Хотя технология распознавания изображений на основе глубокого обучения быстро развивается, по-прежнему сложно четко объяснить критерии, которые ИИ использует внутри себя для наблюдения и оценки изображений. В частности, технологии, которые анализируют, как крупномасштабные модели объединяют различные концепции (например, кошачьи уши, колеса автомобиля) для достижения определенного вывода, уже давно признаны серьезной нерешенной проблемой.

Исследовательская группа профессора Джэсика Чоя из Высшей школы искусственного интеллекта Ким Джэчуля разработала новый, объяснимый ИИ (XAI) технология, которая визуализирует процесс формирования концепций внутри модели на уровне схем, позволяя людям понять основу, на которой ИИ принимает решения.

Исследование оценивается как значительный шаг вперед, который позволит исследователям структурно изучить, «как думает ИИ». изучатьдоктор философии. Кандидаты Дахи Квон и Сехён Ли из Высшей школы искусственного интеллекта Ким Джечуля KAIST в качестве соавторов были представлены 21 октября на Международной конференции по компьютерному зрению (ICCV2025).

Как работают нейроны и схемы в ИИ

Внутри моделей глубокого обучения существуют базовые вычислительные единицы, называемые нейронами, которые функционируют аналогично функциям человеческого мозга. Нейроны обнаруживают мелкие детали изображения, например форму уха, определенный цвет или контур, и вычисляют значение (сигнал), которое передается на следующий слой.

Напротив, схема относится к структуре, в которой несколько нейронов соединены для совместного распознавания одного значения (концепции). Например, чтобы распознать концепцию кошачьего уха, нейроны, распознающие контурные формы, нейроны, распознающие треугольные формы, и нейроны, распознающие узоры цвета шерсти, должны активироваться последовательно, образуя функциональную единицу (схему).

Переход от нейроноцентрического объяснения к микросхемоцентрическому

До сих пор большинство методов объяснения основывались на нейроноцентрическом подходе, основанном на идее, что «определенный нейрон обнаруживает определенное понятие». Однако на самом деле модели глубокого обучения формируют концепции через кооперативные структуры, включающие множество нейронов. Основываясь на этом наблюдении, исследовательская группа KAIST предложила метод, который расширяет единицу представления понятия от «нейрон → цепь».

Недавно разработанная исследовательской группой технология Granular Concept Circuits (GCC) представляет собой новый метод, который анализирует и визуализирует, как модель классификации изображений внутренне формирует концепции на уровне схемы.

Как работает технология GCC и ее влияние

GCC автоматически отслеживает цепи, вычисляя чувствительность нейронов и семантический поток. Чувствительность нейрона показывает, насколько сильно нейрон реагирует на конкретную функцию, а семантический поток измеряет, насколько сильно эта функция передается следующему понятию. Используя эти метрики, система может шаг за шагом визуализировать, как базовые функции, такие как цвет и текстура, объединяются в концепции более высокого уровня.

Команда провела эксперименты, в которых определенные цепи были временно отключены (абляция). В результате, когда схема, ответственная за концепцию, была деактивирована, предсказания ИИ фактически изменились. Другими словами, эксперимент прямо продемонстрировал, что соответствующая схема действительно выполняет функцию распознавания этого понятия.

Значение и будущее применение исследования

Это исследование считается первым, раскрывающим на мелкозернистом уровне реальный структурный процесс, посредством которого формируются концепции внутри сложных моделей глубокого обучения. Благодаря этому исследование предполагает практическую применимость во всей объяснимой области ИИ (XAI), включая усиление прозрачности принятия решений ИИ, анализ причин неправильной классификации, обнаружение предвзятости, улучшение отладки моделей и архитектуры, а также повышение безопасности и подотчетности.

Исследовательская группа заявила: «Эта технология показывает концептуальные структуры, которые ИИ формирует внутри себя, так, чтобы люди могли их понять. Это исследование обеспечивает научную отправную точку для изучения того, как ИИ думает».

Профессор Чой подчеркнул: «В отличие от предыдущих подходов, которые упрощали сложные модели для объяснения, это первый подход, позволяющий точно интерпретировать внутреннюю часть модели на уровне мелкозернистых схем», и добавил: «Мы продемонстрировали, что концепции, изученные ИИ, можно автоматически отслеживать и визуализировать».