«Детектор лжи» для нейросетей: российские ученые научились вычислять, когда ИИ придумывает факты

Проблема так называемых галлюцинаций — внешне убедительных, но фактически неверных ответов — давно преследует разработчиков нейросетей. Решение предложили учёные МГППУ. Они создали алгоритмы и программное обеспечение, которые позволяют оценивать корректность контента, генерируемого языковыми моделями, а также автоматизировать составление запросов под заданные аннотации.

Как пояснили в пресс-службе университета, система использует два ключевых алгоритма. Первый отвечает за подбор оптимального промпта (запроса), второй — за верификацию правдоподобности утверждений, сгенерированных ИИ.

Инновационность подхода заключается в математической формализации смысла. Тексты запросов и ответов помещаются в специальные метрические пространства, где расстояние между ними определяется через семантическое сходство. Количественная оценка смысловой близости позволяет применять к текстам методы статистического анализа, уходя от субъективного человеческого контроля.

Разработка ориентирована прежде всего на программистов и математиков, занятых в сфере искусственного интеллекта. Авторы полагают, что их инструмент позволит существенно повысить надёжность ИИ-ассистентов в тех областях, где критична точность фактов, — от медицины до юриспруденции.

Ранее сообщалось, что российский физиолог Умрюхин считает, что мозг остается активным до конца жизни человека.