Почему чем больше ИИ знает о вас, тем более «мейнстримные» ответы он дает? Предупреждение о предвзятости обучения Карпати

前 Tesla AI-руководитель, важный голос в области глубокого обучения Andrej Karpathy недавно опубликовал сообщение в X, в котором указал на фундаментальную проблему больших языковых моделей (LLM): память и функции персонализации не делают модель умнее, а скорее могут усиливать систематическую «предвзятость обучения», из-за которой модель всё больше склонна давать «распространённые правильные ответы», а не «действительно лучшие ответы».

Ключевая проблема: LLM «вспоминают», а не «делают выводы»

Высказанная Karpathy точка зрения напрямую бросает вызов предположениям о работе LLM. Он отметил, что распределение «примеров» в обучающих данных крайне неравномерно — популярные решения задач и часто обсуждаемые ответы многократно встречаются в данных, тогда как редкие, но также правильные ответы практически отсутствуют.

Это порождает фундаментальную проблему: при ответе на вопрос LLM не «делают вывод» о наилучшем ответе, а ищут в памяти «самый распространённый правильный пример». Иными словами, чем более популярным и широко обсуждаемым является решение, тем легче модель выбрать его, даже если существуют более подходящие или более точные варианты для текущего контекста.

Обратный эффект персонализированной памяти

Эта проблема особенно усугубляется в случае функции персонализации памяти у AI-ассистентов. Когда модель запоминает предпочтения пользователя, его привычки, прошлые диалоги, «модель пользователя», которую она строит, по сути, также является продуктом распределения обучающих данных — она запоминает «самый похожий на этого пользователя тип», а не по-настоящему понимает его уникальные потребности.

Это означает, что чем сильнее персонализация LLM, тем больше оно склонно вписывать пользователя в определённый «прототип», а не давать действительно индивидуальные, специально адаптированные ответы.

Практическое влияние на журналистов, работающих с ИИ

Это понимание имеет прямое значение для тех, кто использует ИИ в своей работе. Когда вам нужно, чтобы ИИ проанализировал малоизвестный криптовалютный проект, оценил нестандартную политическую позицию или исследовал менее обсуждаемую техническую точку зрения, ответы ИИ могут по умолчанию склоняться к «мейнстримному мнению», а не к объективному анализу.

Karpathy считает, что в настоящее время нет идеального решения этой проблемы, и её можно лишь смягчить за счёт более разнообразных обучающих данных. Однако фундаментальная предвзятость — «модель склонна к популярным ответам» — является внутренней характеристикой архитектуры LLM, а не ошибкой.

Глубинная проблема: ИИ копирует коллективные слепые пятна человека

Наблюдения Karpathy указывают на более глубокую тревогу: обучающие данные — это выборки из прошлых текстов человека, а не объективное распределение знаний. Это означает, что LLM не только копируют человеческие знания, но и воспроизводят коллективные слепые пятна, предубеждения и чрезмерное акцентирование на определённых «мейнстримных нарративах».

Когда ИИ всё чаще используется для анализа новостей, инвестиционных решений, оценки политики, влияние обучающих предвзятостей расширяется. Это уже не только техническая проблема, а когнитивная — требующая критического мышления со стороны пользователей.

Эта статья: почему чем больше ИИ знает о вас, тем более «мейнстримные» ответы он даёт? Предупреждение Karpathy о предвзятости обучения впервые появилось в Chain News ABMedia.