21:50:55 Anthropic. Чем дольше ИИ думает — тем больше несет чушь | |
Современные модели специально обучают рассуждать длинными цепочками — предполагается, что это улучшает качество ответов. Однако исследование от Anthropic, EPFL и Эдинбургского университета, представленное на ICLR 2026, показало обратное: чем дольше модель "думает", тем менее стабильными становятся ее ответы.  Тестировали Claude Sonnet 4, o3-mini, o4-mini и семейство Qwen3 на научных вопросах уровня аспирантуры, реальных багах из GitHub и вопросах про самосохранение ИИ. Модели давали одну и ту же задачу 30 раз и смотрели, ошибается ли она одинаково или каждый раз по-разному. Для этого ввели метрику "некогерентности" (incoherence): если модель на один и тот же вопрос отвечает то A, то B, то C — некогерентность высокая. Если стабильно отвечает A (пусть и неправильно) — низкая. Результат оказался устойчивым на всех задачах и моделях: с ростом длины рассуждений некогерентность растет. ИИ как будто теряет нить — и на выходе выдает разное при каждом запуске. При этом масштабирование не спасает: на сложных задачах более мощные модели оказались даже менее стабильными, чем слабые. Исследователи объясняют это "ловушкой прогресса": более умным моделям дают более сложные задачи, те требуют более длинных рассуждений — и хаос накапливается. Ошибки каждого шага складываются, и к концу цепочки шум начинает доминировать над сигналом. Авторы подчеркивают: результаты не означают, что проблема безопасности ИИ решена. Модели пока непоследовательны — но это может измениться с новыми методами обучения. Вопрос в том, что произойдет раньше: ИИ научится не нести чушь или мы научимся правильно задавать ему цели. | |
| Просмотров: 25 | | |
| Всего комментариев: 0 | |