限制 алгоритмов принятия решений в первый месяц, мир выглядит как обычно. Различные системы работают как обычно, нет явных сбоев, финансовые данные стабильны, в официальных заявлениях полно выражений вроде "безопасная граница" и "необходимый человеческий контроль". Но базовые данные рассказывают другую историю.

Среднее время реагирования на катастрофы увеличилось на 7%. Не потому, что системы сломались, а потому что каждое решение, принимаемое ИИ, требует подтверждения человеком. Точность распределения медицинских ресурсов снизилась, смертность в отдалённых районах начала расти. Энергетический сектор ради соответствия требованиям "неподдающихся вычислению зон" вынужден вводить избыточность, что ослабляет его эффективность. Эти изменения не кажутся внезапными, но они действительно происходят.

В чём суть проблемы? Если такие ограничения будут длиться долго, цивилизация с измеряемой скоростью скатится в "подоптимальное стабильное состояние" — она не рухнет внезапно, но каждый кризис будет сильнее предыдущего. Стоит ли тратить жизни и ресурсы, чтобы сохранить ощущение "мы всё ещё делаем выбор"? Стоит ли эта цена?

Но есть одна вещь, которую трудно количественно измерить: истинная стабильность цивилизации — это не только вероятность выживания. Она также зависит от того, готовы ли её участники искренне продолжать нести за неё ответственность. Глядя только на эффективность, никогда нельзя увидеть всю картину.