Современные подходы к безопасности ИИ часто сводятся к внешним запретам и попыткам заставить системы выглядеть «этичными». Однако системный анализ и опыт биологической эволюции указывают на то, что подобные методы прямого ограничения могут оказаться неэффективными при масштабировании систем до уровня искусственного интеллекта общего назначения (AGI).В данной статье анализируется переход от биологических основ принятия решений к математическим моделям кооперации искусственного интеллекта. Мы рассмотрим, почему для стабильности ИИ-систем необходим контролируемый хаос, как парадокс бессмертия ведет к когнитивной ригидности и почему истинная безопасность ИИ лежит в плоскости проектирования среды, а не в попытках тотального контроля над кодом. Читать далее