Прогресс

«Дьявольская обезьяна» на «КазаньФоруме-2026»: чем опасно неконтролируемое развитие искусственного интеллекта

Почти на каждой панельной сессии прошедшего «КазаньФорума» поднималась тема искусственного интеллекта. Почему она так важна сейчас и что об ИИ думают не только в исламе, но и в других этических системах, а также в науке и бизнесе – в колонке обозревателя Альберта Бикбова.

Почти на каждой панельной сессии прошедшего «КазаньФорума» поднималась тема искусственного интеллекта.

Почему она так важна сейчас и что об ИИ думают не только в исламе, но и в других этических системах, а также в науке и бизнесе – в колонке обозревателя Альберта Бикбова.

Фото: © Салават Камалетдинов / «Татар-информ»

Модная тема

Наверное, самой обсуждаемой темой на прошедшем «КазаньФоруме» стал искусственный интеллект – в этом его участники следовали общемировым традициям. Вот навскидку только несколько тем пленарных сессий и дискуссий, прямо посвященных теме ИИ:

Тема ИИ так или иначе затрагивалась почти на каждой сессии форума, а в списках выступающих и участников дискуссий присутствовали люди, чья профессия прямо связана с ИИ (например, руководитель подразделения по искусственному интеллекту TAG.Global Халед Набиль Субхи Хадер).

Удивительно – на форуме с широким участием стран исламского мира так широко обсуждается тема ИИ, имеющая такую неоднозначную репутацию не только в исламе, но и в двух других авраамических религиях.

Фото: © Владимир Васильев / «Татар-информ»

В чем состоит проблема

Тема искусственного интеллекта в разрезе морали, этики, а уж тем более религии настолько сложна и запутанна, что крупные компании в сфере ИИ начали нанимать философов на руководящие и старшие позиции, предлагая им огромные зарплаты (от 250 до 400 тыс.

долларов в год). Эта тенденция связана с необходимостью решения этических вопросов, проблем безопасности и доверия к ИИ, которые невозможно решить только техническими методами. Философы участвуют в написании спецификаций моделей и правил поведения ИИ, определяя, как тот должен отвечать пользователям и принимать решения.

Даже с этической точки зрения у ИИ очень-очень много проблем:

Но все эти проблемы меркнут перед проблемой появления сверхинтеллекта (ASI – Artificial Superintelligence), цели которого не совпадут с целями выживания человечества. Здесь риск заключается в том, что разум, многократно превосходящий человеческий, станет абсолютно неподконтрольным и его действия приведут к гибели человечества.

Высокий интеллект не означает наличие человеческой морали. Сверхинтеллект может обладать колоссальным разумом, оставаясь абсолютно равнодушным к страданиям людей. И философы в IT-компаниях работают как раз над тем, чтобы привить ИИ хоть какую-то этику. Но, повторимся, сами разработчики не понимают до конца, как он принимает решения.

Черный ящик Неймана

Джон фон Нейман, выдающийся венгеро-американский математик, был не только ключевым участником Манхэттенского проекта, но и создателем концептуальной архитектуры современных компьютеров.

Уже тогда, в 50-х годах прошлого века, фон Нейман создал теорию самовоспроизводящихся автоматов, где впервые вывел понятие «сингулярность» для компьютерного разума. По мнению математика, примитивный автомат может создать только еще более простую копию себя. Однако существует критический порог сложности, перешагнув который, машина получает способность создавать объекты сложнее себя и эволюционировать без участия человека. Момент этого перехода критического порога сложности фон Нейман назвал сингулярностью – математической точкой, за которой любые прогнозы человека теряют смысл, так как скорость и сложность изменений превышают возможности нашего мозга.

Кроме того, занимаясь созданием первых ЭВМ и рассчитывая на них параметры атомной бомбы, ученый понял, что даже небольшая ошибка в вычислениях или данных сложной системы ведет к колоссальным, абсолютно непредсказуемым отклонениям в финальном результате. Этот вывод лег в основу современных страхов перед ИИ, суть которых в том, что последний начнет лавинообразно и непредсказуемо переписывать собственный код (процесс рекурсивного самосовершенствования), причем в логике, которую сами создатели не способны объяснить (эффект «черного ящика»).

Гений фон Нейман понимал опасность неконтролируемого прогресса машинного разума еще 70 лет назад. С тех пор компьютеры только прогрессировали и становились мощнее.