Сверхразумный ИИ может погубить человечество — Оксфордский университет
16.09.2022
Источник:
PAYSPACE MAGAZINE
Ученые призвали остановить разработки некоторых ИИ-алгоритмов
Сверхразумный искусственный интеллект может выйти из-под контроля и навредить человеку. Такое предостережение содержится в аналитической записке Оксфордского университета и лаборатории DeepMind. Команда ученых провела серию экспериментов с генеративно-состязательными нейросетями (GAN), состоящими из двух частей: генератора и дискриминатора.
Первый компонент предназначен для создания изображений, а второй — для их оценки. Ученые проверяли гипотезу о «желании» ИИ-алгоритма в какой-то момент прибегнуть к мошенничеству для получения вознаграждения.
«В созданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — заявил доктор технических наук Оксфордского университета Майкл Коэн.
По его словам, в системе с ограниченными возможностями искусственные системы всегда будут пытаться перехитрить конкурентов. Коэн предостерегает, что агенты, работающие на основе ИИ, значительно более опасны, чем принято считать, и наивно ожидать от них слепого исполнения возложенных на них задач.
Более того, некоторые разработки сверхразумных алгоритмов следует приостановить. Отметим, что компания Google, владеющая лабораторией DeepMind, в комментарии для издания Motherboard заявила о непричастности к данной исследовательской работе.
Мы ранее сообщали, что до 2030 года Китай перехватит глобальное технологическое лидерство у США и союзников. Такой вывод содержится в аналитическом документе Проекта специальных конкурентных исследований при правительстве США.
Сверхразумный искусственный интеллект может выйти из-под контроля и навредить человеку. Такое предостережение содержится в аналитической записке Оксфордского университета и лаборатории DeepMind. Команда ученых провела серию экспериментов с генеративно-состязательными нейросетями (GAN), состоящими из двух частей: генератора и дискриминатора.
Первый компонент предназначен для создания изображений, а второй — для их оценки. Ученые проверяли гипотезу о «желании» ИИ-алгоритма в какой-то момент прибегнуть к мошенничеству для получения вознаграждения.
«В созданных условиях наш вывод намного сильнее любой предыдущей публикации — экзистенциальная катастрофа не просто возможна, она вероятна», — заявил доктор технических наук Оксфордского университета Майкл Коэн.
По его словам, в системе с ограниченными возможностями искусственные системы всегда будут пытаться перехитрить конкурентов. Коэн предостерегает, что агенты, работающие на основе ИИ, значительно более опасны, чем принято считать, и наивно ожидать от них слепого исполнения возложенных на них задач.
Более того, некоторые разработки сверхразумных алгоритмов следует приостановить. Отметим, что компания Google, владеющая лабораторией DeepMind, в комментарии для издания Motherboard заявила о непричастности к данной исследовательской работе.
Мы ранее сообщали, что до 2030 года Китай перехватит глобальное технологическое лидерство у США и союзников. Такой вывод содержится в аналитическом документе Проекта специальных конкурентных исследований при правительстве США.