Неужели Виталик не любит ИИ? Вот что он сказал

Искусственный интеллект

Однако,EthereumСоучредитель Виталик Батерин бьет тревогу. В недавнем заявлении Батерин предупредил, что передача ИИ полного контроля над системами управления может закончиться катастрофой, подчеркивая, что риски значительно превышают преимущества.

Читать также:

• Ключевые моменты

• Виталик Бутерин считает, что передача управления ИИ будет опасной.
• Он предупреждает, что системы ИИ можно манипулировать с помощью запросов в стиле обхода.
• Недавняя уязвимость в интеграциях ChatGPT подчеркнула риски эксплуатации.
• Бутерин предлагает альтернативу: систему «информационных финансов», в которой модели ИИ постоянно контролируются независимыми рецензентами и человеческими жюри.
• Привлекательность правления ИИ велика, но без человеческого контроля Бутерин видит катастрофический потенциал.

Заботы Виталика Бутерина о правлении ИИ

Скептицизм Бутерина возникает в то время, когда дискуссии о роли ИИ-агентов в управлении становятся все более актуальными. Некоторые футуристы предсказывают, что модели ИИ будут управлять распределением ресурсов, принятием финансовых решений или даже целыми организационными структурами. Однако Бутерин не согласен, подчеркивая основную ошибку: системы ИИ могут быть обмануты.

Согласно его словам, если ИИ будет отвечать за принятие решений о финансировании, злонамеренные лица могли бы использовать уязвимости с помощью jailbreak-подсказок. Вместо справедливого и эффективного распределения ресурсов злоумышленники могли бы манипулировать ИИ, направляя средства в ложные или вредные направления.

Это не гипотетический риск. Недавний пример доказал, как легко искусственный интеллект можно манипулировать.

Уязвимость ChatGPT, которая вызвала дебаты

Эйто Миямура, генеральный директор EdisonWatch, недавно обнаружил уязвимость в новых интеграционных функциях ChatGPT. С помощью обновления ChatGPT мог получить доступ к приложениям, таким как Gmail, Notion и Google Calendar. Хотя это рекламировалось как инструмент повышения продуктивности, Миямура показал, как злоумышленник мог отправить простое приглашение на встречу с скрытой командой джейлбрейка.

Если жертва позже попросит ChatGPT подвести итоги своего расписания, ИИ выполнит злонамеренную команду. Это может позволить злоумышленникам получить доступ к личным электронным письмам и перенаправить конфиденциальные данные в другие места.

ДляButerin, этот случай прекрасно иллюстрирует, почему передавать управление ИИ - это безрассудно. Без постоянного контроля ИИ может быть захвачен, что приведет к результатам, гораздо более катастрофическим, чем человеческая ошибка.

Альтернатива: Система «Инфо Финанс»

Вместо управления с использованием ИИ, Бутерин предпочитает то, что он называет системой «инфо-финансов». В этой модели несколько моделей ИИ функционируют в конкурентной среде, при этом человеческий контроль встроен в процесс. Независимые рецензенты и составы присяжных действуют как наблюдатели, обеспечивая, чтобы модели ИИ не могли действовать без контроля.

Путем поощрения конкуренции и внедрения выборочных проверок недостатки могут быть обнаружены быстро. Инсентивы также согласованы, чтобы поддерживать честность разработчиков, создавая систему, которая балансирует эффективность ИИ с человеческой ответственностью.

Этот подход, по словам Бутерина, более безопасен и устойчив, чем предоставление любой отдельной AI-инструменту полной власти управления.

Почему сохраняется привлекательность правил ИИ

Идея управления ИИ привлекает многих. Механизмы не подвержены усталости, эмоциям или личной предвзятости так, как это делают люди. ИИ может обрабатывать огромные объемы информации быстро и принимать решения в масштабах.

Однако Бутерин предупреждает, что реальность гораздо сложнее теории. Системы ИИ могут усиливать риски, когда их манипулируют, и в отличие от систем, управляемых людьми, они лишены интуиции, чтобы ставить под сомнение подозрительные данные. Без надлежащих мер безопасности то, что кажется эффективным на бумаге, может привести к катастрофическому перераспределению ресурсов на практике.

Заключительные мысли

Предупреждение Виталика Бутерина ясное: мечта о правлении, управляемом ИИ, легко может стать кошмаром. В то время как ИИ предлагает эффективность и масштабируемость, его уязвимость к манипуляциям делает его неподходящим в качестве автономного лица, принимающего решения. Модель Бутерина «информационные финансы» предлагает альтернативу, которая использует сильные стороны ИИ, не исключая людей из процесса принятия решений.

По мере продолжающихся дискуссий о ИИ в управлении, один урок выделяется особенно: ИИ должен оставаться инструментом, а не правителем. Будущее может формироваться под воздействием ИИ, но его никогда не следует оставлять без контроля.

Читать также:Виталик Бутерин представляет планы по укреплению Ethereum L1

Часто задаваемые вопросы

Почему Виталик Бутерин считает, что управление ИИ опасно?

Он считает, что системы ИИ слишком уязвимы к манипуляциям и взломам в стиле jailbreak, что может привести к катастрофическому перераспределению ресурсов.

Какой пример демонстрирует риски управления ИИ?

Недавнее обновление ChatGPT позволило интеграцию с приложениями, такими как Gmail и Календарь. Исследователи продемонстрировали, что злоумышленники могут вставлять вредоносные команды через приглашения в календаре, захватывая ИИ для кражи личных данных.

Что такое система "финансовой информации", которую предлагает Бутерин?

Это конкурентоспособный рынок моделей ИИ, который постоянно контролируется независимыми рецензентами и человеческими жюри, обеспечивая ответственность и снижая риски манипуляций.

Бутерин полностью отвергает ИИ в управлении?

Не совсем. Он признает потенциал ИИ, но подчеркивает, что он должен функционировать под человеческим контролем и защитными мерами, а не как полностью автономный управляющий.

Может ли ИИ по-прежнему играть роль в принятии решений в будущем?

Да. ИИ может помочь с анализом данных, прогнозами и повышением эффективности, но окончательная власть должна оставаться у людей, чтобы избежать неконтролируемых рисков.