¿A Vitalik no le gusta la IA? Esto es lo que dijo

Inteligencia artificialha estado haciendo titulares en diversas industrias, con algunos sugiriendo que los sistemas de IA podrían asumir roles de liderazgo en la gobernanza y la toma de decisiones financieras.

Sin embargo,EthereumEl cofundador Vitalik Buterin está sonando la alarma. En una declaración reciente, Buterin advirtió que dar a la IA el control total de los sistemas de gobernanza podría terminar en un desastre, enfatizando que los riesgos superan con creces los beneficios.

Leer También:Vitalik Buterin de nuevo entre los billonarios de las criptomonedas

Aspectos Clave

• Vitalik Buterin cree que poner la IA a cargo de la gobernanza sería peligroso.
• Él advierte que los sistemas de IA pueden ser manipulados a través de indicaciones al estilo de jailbreak.
• Una vulnerabilidad reciente en las integraciones de ChatGPT destacó los riesgos de explotación.
• Buterin sugiere una alternativa: un sistema de “finanzas informativas” donde los modelos de IA son constantemente monitoreados por revisores independientes y jurados humanos.
• El atractivo del dominio de la IA es fuerte, pero sin supervisión humana, Buterin ve un potencial catastrófico.

Las preocupaciones de Vitalik Buterin sobre el dominio de la IA

El escepticismo de Buterin llega en un momento en que las conversaciones sobre agentes de IA en la gobernanza están ganando impulso. Algunos futuristas imaginan modelos de IA gestionando la asignación de recursos, decisiones de financiamiento, o incluso estructuras organizacionales enteras. Buterin no está de acuerdo, destacando un defecto fundamental: los sistemas de IA pueden ser engañados.

Según él, si se encargara a la IA tomar decisiones de financiamiento, actores maliciosos podrían aprovechar vulnerabilidades utilizando comandos de jailbreak. En lugar de una distribución de recursos justa y eficiente, los atacantes podrían manipular a la IA para canalizar fondos hacia direcciones fraudulentas o perjudiciales.

Este no es un riesgo hipotético. Un ejemplo reciente demostró lo fácil que puede ser manipular la IA.

La vulnerabilidad de ChatGPT que desató el debate

Eito Miyamura, CEO de EdisonWatch, recientemente descubrió una vulnerabilidad en las nuevas funciones de integración de ChatGPT. Con la actualización, ChatGPT podría acceder a aplicaciones como Gmail, Notion y Google Calendar. Aunque se promocionó como una herramienta de productividad, Miyamura mostró cómo un atacante podría enviar una simple invitación de calendario con un comando de jailbreak oculto.

Si la víctima más tarde le pidiera a ChatGPT que resumiera su agenda, la IA ejecutaría el comando malicioso. Esto podría permitir a los atacantes obtener acceso a correos electrónicos privados y reenviar datos sensibles a otros lugares.

ParaButerin, este caso ilustra perfectamente por qué poner a la IA a cargo de la gobernanza es imprudente. Sin una supervisión constante, la IA puede ser secuestrada, lo que lleva a resultados mucho más desastrosos que el error humano.

Una alternativa: El sistema “Info Finance”

En lugar de un gobierno dirigido por IA, Buterin favorece lo que él llama un sistema de "finanzas informativas". En este modelo, múltiples modelos de IA operan en un entorno competitivo, con una supervisión humana integrada en el proceso. Revisores independientes y jurados humanos actúan como vigilantes, asegurando que los modelos de IA no puedan actuar sin control.

Al fomentar la competencia e incrustar controles aleatorios, se pueden detectar rápidamente los fallos. Los incentivos también están alineados para mantener a los desarrolladores honestos, creando un sistema que equilibra la eficiencia de la IA con la responsabilidad humana.

Este enfoque, según Buterin, es más seguro y sostenible que otorgar a cualquier herramienta de IA individual plena autoridad de gobernanza.

¿Por qué persiste el atractivo de la regla de la IA?

La idea de la gobernanza de la IA es atractiva para muchos. Las máquinas no sufren de fatiga, emociones o sesgos personales de la misma manera que los humanos. La IA puede procesar grandes cantidades de información rápidamente y tomar decisiones a gran escala.

Sin embargo, Buterin advierte que la realidad es más complicada que la teoría. Los sistemas de IA pueden amplificar riesgos cuando son manipulados, y a diferencia de los sistemas dirigidos por humanos, carecen de la intuición para cuestionar entradas sospechosas. Sin las salvaguardias adecuadas, lo que parece eficiente sobre el papel podría resultar en una catastrófica mala asignación de recursos en la práctica.

Reflexiones finales

La advertencia de Vitalik Buterin es clara: el sueño de la gobernanza liderada por IA podría convertirse fácilmente en una pesadilla. Si bien la IA ofrece eficiencia y escalabilidad, su vulnerabilidad a la manipulación la hace inapropiada como tomadora de decisiones autónoma. El modelo de “finanzas de información” de Buterin proporciona una alternativa que abraza las fortalezas de la IA mientras mantiene a los humanos en el circuito.

A medida que el debate sobre la IA en la gobernanza continúa, una lección destaca: la IA debe seguir siendo una herramienta, no el gobernante. El futuro puede ser moldeado por la IA, pero nunca debe ser dejada sin control.

Leer también:Vitalik Buterin presenta planes para fortalecer Ethereum L1

Preguntas Frecuentes

¿Por qué Vitalik Buterin piensa que el dominio de la IA es peligroso?

Él cree que los sistemas de IA son demasiado vulnerables a la manipulación y a exploits estilo jailbreak, lo que podría llevar a una asignación catastrófica de recursos.

¿Qué ejemplo muestra los riesgos de la gobernanza de la IA?

Una reciente actualización de ChatGPT permitió la integración con aplicaciones como Gmail y Calendar. Investigadores demostraron que los atacantes podían insertar mensajes maliciosos a través de invitaciones de calendario, secuestrando la IA para robar datos personales.

¿Qué es el sistema "info finance" que propone Buterin?

Es un mercado competitivo de modelos de IA constantemente supervisado por evaluadores independientes y jurados humanos, lo que garantiza la responsabilidad y reduce los riesgos de manipulación.

¿Buterin rechaza completamente la IA en la gobernanza?

No del todo. Él reconoce el potencial de la IA, pero enfatiza que debe operar bajo la supervisión y las salvaguardias humanas, no como un gobernante completamente autónomo.

¿Podría la IA seguir desempeñando un papel en la toma de decisiones futuras?

Sí. La IA puede ayudar con el análisis de datos, predicciones y eficiencia, pero la autoridad final debe permanecer con los humanos para evitar riesgos descontrolados.