Desde el asesor de inversiones hasta el secretario, los desafíos de confianza de la inteligencia artificial como agente: ¿podemos confiar en las decisiones autónomas de la inteligencia artificial?
Con la rápida expansión de la tecnología de agentes de IA (AI agent) en Silicon Valley, con una inversión que alcanzó los 8.2 mil millones de dólares en 2024, estos sistemas autónomos están infiltrándose gradualmente en las finanzas, la infraestructura y los niveles de toma de decisiones. Sin embargo, detrás de esta revolución tecnológica, surge un problema clave que a menudo se pasa por alto: "¿Cómo verificamos si el comportamiento de los agentes de IA es confiable?"
Silicon Valley invirtió $8.2B en agentes de IA el año pasado.
Pronto, controlarán nuestro dinero, infraestructura y toma de decisiones.
Pero hay un problema del que nadie está hablando:
¿Cómo podemos verificar si los agentes de IA están diciendo la verdad? pic.twitter.com/zEj7z5mGyX
— Sergey Gorbunov (@sergey_nog) 22 de abril de 2025
¿Inversiones masivas en AI por Silicon Valley, pero la base de confianza sigue siendo una "caja negra"?
El cofundador de Chainlink, Sergey Gorbunov, publicó anoche que, aunque los agentes de IA actualmente se presentan como sistemas autónomos capaces de completar tareas complejas, en realidad la mayoría todavía opera de manera "caja negra" - es decir, los usuarios no pueden conocer su proceso de toma de decisiones interno y solo pueden optar por confiar ciegamente.
Un agente de IA verdaderamente autónomo debe poseer simultáneamente las características de "inexorable" y "verificable"; sin embargo, los sistemas actuales a menudo no cumplen con este estándar.
(AI Interfaz USB-C del mundo: ¿Qué es el Protocolo de Contexto del Modelo (MCP)? Interpretación del protocolo de contexto universal del asistente de IA )
¿Por qué la "verificabilidad" es la verdadera garantía de seguridad?
Gorbunov enfatiza que la verificabilidad significa que los agentes de IA necesitan poder explicar claramente "¿qué hicieron? ¿cómo lo hicieron? ¿cumplieron con las reglas establecidas?"
Si faltan estos mecanismos, cuando los agentes de IA obtengan el control de infraestructuras críticas, podría haber un gran riesgo. Esta "brecha de verificación (verification gap)", si no se maneja adecuadamente, podría convertirse en un peligro oculto en el desarrollo tecnológico.
Tres tipos de agentes de IA, cada uno con diferentes requisitos de verificación.
Según el fundador de EigenLayer, Sreeram Kannan, los agentes de IA se pueden clasificar en tres categorías según el objeto de servicio:
Agentes personales (: servicios principalmente para individuos, como asistentes digitales, con requisitos de verificación relativamente bajos.
Agentes Comunes ): Servicios comunitarios, requieren una verificación de intensidad media para garantizar la equidad y la confianza.
Agentes Soberanos (: completamente independientes de la operación humana, deben poseer el más alto nivel de capacidad de verificación.
En los próximos cinco años, estos agentes soberanos podrían controlar billones de dólares en activos; si los mecanismos de verificación no son lo suficientemente maduros, será como "construir casas sobre arena movediza".
Sistema de verificación de tres niveles: reconstruyendo la piedra angular de la confianza en los agentes de IA
Para resolver el problema de la verificación, Kannan propuso un marco de verificación de tres niveles:
Verificación Proactiva ): Evaluación antes de la ejecución de la tarea.
Verificación retroactiva (: revisar la corrección después de completar la tarea.
Verificación Concurrente ): Monitoreo y registro continuo durante la ejecución de la tarea.
Esta estructura permite que el comportamiento de la IA sea transparente, lo que aumenta la confianza.
Desde el reclamo de seguros hasta la predicción del mercado: aplicaciones prácticas de la IA verificable
Kannan también mencionó la posible aplicación de agentes de IA verificables en la liquidación de seguros, actualmente la industria de seguros es manejada por una sola empresa que cumple con los roles de emisión y revisión, lo que a menudo provoca crisis de confianza:
A través de agentes de IA verificables, el proceso de reclamación puede transformarse en una auditoría independiente, ejecutándose y auditándose mediante mecanismos transparentes, lo que aumenta la equidad y la credibilidad.
Además, plataformas como EigenBets combinan ZK-TLS y tecnologías de capa de inferencia verificable, lo que permite que los mercados de predicción funcionen de manera más transparente y reduce la dependencia de autoridades centralizadas.
(Sam Altman tres grandes observaciones: el costo disminuye diez veces al año, los agentes de IA se convierten en el nuevo estándar laboral, los activos que no pueden ser reemplazados por IA aumentarán de valor)
Blockchain + IA: Creando el boleto del futuro para agentes de IA
Frente a sistemas de IA cada vez más complejos, Gorbunov considera que la tecnología blockchain puede proporcionar la base de confianza criptográfica necesaria y ayudar a establecer una sólida arquitectura de verificación:
La combinación de agentes de IA con blockchain no solo puede mejorar la credibilidad y la flexibilidad, sino que también hace que los contratos inteligentes se vuelvan realmente "inteligentes", allanando el camino para las aplicaciones de IA en el futuro.
Al final del artículo, Gorbunov también adjunta el enlace a su programa de YouTube "The Future of AI", enfatizando que el desarrollo clave de los agentes de IA en el futuro no solo es crear modelos más poderosos, sino que también es capaz de:
demostrar los resultados de su comportamiento
Presentación transparente del proceso de razonamiento
Ganar confianza a través de mecanismos de criptografía
Él enfatizó: "Solo al lograr estos tres objetivos, los agentes de IA podrán operar de manera segura en los sistemas del futuro."
Este artículo desde consultores a secretarios, aborda el desafío de confianza en los agentes de IA: ¿podemos confiar en las decisiones autónomas de la inteligencia artificial? Apareció por primera vez en Chain News ABMedia.
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Desde el asesor de inversiones hasta el secretario, los desafíos de confianza de la inteligencia artificial como agente: ¿podemos confiar en las decisiones autónomas de la inteligencia artificial?
Con la rápida expansión de la tecnología de agentes de IA (AI agent) en Silicon Valley, con una inversión que alcanzó los 8.2 mil millones de dólares en 2024, estos sistemas autónomos están infiltrándose gradualmente en las finanzas, la infraestructura y los niveles de toma de decisiones. Sin embargo, detrás de esta revolución tecnológica, surge un problema clave que a menudo se pasa por alto: "¿Cómo verificamos si el comportamiento de los agentes de IA es confiable?"
Silicon Valley invirtió $8.2B en agentes de IA el año pasado.
Pronto, controlarán nuestro dinero, infraestructura y toma de decisiones.
Pero hay un problema del que nadie está hablando:
¿Cómo podemos verificar si los agentes de IA están diciendo la verdad? pic.twitter.com/zEj7z5mGyX
— Sergey Gorbunov (@sergey_nog) 22 de abril de 2025
¿Inversiones masivas en AI por Silicon Valley, pero la base de confianza sigue siendo una "caja negra"?
El cofundador de Chainlink, Sergey Gorbunov, publicó anoche que, aunque los agentes de IA actualmente se presentan como sistemas autónomos capaces de completar tareas complejas, en realidad la mayoría todavía opera de manera "caja negra" - es decir, los usuarios no pueden conocer su proceso de toma de decisiones interno y solo pueden optar por confiar ciegamente.
Un agente de IA verdaderamente autónomo debe poseer simultáneamente las características de "inexorable" y "verificable"; sin embargo, los sistemas actuales a menudo no cumplen con este estándar.
(AI Interfaz USB-C del mundo: ¿Qué es el Protocolo de Contexto del Modelo (MCP)? Interpretación del protocolo de contexto universal del asistente de IA )
¿Por qué la "verificabilidad" es la verdadera garantía de seguridad?
Gorbunov enfatiza que la verificabilidad significa que los agentes de IA necesitan poder explicar claramente "¿qué hicieron? ¿cómo lo hicieron? ¿cumplieron con las reglas establecidas?"
Si faltan estos mecanismos, cuando los agentes de IA obtengan el control de infraestructuras críticas, podría haber un gran riesgo. Esta "brecha de verificación (verification gap)", si no se maneja adecuadamente, podría convertirse en un peligro oculto en el desarrollo tecnológico.
Tres tipos de agentes de IA, cada uno con diferentes requisitos de verificación.
Según el fundador de EigenLayer, Sreeram Kannan, los agentes de IA se pueden clasificar en tres categorías según el objeto de servicio:
Agentes personales (: servicios principalmente para individuos, como asistentes digitales, con requisitos de verificación relativamente bajos.
Agentes Comunes ): Servicios comunitarios, requieren una verificación de intensidad media para garantizar la equidad y la confianza.
Agentes Soberanos (: completamente independientes de la operación humana, deben poseer el más alto nivel de capacidad de verificación.
En los próximos cinco años, estos agentes soberanos podrían controlar billones de dólares en activos; si los mecanismos de verificación no son lo suficientemente maduros, será como "construir casas sobre arena movediza".
Sistema de verificación de tres niveles: reconstruyendo la piedra angular de la confianza en los agentes de IA
Para resolver el problema de la verificación, Kannan propuso un marco de verificación de tres niveles:
Verificación Proactiva ): Evaluación antes de la ejecución de la tarea.
Verificación retroactiva (: revisar la corrección después de completar la tarea.
Verificación Concurrente ): Monitoreo y registro continuo durante la ejecución de la tarea.
Esta estructura permite que el comportamiento de la IA sea transparente, lo que aumenta la confianza.
Desde el reclamo de seguros hasta la predicción del mercado: aplicaciones prácticas de la IA verificable
Kannan también mencionó la posible aplicación de agentes de IA verificables en la liquidación de seguros, actualmente la industria de seguros es manejada por una sola empresa que cumple con los roles de emisión y revisión, lo que a menudo provoca crisis de confianza:
A través de agentes de IA verificables, el proceso de reclamación puede transformarse en una auditoría independiente, ejecutándose y auditándose mediante mecanismos transparentes, lo que aumenta la equidad y la credibilidad.
Además, plataformas como EigenBets combinan ZK-TLS y tecnologías de capa de inferencia verificable, lo que permite que los mercados de predicción funcionen de manera más transparente y reduce la dependencia de autoridades centralizadas.
(Sam Altman tres grandes observaciones: el costo disminuye diez veces al año, los agentes de IA se convierten en el nuevo estándar laboral, los activos que no pueden ser reemplazados por IA aumentarán de valor)
Blockchain + IA: Creando el boleto del futuro para agentes de IA
Frente a sistemas de IA cada vez más complejos, Gorbunov considera que la tecnología blockchain puede proporcionar la base de confianza criptográfica necesaria y ayudar a establecer una sólida arquitectura de verificación:
La combinación de agentes de IA con blockchain no solo puede mejorar la credibilidad y la flexibilidad, sino que también hace que los contratos inteligentes se vuelvan realmente "inteligentes", allanando el camino para las aplicaciones de IA en el futuro.
Al final del artículo, Gorbunov también adjunta el enlace a su programa de YouTube "The Future of AI", enfatizando que el desarrollo clave de los agentes de IA en el futuro no solo es crear modelos más poderosos, sino que también es capaz de:
demostrar los resultados de su comportamiento
Presentación transparente del proceso de razonamiento
Ganar confianza a través de mecanismos de criptografía
Él enfatizó: "Solo al lograr estos tres objetivos, los agentes de IA podrán operar de manera segura en los sistemas del futuro."
Este artículo desde consultores a secretarios, aborda el desafío de confianza en los agentes de IA: ¿podemos confiar en las decisiones autónomas de la inteligencia artificial? Apareció por primera vez en Chain News ABMedia.