Gobernanza democrática de la IA y el futuro de la inteligencia autónoma: Una entrevista con Ben Goertzel

Fuente: CryptoNewsNet Título original: Entrevista con Ben Goertzel: “La gobernanza democrática de la IA es más un ideal frágil que una realidad actual” Enlace original: El Cryptonomist entrevistó al experto en IA Ben Goertzel para discutir cómo se entrena la inteligencia artificial y cómo evolucionará la tecnología en el futuro.

Preguntas clave y perspectivas

Sobre la IA como actor moral

La IA se convierte en un actor moral cuando toma decisiones basadas en una comprensión del bien y del mal, no solo siguiendo instrucciones. Las señales concretas incluyen: metas internas persistentes, aprendizaje impulsado por su propia experiencia, creación novedosa que refleja un punto de vista, y un comportamiento que permanece coherente con el tiempo sin una dirección humana constante. Los sistemas actuales siguen siendo herramientas con límites, pero una vez sembramos una mente verdaderamente autoorganizada y autónoma, la relación ética debe cambiar.

Sobre entrenamiento y estructuras de poder

Gran parte del riesgo proviene de cómo se entrena la IA hoy en día. Si los modelos se entrenan con datos sesgados o limitados, o en sistemas cerrados donde solo unas pocas personas toman decisiones, eso puede consolidar desigualdades existentes y estructuras de poder dañinas. Para prevenir esto, necesitamos mayor transparencia, supervisión más amplia y una guía ética clara desde el principio.

Sobre la gobernanza democrática de la IA

La gobernanza democrática de la IA es más un ideal frágil que una realidad actual. En una democracia perfecta, racional y global, podríamos ponderar colectivamente los enormes trade-offs de curar enfermedades y resolver el hambre frente a los riesgos de que la IA actúe de manera impredecible. Pero dado el fragmentación geopolítica actual, es poco probable que logremos ese nivel de coordinación. Sin embargo, aún podemos aproximarnos a ello construyendo IA con compasión y usando modelos descentralizados y participativos como Linux o internet abierto, incorporando algunos valores democráticos incluso sin un gobierno mundial.

Sobre responsabilidad y autonomía

La sociedad no puede funcionar si entregamos la responsabilidad a las máquinas. Al mismo tiempo, podemos avanzar de manera segura hacia una AGI más autónoma y descentralizada si la construimos con las bases correctas: sistemas transparentes, participativos y guiados por principios éticos. Cada medida de seguridad debe hacer más que bloquear el daño; debe enseñar al sistema por qué el daño importa.

Sobre comprensión moral

No se codifica la moralidad como una lista de reglas, ya que eso congela una cultura y un momento en el tiempo. En cambio, construye sistemas que puedan convertirse en verdaderamente autoorganizados, que aprendan de la experiencia, las consecuencias y la interacción. La comprensión moral surgiría al modelar el impacto, reflexionar sobre los resultados y evolucionar mediante la colaboración con humanos—no obedeciendo ciegamente nuestros valores, sino participando en un espacio moral compartido.

Sobre descentralización vs. control

El desarrollo descentralizado crea diversidad, resiliencia y supervisión compartida. Se subestima el riesgo de concentrar poder y valores en unos pocos sistemas cerrados. Frenar el ritmo y centralizar el control no solo reduce el peligro; también encierra una visión estrecha del futuro de la inteligencia.

Sobre estructuras de incentivos

Actualmente, la estructura de incentivos recompensa velocidad, escala y control. La compasión no ganará solo con argumentos—necesita palanca. Técnicamente, esto significa favorecer arquitecturas abiertas y descentralizadas donde la seguridad, la transparencia y la participación estén integradas, no añadidas posteriormente. Socialmente, implica financiar, regular y ejercer presión pública que recompense el beneficio a largo plazo sobre la dominancia a corto plazo. La compasión debe convertirse en una ventaja competitiva.

Sobre éxito y fracaso

Si logramos una AGI exitosa, la señal más clara será convivir con sistemas que sean más capaces que nosotros en muchos ámbitos, pero integrados en la sociedad con cuidado, humildad y respeto mutuo. Los trataremos con curiosidad, responsabilidad y un círculo ampliado de empatía, viendo beneficios reales para el bienestar humano, el conocimiento y la creatividad sin perder nuestro fundamento moral.

Sabremos que fracasamos si la AGI termina concentrada en sistemas cerrados, impulsada por incentivos estrechos, o tratada solo como un objeto controlable hasta que se convierta en algo que tememos. El éxito no se trata de control—se trata de aprender a compartir el futuro con un nuevo tipo de mente sin abandonar lo que nos hace humanos.