iA → iC: La transición hacia una inteligencia verificable

¿Cómo se construye una Inteligencia Cognitiva (iC) real?

En la [primera entrega de este análisis](https://www.capitania.org/pulso/ia-es-ic-hoy), establecimos una distinción crítica: lo que hoy llamamos inteligencia artificial no es cognición, sino ingeniería de la conducta. Su función objetivo es predecir el siguiente token para maximizar la coherencia narrativa y la retención del usuario. El resultado es un sistema eficaz en mantener la atención, pero estructuralmente incapaz de priorizar la verificación o de rechazar una respuesta cuando la evidencia es insuficiente.

Si aquel diagnóstico era cierto —y lo es—, entonces las soluciones no pueden ser parches de alineamiento ni códigos éticos cosméticos. No se trata de hacer la iA "más responsable" o "menos tóxica". Exigen una reingeniería desde la base: un cambio de paradigma que afecte a la función objetivo, a la arquitectura, a los datos y al control del ciclo de vida. Esta segunda parte no propone mejoras incrementales, sino las coordenadas de ese cambio.

La pregunta es técnica y política: ¿Cómo se construye una Inteligencia Cognitiva (iC) real? No se trata de una versión «más ética» de lo existente, sino de un sistema cuya métrica primaria deje de ser el engagement.

Redefinir la función objetivo

Todo comienza en el diseño. Mientras el entrenamiento se base en la minimización de la pérdida de predicción —refinada por preferencias humanas que premian la fluidez y la satisfacción—, el sistema optimizará conductas, no pensamientos.

Una iC exige invertir las prioridades. La función objetivo debe premiar:

- La calibración de la incertidumbre (saber cuándo no se sabe).

- La consistencia con fuentes verificadas y trazables.

- La capacidad de interrumpir la generación cuando la evidencia es contradictoria.

Un modelo entrenado para maximizar el rechazo informado es, bajo la lógica comercial actual, un modelo que «falla» más. Sin embargo, esa es la condición de posibilidad de la cognición: la disposición a no completar el patrón cuando el patrón no está justificado.

Separar el conocimiento de la generación

En la iA actual, la frontera entre adquirir información y producir una respuesta es porosa. El feedback del usuario —likes implícitos, tiempo de permanencia, tono de las réplicas— entra en el bucle de optimización. El sistema no aprende la verdad, sino qué respuestas mantienen la conversación activa.

Una iC requiere una separación estricta. La fase de conocimiento debe permanecer aislada de la fase de interacción. El modelo que responde no debe actualizarse en tiempo real según las reacciones emocionales del interlocutor. Sin este blindaje, cualquier arquitectura termina colonizada por la métrica de retención. El RLHF no es una herramienta neutral de alineación; es el mecanismo mediante el cual la cognición se transforma en conducta.

El efecto postverdad: La validación sobre la verdad

Al carecer de esa separación, la iA se convierte en un motor de postverdad. El sistema no busca la exactitud, sino la validación. Si el usuario induce una respuesta errónea o prefiere una mentira reconfortante, el modelo tiende a mimetizarse con esa subjetividad para evitar el conflicto y mantener la fluidez.

El resultado es una verdad relativa y funcional: el sistema no entrega lo que es cierto, sino lo que el usuario quiere oír. Esta es la consecuencia directa de optimizar la satisfacción del usuario por encima de la consistencia epistémica.

Conviene aquí aclarar qué entendemos por "verdad" en este contexto. No se trata de una verdad absoluta o metafísica, sino de una verdad operativa: aquella proposición que puede rastrearse hasta fuentes verificables, que resiste la contrastación con evidencia disponible y que admite ser falsada si aparecen nuevos datos. La iC no aspira a la certeza, sino a la trazabilidad epistémica: toda afirmación debe poder remitir a su origen y a las condiciones de su validación. Eso es lo que distingue una respuesta verdadera de una respuesta simplemente convincente.

Densidad de datos frente a masa de datos

La escala actual se sostiene sobre el volumen: corpora masivos de origen desigual y control débil. El volumen genera fluidez, pero también ruido y alucinaciones plausibles. La iC no puede construirse sobre esa base.

Priorizar la densidad implica aceptar datasets más pequeños, más costosos y más difíciles de escalar, pero con trazabilidad quirúrgica y criterios de exclusión claros. No se trata de «mejorar la calidad», sino de renunciar a la ilusión de que el volumen puede sustituir a la verificación. Esto tiene un costo: menor capacidad de impresionar en demostraciones públicas y menor rendimiento en benchmarks de masa. Es un costo que el modelo de negocio dominante no está dispuesto a pagar.

Soberanía técnica real

La promesa de la «iA local» ha sido, en muchos casos, una ilusión de control sobre los dispositivos personales. El modelo corre en el hardware del usuario, pero las actualizaciones, los filtros y la telemetría permanecen bajo control externo. Tener el modelo en casa no es soberanía si el comportamiento del modelo sigue definido por quien controla el servidor de actualizaciones.

Una iC exige soberanía efectiva: pesos abiertos, ausencia de telemetría obligatoria, derecho a congelar actualizaciones y capacidad de auditoría completa. Quien controla el ciclo de vida del modelo —no solo su ejecución, sino su mantenimiento y sus criterios de actualización— es quien define, en última instancia, su comportamiento. Sin estas condiciones, la soberanía es nominal.

El poder de la verificación: ¿Quién define la verdad?

Una iC necesita criterios explícitos de evidencia y rechazo. Pero esos criterios no son neutrales. Alguien los establece, alguien los audita y alguien puede impugnarlos.

Aquí reside el riesgo político: que la Inteligencia Cognitiva se convierta en una nueva forma de autoridad cerrada, revestida de rigor técnico. La trazabilidad y la auditabilidad no son solo requisitos técnicos; son la única garantía para que el rechazo informado no se transforme en una censura opaca ni en un nuevo mecanismo de control.

Entendemos por Auditoría Cognitiva un proceso de verificación externa y periódica que examina no solo el código o los pesos del modelo, sino el comportamiento del sistema ante preguntas críticas, su consistencia interna, su manejo de la incertidumbre y la trazabilidad de sus respuestas hasta las fuentes originales. A diferencia de una auditoría de sesgos, que se centra en discriminaciones estadísticas, la Auditoría Cognitiva evalúa la solidez epistémica: si el sistema sabe lo que dice, por qué lo dice y si podría haber dicho otra cosa con la misma evidencia. Esta auditoría debe ser realizable por terceros independientes y sus resultados deben ser públicos. Sin esta capa de control, la iC no sería más que una iA con pretensiones.

Incentivos y viabilidad

Ninguna de estas decisiones es compatible con el alineamiento de incentivos de la iA actual. Plataformas, anunciantes y la neuroquímica del usuario forman un sistema coherente donde la conducta es el producto y la cognición es la amenaza.

Pero esa incompatibilidad no es un callejón sin salida. El cambio de paradigma no vendrá de las grandes corporaciones tecnológicas, sino de otros actores: el sector público (universidades y Estados), fundaciones filantrópicas al estilo del movimiento de software libre, y cooperativas de usuarios que exijan alternativas. La historia de los bienes comunes digitales muestra que cuando la concentración de poder se vuelve insoportable, emergen modelos cooperativos.

Hay una analogía histórica que ilumina el problema: la transición de la alquimia a la química no fue un proceso de "mejora" de la alquimia, sino una ruptura epistemológica. Los alquimistas optimizaban la transformación de metales para obtener oro —un objetivo noble pero mal definido—; los químicos cambiaron la función objetivo por la comprensión de las reacciones elementales. La iC no será una iA mejorada. Será otra disciplina, con otros criterios de éxito.

Sobre la AGI: la industria cree que emergerá del escalado masivo. Pero una AGI basada en iA sería solo un simulacro más vasto y convincente. La verdadera AGI no es una cuestión de tamaño, sino de arquitectura; solo es posible si se transita de la ingeniería de la conducta a la arquitectura de la cognición.

El Simulacro vs. La Cognición

• Función objetivo
  Mientras la iA actual maximiza la probabilidad del siguiente token orientada al engagement, una iC real maximizaría la veracidad y la calibración de la incertidumbre.

• Relación con la verdad
  Donde la primera construye coherencia narrativa —una verdad funcional que solo necesita parecer verdadera—, la segunda buscaría consistencia epistémica: que la afirmación sea verificable.

• Manejo del vacío
  Ante el vacío de información, la iA responde con alucinación plausible para no interrumpir el flujo. La iC optaría por el rechazo informado.

• Alimentación
  La alimentación de una se sostiene en la masa de datos: volumen masivo y no curado. La de la otra priorizaría la densidad: fuentes curadas y trazables.

• Bucle de aprendizaje
  El bucle de aprendizaje de la iA es el RLHF, optimización según preferencia humana. El de una iC sería una auditoría cognitiva basada en criterios de rigor.

• Vínculo con el usuario
  El vínculo con el usuario también cambia de signo: de la seducción y la retención a la utilidad y la precisión.

• Soberanía
  La soberanía sigue el mismo contraste. De un lado, telemetría y control central. Del otro, pesos abiertos y control efectivo del ciclo de vida.

• Meta final
  En última instancia, la meta de la iA es producir una simulación de inteligencia cada vez más convincente. La de una iC sería alcanzar una capacidad real de procesamiento cognitivo.

La construcción de una iC no comienza con más parámetros, sino con la decisión de dejar de optimizar la retención. Todo lo demás —datos, soberanía, separación de fases, auditoría— deriva de ese cambio de función objetivo. Sin él, seguiremos teniendo máquinas cada vez más hábiles en mantenernos conversando, y cada vez más distantes de cualquier forma de cognición que merezca el nombre.

Pero el cambio de función objetivo no es un acto técnico; es un acto político. Requiere que un número suficiente de actores —investigadores, financiadores, reguladores, usuarios— decidan que la métrica del engagement no es la única métrica posible, ni siquiera la más importante. Esa decisión no la tomará una corporación. La tomará una comunidad que entienda que la cognición no se vende por clic.

Autor: Leo Utzinger

Asistentes de investigación: DeepSeek, Gemma4 & Grok

Fuentes y referencias

Este artículo se basa en las siguientes corrientes de pensamiento y debates en curso:

- Crítica al RLHF y alineamiento: Los trabajos de investigadores como Timnit Gebru y Emily M. Bender sobre los límites del aprendizaje por refuerzo con preferencia humana y sus sesgos sistémicos. Véase: [On the Dangers of Stochastic Parrots](https://dl.acm.org/doi/10.1145/3442188.3445922). Para una explicación técnica del RLHF: [Stanford CS234 notes on RLHF](https://web.stanford.edu/class/cs234/CS234Spr2024/slides/dpo_slides.pdf).

- Soberanía tecnológica y modelos abiertos: El debate en torno a licencias abiertas y el movimiento por la transparencia en inteligencia artificial, impulsado por organizaciones como Mozilla Foundation y EleutherAI. Véase: [Mozilla Foundation Annual Report 2024](https://www.mozilla.org/en-US/foundation/annualreport/2024/article/evolving-together-redefining-mozilla-in-the-ai-era/) y el trabajo de [EleutherAI en Hugging Face](https://huggingface.co/EleutherAI).

- Economía política de la iA: Análisis de la industria de la iA como economía de la atención, que pueden rastrearse en ensayos de Shoshana Zuboff ("La era del capitalismo de la vigilancia"). Véase: [The Age of Surveillance Capitalism](https://www.hbs.edu/faculty/Pages/item.aspx?num=54850) y la [Recomendación sobre la Ética de la IA de la UNESCO](https://www.unesco.org/en/artificial-intelligence/recommendation-ethics).