En la columna de Score, no verá una calificación del 1 al 100. Utilizamos el Rating Elo, el mismo sistema empleado en el ajedrez profesional y los videojuegos competitivos.

• ¿Cómo funciona? El sistema no le pone una nota al modelo, sino que lo hace "competir". Dos modelos anónimos responden a la misma pregunta y un experto humano elige la mejor respuesta sin saber quién es quién.

• ¿Cómo interpretarlo?

  • No es un porcentaje: Un score de 1200 no significa que el modelo tenga un 1200% de éxito.

  • Es una medida de fuerza relativa: Cuanto más alto es el número, más veces ha ganado el modelo frente a otros competidores.

  • Diferencia de nivel: Una diferencia pequeña en los puntos puede representar una diferencia notable en la calidad del código generado.

Este catálogo aplica un filtro estricto para eliminar el "ruido" del marketing (hype). Para aparecer aquí, un modelo debe cumplir tres condiciones:

1. Pruebas Ciegas: Solo aceptamos resultados de evaluaciones donde el evaluador no conoce la marca del modelo.

2. Rendimiento Técnico: Priorizamos la capacidad de razonamiento lógico y escritura de código eficiente sobre la capacidad de "conversar".

3. Filtro de Gobernanza: Excluimos deliberadamente a empresas cuyos modelos no cumplen con nuestros estándares de transparencia o cuyos intereses comerciales interfieren con la neutralidad técnica.

Este es un documento vivo. A medida que la tecnología avance, añadiremos nuevas dimensiones de análisis, tales como:

• Latencia: Qué tan rápido responde el modelo.

• Costo por Token: Eficiencia económica para implementaciones reales.

• Ventana de Contexto: Cuánta información puede procesar el modelo de una sola vez.