Moonshot AI ha liberado los pesos de su modelo de inteligencia artificial Kimi-K3, ofreciendo un modelo abierto que compite con los líderes del mercado como OpenAI y Anthropic. Este lanzamiento permite que cualquier usuario con hardware moderno pueda ejecutar Kimi-K3 con costos significativamente menores.
Por qué importa: Kimi-K3 ofrece un rendimiento cercano a los modelos más avanzados, pero con un costo de inferencia entre 2 y 3 veces menor, lo que podría cambiar la dinámica de acceso y uso de IA avanzada.
Lo esencial
- Kimi-K3 es un modelo abierto con 2.8 billones de parámetros, pero solo activa 104.2 mil millones a la vez para optimizar recursos.
- El costo de inferencia de Kimi-K3 es de 3 dólares por millón de tokens, frente a 5 y 10 dólares de Sol y Fable, respectivamente.
- Su sistema de caché puede reducir el costo hasta 10 veces en tareas de codificación, con un 90% de aciertos.
Eficiencia técnica y arquitectura de Kimi-K3
Kimi-K3 utiliza formatos de datos MXFP4 para pesos y MXFP8 para activaciones de entrada, que son tipos de punto flotante de baja precisión. Esto permite que el modelo funcione con menos memoria de video (VRAM) y en hardware menos potente, como la GPU Nvidia H20, que no soporta nativamente estos formatos. Solo una fracción de los parámetros totales se activa en cada inferencia, lo que reduce la carga computacional.
