Colibrì
Motor de inferencia local de IA escrito en C que permite ejecutar modelos MoE gigantescos como GLM-5.2 de 744B en hardware de consumo. En lugar de cargar todo el modelo, divide los Experts entre VRAM, RAM y SSD NVMe, transformando las capas de almacenamiento en parte de la arquitectura de inferencia.
Colibrì es un motor de inferencia local de IA escrito íntegramente en C. Su objetivo no es simplemente ofrecer una forma sencilla de ejecutar modelos que ya caben en el ordenador, como hacen herramientas como Ollama.
Su propuesta es mucho más agresiva:
intentar ejecutar modelos MoE gigantescos que superan ampliamente la capacidad de RAM y VRAM de la máquina.
El repositorio oficial ha evolucionado desde el experimento inicial con GLM-5.2 744B hasta incluir diferentes familias de modelos, entre ellas 975B Inkling, 2.8T Kimi K3, 284B DeepSeek V4 Flash, 35B-A3B Qwen3.6 y OLMoE.
El proyecto también ofrece diferentes rutas de ejecución para CPU, CUDA, Metal y Vulkan/HIP, además de una API compatible con OpenAI.
Para entender por qué todo esto es posible hay que entender primero MoE (Mixture of Experts).
Que GLM-5.2 tenga 744B parámetros no significa que cada token generado tenga que utilizar los 744B.
Cada token activa aproximadamente 40B parámetros, mientras que la mayoría de los Experts no participan en el cálculo de ese token concreto.
El problema de muchos frameworks tradicionales es que, aunque un Expert no se utilice en un momento determinado, normalmente sigue teniendo que estar cargado en RAM o VRAM.
Colibrì plantea la cuestión al revés:
Si la mayoría de estos Experts no se utilizan en cada momento, ¿por qué deberían estar todos almacenados en la memoria más rápida?
Esta es la idea central del proyecto.
Convertir el almacenamiento en una jerarquía de inferencia
La arquitectura de Colibrì puede simplificarse así:
VRAM → RAM → NVMe SSD
La VRAM funciona como la zona más rápida para los datos calientes. La RAM ofrece mayor capacidad a cambio de una velocidad inferior, mientras que el NVMe se convierte en una zona fría con una capacidad enorme pero mucho más lenta.
Por ejemplo, el contenedor oficial de GLM-5.2 int4 necesita aproximadamente 372 GB de almacenamiento. Alrededor de 9,9 GB de la parte densa del modelo pueden permanecer de forma permanente en RAM, mientras que una gran cantidad de Experts se conserva en el disco.
Según la documentación oficial, el modelo de 744B tiene aproximadamente 19.456 routed Experts, cada uno con un tamaño de varias decenas de MB. Estos Experts se cargan desde la capa de almacenamiento cuando son necesarios.
Por tanto, Colibrì no está «comprimiendo 744B parámetros dentro de 25 GB».
Lo que hace es convertir un modelo de 744B en un modelo gigantesco al que se puede acceder bajo demanda.
Aquí entran en juego mecanismos como LRU cache, hot expert pinning, routing history y prefetch.
Cuando determinados Experts se utilizan con frecuencia, el sistema puede mantenerlos progresivamente en RAM o VRAM. Los que se utilizan pocas veces permanecen en el SSD.
En la práctica, esto transforma la inferencia de IA de un problema puramente computacional en una combinación de:
cálculo + gestión de memoria + E/S de almacenamiento + predicción del routing.
Y esta es probablemente una de las partes con mayor interés técnico de Colibrì.
¿Por qué la velocidad del SSD puede determinar directamente la velocidad de la IA?
En una inferencia local convencional, el flujo suele ser:
modelo cargado en RAM/VRAM → cálculo en GPU/CPU → generación del token.
Con Colibrì, el proceso puede convertirse en:
el Router selecciona un Expert → el SSD carga el Expert → RAM/VRAM → cálculo → siguiente Expert.
Por tanto, el SSD deja de ser simplemente el lugar donde está almacenado el modelo y pasa a formar parte de la propia ruta de inferencia.
Los datos de la prueba original con una máquina de 25 GB son bastante reveladores: un token frío puede requerir aproximadamente 11 GB de lectura de Experts desde el disco. Con una unidad que ronda 1 GB/s, el rendimiento real puede quedarse en apenas 0,05-0,1 tok/s.
Esto explica por qué hay que separar dos afirmaciones muy diferentes:
«744B puede ejecutarse» y «744B puede utilizarse cómodamente para conversar».
¿Ejecutar 744B con 25 GB de RAM es realmente posible?
Sí, no es un truco de marketing, pero es muy fácil malinterpretarlo.
El Quick Start oficial establece unos 16 GB de RAM como mínimo y recomienda 24 GB o más. Al mismo tiempo, el modelo GLM-5.2 int4 necesita alrededor de 380 GB de espacio disponible, y la documentación recomienda utilizar un NVMe rápido porque la velocidad de streaming afecta directamente a la velocidad de generación de tokens.
Por tanto, un ordenador con unos 25 GB de RAM puede ejecutar efectivamente un modelo de 744B.
El problema aparece cuando analizamos la experiencia real:
| Configuración | Rendimiento aproximado | Significado práctico |
| --- | ---: | --- |
| 25 GB RAM + NVMe relativamente lento | 0,05-0,1 tok/s | Demostración técnica; muy incómodo para conversar |
| 24 GB RAM + NVMe | ~0,07 tok/s según pruebas de la comunidad | Puede ejecutarse, pero no resulta adecuado para uso diario |
| M5 Max + 128 GB | ~1,06 tok/s en CPU | Ya permite experimentar de forma más práctica |
| M5 Max + Metal + 128 GB | ~1,83 tok/s | La experiencia mejora claramente cuando entra en juego la caché caliente |
| RTX 5090 + 9950X3D + Gen5 NVMe | ~1,23 tok/s | El hardware de consumo de gama alta ofrece una experiencia realmente utilizable |
| 2× Xeon + 1 TB RAM | ~5,42 tok/s | La gran cantidad de RAM permite mantener muchos Experts residentes |
| 6× RTX 5090 con todo el modelo residente | ~9 tok/s | Se acerca mucho más a una experiencia interactiva real |
Estas cifras no deben interpretarse como un benchmark estricto entre configuraciones, ya que el hardware, el estado de la caché y los métodos de prueba son diferentes.
Pero sí dejan clara una cosa:
el rendimiento de Colibrì puede variar enormemente según el hardware disponible.
¿Qué significa realmente esa velocidad?
Una forma sencilla de entenderlo es la siguiente.
0,05 tok/s: básicamente una demostración técnica
Generar 100 tokens puede llevar aproximadamente media hora.
Para una conversación normal, resulta prácticamente inviable.
1 tok/s: usable, pero claramente lento
Las preguntas sencillas pueden ser aceptables, pero las respuestas largas, los Coding Agents y las conversaciones continuas se vuelven frustrantes.
3 tok/s: empieza a ser experimentalmente práctico
Para alguien que quiere experimentar con modelos gigantes de forma local, ya existe cierto valor real.
10 tok/s: experiencia interactiva mucho más cercana al uso diario
Por eso, el objetivo de Colibrì no es conseguir que un ordenador de 25 GB convierta mágicamente un modelo de 744B en una experiencia de 10 tok/s.
Su objetivo es cambiar la situación de:
«este modelo no puede ejecutarse»
a:
«este modelo puede ejecutarse y será progresivamente más rápido a medida que aumente el hardware disponible».
Es un objetivo técnico completamente diferente.
La GPU tampoco se utiliza en Colibrì de la forma tradicional
El diseño de GPU de Colibrì también gira alrededor de la colocación de los Experts.
Los backends CUDA/HIP permiten colocar determinados Experts en la GPU mientras se mantiene la ruta de ejecución a través de CPU/RAM. CUDA también incorpora mecanismos para múltiples GPUs y diferentes niveles de Experts residentes en VRAM.
La documentación oficial de Windows, por ejemplo, registra una prueba con RTX 5070 Ti + Core Ultra 9 + 32 GB, donde el rendimiento pasa aproximadamente de:
- 0,63 tok/s con CPU únicamente;
- 0,72 tok/s al añadir CUDA attention/dense;
- 1,07 tok/s al activar el pipeline residente en GPU.
Esto demuestra que el problema no se reduce simplemente a «tener una GPU más potente».
Lo realmente importante es:
qué datos están almacenados en cada nivel y si GPU, CPU, RAM y SSD pueden trabajar como una canalización eficiente.
Esta es otra diferencia importante entre Colibrì y las herramientas tradicionales de inferencia local.
¿En qué se diferencia de Ollama y llama.cpp?
No tiene mucho sentido decir simplemente que una herramienta es mejor que otra, porque los objetivos son diferentes.
Ollama, llama.cpp, LM Studio y herramientas similares suelen centrarse en:
cómo ejecutar de forma eficiente un modelo que cabe dentro del hardware disponible.
Colibrì plantea una pregunta mucho más ambiciosa:
si el modelo no cabe físicamente en el hardware, ¿podemos utilizar streaming de Experts para ejecutarlo igualmente?
Por eso, la principal innovación de Colibrì no es ser «otro framework de inferencia escrito en C».
Su verdadera aportación consiste en convertir la jerarquía de almacenamiento en parte de la propia arquitectura de inferencia.
El proyecto se presenta además como un inference engine + open research platform, en lugar de centrarse únicamente en ofrecer un producto de consumo estable.
¿Merece la pena para un usuario normal?
Si tu objetivo es simplemente conversar, programar o resumir PDFs:
en la mayoría de los casos, no merece la pena comprar hardware específicamente para Colibrì.
Un ordenador con una GPU potente ejecutando un modelo local más pequeño, o directamente una API en la nube, normalmente ofrecerá mucha más velocidad, estabilidad y una mejor relación entre coste y rendimiento.
La situación cambia si ya tienes:
64 GB, 128 GB o más de RAM + NVMe rápido + GPU potente.
En ese caso, Colibrì resulta bastante más interesante.
Lo que tienes entre manos es, en la práctica, una plataforma experimental capaz de intentar ejecutar modelos MoE gigantescos que antes estaban completamente fuera del alcance del hardware de consumo.
Para desarrolladores de inferencia y especialistas en sistemas, su valor es todavía mayor. Expert cache, memoria jerárquica, prefetch, routing locality y solapamiento GPU/CPU son problemas relevantes de infraestructura de inferencia por derecho propio.
Principal ventaja
La mayor ventaja de Colibrì no es el número «744B».
Es que redefine hasta cierto punto los límites del hardware local para ejecutar IA.
Tradicionalmente, cuando alguien quiere ejecutar un modelo localmente, la primera pregunta suele ser:
¿Tengo suficiente VRAM o RAM para cargarlo?
Colibrì cambia la pregunta:
¿Puede mi hardware hacer llegar a tiempo las partes del modelo que realmente necesita el cálculo?
Es una perspectiva de ingeniería de sistemas muy interesante.
Además, el proyecto ya está bastante más avanzado que una simple demostración conceptual. La versión actual incluye múltiples modelos, diferentes backends de GPU, una API compatible con OpenAI, Web UI, caché y mecanismos de prefetch. El proyecto también ha pasado rápidamente del experimento inicial con GLM-5.2 a modelos como Kimi K3 de 2,8T parámetros.
Principal problema: el SSD puede convertirse en la nueva «pared de VRAM»
La mayor limitación de Colibrì procede precisamente de su mayor innovación.
Si un Expert no está en RAM o VRAM, hay que recuperarlo desde el SSD.
Cuanto más grande sea el modelo y menor sea la caché disponible, mayor será la presión sobre la E/S.
Las pruebas de la comunidad ya muestran diferencias muy importantes: una máquina convencional con 24 GB puede quedarse alrededor de 0,07 tok/s, mientras que un M5 Max con 128 GB puede alcanzar aproximadamente 1-1,8 tok/s.
Cuando hay mucha RAM disponible, más Experts utilizados con frecuencia pueden permanecer residentes y el rendimiento mejora de forma significativa.
Incluso en los Issues oficiales ya se ha planteado utilizar GPUDirect Storage para permitir que el NVMe suministre los Experts directamente a la VRAM de la GPU, reduciendo el cuello de botella provocado por el movimiento:
NVMe → RAM → VRAM
Esto demuestra precisamente que Colibrì sigue estando en una fase de exploración activa de la infraestructura de inferencia.
Ya no es simplemente un juguete, pero tampoco debería considerarse todavía un servidor de inferencia generalista completamente maduro para producción.
¿Qué tal es en coste y relación calidad-precio?
Si vas a comprar un ordenador específicamente para ejecutar 744B, no lo recomendaría.
No solo necesitas capacidad de cálculo. También necesitas:
- cientos de GB o incluso varios TB de almacenamiento SSD;
- suficiente RAM;
- un NVMe rápido;
- una GPU si quieres obtener una velocidad razonable;
- bastante tiempo para configurar y depurar el sistema;
- mayor consumo energético y un coste de hardware considerable.
Si el objetivo es simplemente conversar o utilizar un Coding Agent, normalmente resulta mucho más razonable comprar una GPU potente para ejecutar modelos de 30B-100B o utilizar modelos en la nube.
Pero si ya tienes 128 GB de RAM, un NVMe rápido y una GPU de gama alta, el cálculo cambia por completo.
En ese escenario, Colibrì permite aprovechar hardware que ya tienes para explorar modelos MoE gigantescos que hasta hace poco eran prácticamente imposibles de ejecutar localmente.
¿Para qué escenarios tiene más sentido Colibrì?
| Escenario | Valoración | Motivo |
|---|---|---|
| Investigación de modelos MoE gigantes | Muy recomendable | Es precisamente uno de sus objetivos principales |
| Investigación de sistemas de inferencia de IA | Muy recomendable | Memoria, caché, E/S y scheduling ofrecen mucho campo de estudio |
| Experimentación con IA local | Recomendable | Permite explorar nuevos límites del hardware de consumo |
| Usuarios con mucha RAM + NVMe | Recomendable | Una caché más grande puede mejorar considerablemente la experiencia |
| Usuarios con múltiples GPUs de gama alta | Recomendable | Permite mantener más Experts residentes |
| Conversación diaria en un PC convencional | Poco recomendable | El streaming de Experts puede ser demasiado lento |
| Coding Agent | Probar con cautela | Un tok/s bajo perjudica mucho la interacción |
| Producción | Precaución | El proyecto todavía tiene un marcado carácter de investigación |
| Usuarios que simplemente quieren utilizar IA | No recomendable | La nube o las herramientas locales maduras son mucho más sencillas |
Valoración final: 4,5/5
| Criterio | Puntuación |
| --- | ---: |
| Innovación tecnológica | 4,9/5 |
| Utilidad práctica | 3,7/5 |
| Rendimiento | 3,6/5 |
| Aprovechamiento del hardware | 4,8/5 |
| Facilidad de uso | 3,5/5 |
| Compatibilidad con modelos | 4,4/5 |
| Valor para despliegue local | 4,6/5 |
| Valor como proyecto open source e investigación | 4,9/5 |
| Relación calidad-precio | 4,0/5 |
| Puntuación global | 4,5/5 |
Veredicto final: Colibrì demuestra que ejecutar un modelo MoE de escala gigantesca en hardware de consumo ya no es únicamente una posibilidad teórica. Sin embargo, todavía no ha resuelto por completo la segunda mitad del problema: hacer que ese modelo sea suficientemente rápido para resultar cómodo en el uso cotidiano.
Si tienes 64-128 GB o más de RAM, un NVMe rápido y una GPU potente, Colibrì merece bastante la pena como plataforma experimental. Si solo tienes un portátil convencional con 16-32 GB de RAM, resulta mucho más interesante como experimento técnico que como herramienta de IA para el día a día.
Por eso, la forma más precisa de describir Colibrì actualmente no es como «una alternativa a Ollama», sino como un motor de inferencia local experimental y de alto rendimiento que intenta integrar almacenamiento, memoria, GPU y routing de MoE dentro de una única jerarquía de inferencia.
Su verdadero valor no está en hacer que el número 744B parezca pequeño.
Está en mostrar de forma mucho más clara una idea que puede resultar importante para la próxima generación de IA local:
el número total de parámetros de un modelo no tiene por qué equivaler a la cantidad de cálculo que el hardware debe soportar simultáneamente. El futuro de la IA local podría depender no solo de añadir más VRAM, sino de replantear dónde debe estar cada parte del modelo en cada momento.
Lo que hace Colibrì
- Ejecuta modelos MoE gigantescos sin necesidad de que quepan en memoria
- Motor de inferencia escrito integramente en C
- Soporta las rutas CPU, CUDA, Metal y Vulkan/HIP
- API compatible con OpenAI y Web UI
- Incluye LRU cache, hot expert pinning, routing history y prefetch
- Compatible con GLM-5.2, 975B Inkling, 2.8T Kimi K3 y DeepSeek V4 Flash