OpenRouter lanza Batch API para reducir a la mitad el coste de inferencia
Noticia
OpenRouter ha lanzado Batch API para ejecutar tareas de inferencia por lotes de forma asíncrona con tarifas un 50 % inferiores a las normales. La API admite más de 70 modelos y ofrece una mediana de finalización de 7 minutos.
Herramientas relacionadas
OpenRouter lanzó el 22 de septiembre su Batch API, orientada a tareas de inferencia por lotes que no requieren una respuesta inmediata. Los precios son, en general, un 50 % inferiores a las tarifas normales por token, mientras que los resultados se procesan de forma asíncrona dentro de una ventana máxima de 24 horas.
Durante la fase beta se completaron más de 230.000 lotes, con un tiempo de finalización mediano de 7 minutos y el 90 % de los trabajos completados en menos de una hora. La API admite actualmente los formatos Chat Completions, Responses, Anthropic Messages y Embeddings, sin necesidad de cargar archivos JSONL.
Batch API ya es compatible con más de 70 modelos, pero por ahora solo admite entradas de texto. Las solicitudes que incluyan imágenes, audio o vídeo deben seguir utilizando la API síncrona.