Servidor de IA en local para tu empresa: qué puede hacer de verdad y dónde se queda corto

Qué es un servidor de IA local

Es un equipo —un ordenador potente, una estación de trabajo o un servidor en un armario de la oficina— que ejecuta un modelo de lenguaje de pesos abiertos: un modelo que su creador publica para que cualquiera lo descargue y lo use en su propio hardware. Las familias más conocidas son Llama (Meta), Qwen (Alibaba), Mistral, Gemma (Google), DeepSeek y gpt-oss (OpenAI).

Sobre ese equipo se instala un programa que sirve el modelo —Ollama, LM Studio, llama.cpp o vLLM, según el caso— y a partir de ahí se usa como cualquier otra IA: desde un chat interno, desde una herramienta de automatización como n8n o desde las aplicaciones de la empresa.

La diferencia con usar ChatGPT o Claude es que el modelo y los datos se quedan en tu red. Nadie más procesa lo que le envías.

Qué hardware hace falta

Lo que manda es la memoria. Un modelo ocupa, aproximadamente, la mitad de su número de parámetros en gigabytes cuando está comprimido a 4 bits (la técnica habitual para ejecutarlo en local, llamada cuantización), más un margen para el texto que procesa. Un modelo de 70.000 millones de parámetros necesita unos 40 GB solo para cargarse.

Los precios son orientativos y cambian mucho con el mercado de memoria y tarjetas gráficas. Dos matices importantes:

• Velocidad y concurrencia. Que un modelo quepa no significa que responda rápido, ni que atienda a diez personas a la vez. Cada usuario simultáneo y cada página de contexto consume memoria adicional.
• Contexto largo. Analizar un contrato de 80 páginas exige mucha más memoria que una pregunta corta. En local, el contexto es caro.

Para qué sirve bien

En nuestra experiencia, un modelo mediano en local resuelve con soltura las tareas acotadas, repetitivas y con un resultado fácil de comprobar:

• Clasificar correos, tickets o documentos por tipo, urgencia o destinatario.
• Extraer datos de facturas, albaranes, formularios o contratos a un formato estructurado.
• Resumir reuniones, expedientes o hilos de correo largos.
• Buscar en la documentación interna (lo que se conoce como RAG): responder preguntas a partir de los manuales, procedimientos o histórico de la empresa, citando el documento de origen.
• Redactar borradores de respuestas, fichas o informes a partir de una plantilla.
• Transcribir audio de llamadas o reuniones con modelos como Whisper, que funcionan muy bien en local.
• Asistir con código en tareas sencillas: explicar, documentar, escribir pruebas.

Integrado en un flujo de automatización, un modelo local puede encargarse de la parte «inteligente» —entender un correo, decidir a quién va, sacar los datos— mientras reglas programadas hacen el resto.

Dónde se queda corto frente a OpenAI y Anthropic

Aquí conviene ser realistas. Los mejores modelos abiertos están cerca de los de última generación —según Epoch AI, van unos tres o cuatro meses por detrás de media—, pero esos modelos abiertos punteros tienen cientos de miles de millones de parámetros, o incluso más de un billón, y necesitan servidores de centro de datos. Lo que cabe en una GPU de consumo tarda entre seis meses y un año en alcanzar lo que ya hacían los modelos de frontera. Y lo que tú vas a ejecutar en la oficina suele ser una versión comprimida, que pierde algo de calidad.

En la práctica, la diferencia se nota en:

Razonamiento de varios pasos

Un problema que exige encadenar diez razonamientos —revisar un expediente, cruzarlo con la normativa y detectar una incoherencia— es donde los modelos de OpenAI y Anthropic sacan más ventaja. Un modelo local suele acertar los pasos sencillos y perder el hilo en los largos, o dar por buena una conclusión sin comprobarla.

Agentes que usan herramientas

Un agente que decide qué consultar, en qué orden, y corrige sobre la marcha cuando algo falla necesita un modelo muy fiable siguiendo instrucciones durante muchas iteraciones. Los modelos de última generación están entrenados específicamente para eso; los locales medianos se desvían antes y con más frecuencia.

Documentos largos

Los modelos comerciales trabajan con cientos de miles de palabras de contexto sin coste de hardware para ti. En local, cada página adicional cuesta memoria y velocidad, y la calidad cae antes cuando el texto es largo.

Casos límite

En lo habitual, la diferencia puede ser pequeña. En lo raro —un documento mal escaneado, una petición ambigua, una excepción a la regla— el modelo de frontera acierta más a menudo. Y en un proceso de empresa, los casos límite son los que cuestan dinero.

Mantenimiento

Con un proveedor, el modelo mejora solo. En local, actualizar el modelo, probar que el nuevo no rompe lo que funcionaba y mantener el servidor es trabajo tuyo.

Lo que aporta a la confidencialidad

Es el principal motivo por el que las empresas se interesan por la IA en local, y tiene sentido: si el modelo corre en tu servidor, los datos no salen de tu red. No hay un tercero que los procese, los guarde o los registre, ni transferencias internacionales que justificar. Para documentación muy sensible —historiales médicos, expedientes judiciales, datos financieros de clientes— simplifica mucho el análisis.

Pero no es una solución completa:

• El servidor también hay que protegerlo. Control de accesos, registro de quién consulta qué, copias de seguridad, cifrado y actualizaciones. Un servidor de IA mal configurado en la red interna es otro punto de fuga.
• El RGPD sigue aplicando. Tratar datos personales con IA en local sigue necesitando base jurídica, información a los afectados y minimización, aunque no haya un proveedor externo.
• No es la única vía. OpenAI, Anthropic y los grandes proveedores de nube ofrecen condiciones para empresas —sin entrenamiento con tus datos, retención limitada, contratos de encargo del tratamiento, procesamiento en Europa— que en muchos casos permiten usar los mejores modelos con garantías razonables.

Cómo evaluar a esos proveedores y qué exigirles si la confidencialidad es crítica para tu empresa merece su propio artículo, y le dedicaremos uno. Mientras tanto, en agentes de IA en la empresa: riesgos, RGPD y AI Act repasamos las obligaciones básicas.

¿Compensa económicamente?

Un servidor local tiene un coste fijo: el hardware, la electricidad —una estación con GPU encendida todo el día se nota en la factura—, y sobre todo el tiempo de quien lo instala, lo mantiene y lo actualiza. Un proveedor externo cobra por uso.

• Con uso moderado (unas cuantas personas, unos cientos de documentos al mes), pagar por uso suele salir más barato y da acceso a mejores modelos.
• Con volumen alto y constante de tareas sencillas —miles de correos o documentos al día—, el servidor local puede amortizarse en uno o dos años.
• Cuando los datos no pueden salir de la empresa por contrato o por política interna, la pregunta deja de ser económica.

El enfoque que mejor funciona: híbrido

Lo que solemos recomendar no es elegir uno u otro, sino repartir el trabajo:

1. 01

   Lo sensible y lo sencillo, en local

   Clasificar, extraer datos o anonimizar documentos con datos personales se hace en tu servidor, sin que nada salga.

2. 02

   Lo complejo, con un modelo de última generación

   El razonamiento difícil se envía a un proveedor con condiciones empresariales, idealmente con los datos ya anonimizados en el paso anterior.

3. 03

   Reglas para decidir qué va a cada sitio

   La ruta la decide el flujo, no el usuario: por tipo de documento, por cliente o por si contiene datos personales.

4. 04

   Supervisión humana en lo que tiene consecuencias

   Sea cual sea el modelo, lo que se envía a un cliente o cambia un dato pasa por una persona.

Así se aprovecha lo mejor de cada lado: privacidad y coste fijo para el volumen, y la capacidad de los mejores modelos para lo que de verdad la necesita.

Antes de comprar el servidor

• ¿Qué tareas concretas va a hacer, y cuántas al día?
• ¿Se han probado esas tareas con un modelo abierto del tamaño que vas a poder ejecutar, con documentos reales?
• ¿Cuántas personas lo usarán a la vez?
• ¿Quién lo va a mantener y actualizar?
• ¿Hay datos que, por contrato o política, no pueden salir de la empresa?
• ¿Qué tareas necesitarán, aun así, un modelo de última generación?

Si quieres valorar qué parte de tus procesos puede resolver un modelo local y cuál necesita algo más, en agentes de IA para empresas te contamos cómo lo planteamos.