En Unholster no nos quedamos atrás. Si de algo estamos convencidos es que la IA es el futuro. Por ello, adquirir la GPU de NVIDIA GeForce RTX 5090, de última generación y con optimizaciones para inteligencia artificial, era fundamental y necesario.

👀 No nos podíamos perder la oportunidad de correr Minecraft con shaders…

Fuera de bromas, la verdad es que las GPU nacieron para hacer que los videojuegos se vieran increíbles, procesando millones de píxeles simultáneamente para crear mundos virtuales.

Esta capacidad masiva de procesamiento paralelo resulta perfecta para inteligencia artificial. Mientras una CPU está diseñada para manejar tareas complejas con un paralelismo limitado (como tener un equipo de 32 ingenieros resolviendo problemas difíciles), una GPU puede manejar miles de operaciones matemáticas simples al mismo tiempo (como si se tratase de una fábrica con 20.000 trabajadores). Eso es exactamente lo que necesitan los modelos de machine learning para "aprender" de grandes volúmenes de datos, y eso es precisamente lo que hacemos en Unholster.

Ahora bien, nuestra nueva adquisición no nos puso las cosas fáciles desde el inicio. Fue un enigma hacerla funcionar, porque no todos los algoritmos opensource son compatibles con las GPU de última generación, así que pasamos un buen tiempo de prueba y error.

Además, nuestra nueva herramienta de trabajo, que internamente conocemos como Enigma, no solo se trata de la GPU de NVIDIA. A la hora de armar y definir los componentes de Enigma, los colaboradores técnicos de Unholster tenían claro que todo el hardware debía estar a la par, para evitar así que cualquier componente pueda ser un cuello de botella.

¿Por qué invertir en Enigma?

Hay distintas razones que justifican una inversión de tal calibre. Comenzando por la intención de Unholster de impulsar soluciones innovadoras y cumplir con ser inquietos y agnósticos tecnológicos.

Una de las primeras pruebas del impacto de Enigma fue la velocidad y bajos costos que implica procesas millones de páginas de PDF en ella. Varios de nuestros proyectos actualmente presentan problemas de imágenes, por ello desde que recibimos nuestra GPU local, hemos empezado a ejecutar tareas de OCR con nuestro propio modelo de lenguaje (LLM).

Durante 14 días y 4 horas (340 horas) de uso activo de GPU, el módulo de OCR Unholster, que contiene un ensamble de modelos machine learning, procesó 3.728.934 páginas. Se alcanzó un rendimiento promedio de alrededor de 3 páginas por segundo, o 0,33 segundos por página. Un reflejo del alto poder de cómputo que tiene Enigma.

🎤 ¡Tenemos nuevo cómputo! Como dice Don Francisco

Con este procesamiento, ahorramos un equivalente a más de 400 dólares en AWS si es que hubiese sido procesado en la nube de Amazon (calculando solamente costos de cómputo, no de transferencia). Además, habría sido un trabajo más lento: cada ida y vuelta a Estados Unidos toma 134 milisegundos, y la velocidad de carga y descarga está limitada por la conexión internacional. Mientras que, con una GPU local como la nuestra, accedemos a los datos en microsegundos, directamente desde el disco duro, sin cuellos de botella de red ni latencias intercontinentales. Con Enigma, como se suele decir… todo queda en casa.

Si bien los costos de transferencia que ofrecen los servicios en la nube son ínfimos, a gran escala, como es el caso de los millones de páginas de PDF que hemos procesado, hacen la diferencia. Almacenar en S3 los 10 TB de información que contienen esas páginas costaría unos 240 dólares mensuales.

Relacionado con esto, la diferencia entre hacerlo en AWS y en una GPU local, también se encuentra el aspecto de la seguridad y privacidad. Almacenar y procesar cualquier información o documento de manera local entrega una seguridad que, intermediando con un servicio en la nube, como AWS, no se podría lograr. Para nuestros clientes que manejan información sensible, esto no es solo una ventaja técnica, es un requisito fundamental.

Por otro lado, la exploración ha sido un gran upgrade que ha entregado Enigma. La GPU ha permitido que probemos distintos modelos de inteligencia artificial para resolver tareas de segmentación, detección y clasificación de imágenes. Tenemos la libertad de experimentar con nuevos algoritmos, fine-tuning de modelos y procesamiento de datasets masivos, sin preocuparnos por costos por hora, límites de uso, ni la complejidad de configurar instancias cada vez que queremos probar algo nuevo. Con hardware local, configuras una vez y experimentas infinitamente.

¿Cuáles son los componentes de Enigma?

Enigma no es solo una GPU poderosa, es un ecosistema completo de hardware diseñado para maximizar el rendimiento en tareas de inteligencia artificial. Cada componente fue seleccionado cuidadosamente para crear una sinergia perfecta:

El procesamiento central está a cargo de la AMD Ryzen 9 9950X3D: el cerebro de la operación. Con 16 núcleos y 32 hilos, alcanza velocidades de hasta 5.7 GHz. Su arquitectura Zen 5 está optimizada para cargas de trabajo paralelas intensivas.

La joya de la corona, como ya mencionamos, es la tarjeta gráfica NVIDIA GeForce RTX 5090. Con 32 GB de memoria GDDR7 y la nueva arquitectura Blackwell (un salto significativo desde Ada Lovelace de sus predecesores), esta bestia está específicamente diseñada para acelerar modelos de inteligencia artificial y machine learning.

En cuanto a memoria y almacenamiento, dos componentes clave completan el ecosistema:

96 GB de RAM que permiten mantener datasets completos en memoria, eliminando cuellos de botella cuando la GPU necesita acceder a grandes volúmenes de datos durante el entrenamiento de modelos.
18 TB de disco duro con velocidades de hasta 7.300 MB/s que garantizan que podamos cargar datasets de terabytes sin esperas, manteniendo un flujo constante de datos hacia la GPU.

Y lo último, pero no por ello poco importante, la infraestructura. Para proteger toda esta inversión y garantizar operación continua, Enigma cuenta con sistema de alimentación ininterrumpida UPS 2000VA que puede sostener los 700W que demanda la máquina en pleno procesamiento, evitando que los comunes cortes de luz santiaguinos interrumpan nuestros procesos.

Enigma representa más que una inversión en hardware: es nuestra apuesta por el futuro de la inteligencia artificial en Chile, donde la innovación no conoce fronteras y la tecnología está al servicio de soluciones reales.

Algo llegó a nuestra oficina…