Análisis y optimización de modelos de lenguaje en plataformas embebidas
Escuela Técnica Superior de Ingeniería Informática, Universidad de Sevilla — Trabajo Fin de Grado (Ingeniería Informática, Ingeniería de Computadores), dentro de una beca de colaboración, dirigido por Jorge Fernández Berni y Delia Velasco Montero (dpto. Electrónica y Electromagnetismo) · Líder de proyecto
Estudio sistemático de la viabilidad y optimización de la inferencia de modelos de lenguaje pequeños (SLM, de mil a cuatro mil millones de parámetros) sobre una Raspberry Pi 5 (SoC BCM2712, 8 GB LPDDR4X), como alternativa local a la dependencia de servicios en la nube en entornos con recursos restringidos.
El trabajo aporta dos herramientas software: MonitorSystem, un sistema en C++ de captura de métricas de inferencia y hardware en tiempo real, y monitorviz, una librería Python que automatiza el cálculo de métricas derivadas y la generación de visualizaciones comparativas. Sobre esa infraestructura se diseñan y ejecutan seis series experimentales que evalúan, respectivamente, la caracterización base de seis SLM, el nivel de cuantización, el tamaño de la ventana de contexto, el batch size de prefill, el motor de inferencia y el acelerador hardware Hailo-10H — combinando throughput, eficiencia energética y número de parámetros en una figura de mérito propia.
Entre los resultados: la refrigeración activa es un requisito habilitante (su supresión reduce el throughput hasta un 53 % y deja a cuatro de los seis modelos por debajo del umbral de uso interactivo), la cuantización a 4 bits resulta el punto de equilibrio óptimo en esta plataforma limitada por ancho de banda de memoria, y llama.cpp supera a Ollama en latencia de primer token hasta en un factor de seis.
El trabajo obtuvo la calificación de matrícula de honor (10).