Despliegue y securización de un modelo LLM en infraestructura propia para la consulta de documentación interna de la ENM

Abstract

Los modelos de lenguaje de gran tamaño (LLM) han experimentado un gran desarrollo en los últimos años, permitiendo a las aplicaciones que los usan, interactuar con las personas en lenguaje natural. Sin embargo, su uso en entornos abiertos plantea retos relacionados con la seguridad de los datos y el control de la información. En este contexto, este Trabajo Fin de Grado aborda el despliegue y la securización de un modelo LLM en infraestructura propia para facilitar la consulta de documentación interna de la Escuela Naval Militar. Para el desarrollo del sistema se configura un entorno que permite ejecutar el modelo directamente en el servidor y ofrecer a los usuarios una forma sencilla de interactuar con él. Para ello se utilizan Ollama, encargado de ejecutar el modelo y generar las respuestas, y Open WebUI, que proporciona una interfaz web para realizar consultas en lenguaje natural. Además, se implementan diferentes mecanismos de securización destinados a controlar el uso del modelo y garantizar un entorno seguro de consulta, entre ellos filtros de seguridad y la configuración de un prompt que limita las respuestas del modelo al contenido de la documentación proporcionada evitando alucinaciones. El resultado es una plataforma segura que permite consultar documentación interna manteniendo el control sobre la infraestructura y el uso del sistema.