-
Nextjs -
Python -
Langchain
Nimbus RAG
Sistema RAG para Nimbus (Nimbus es una empresa ficticia), búsqueda de información con información privada, implementación de base de datos vectorial y grafos. Creado con Python, Langchain, ChromaDB, NetworkX, Next.js y modelos de OpenAI.
Funcionalidad
-
Consumo de información
El sistema carga y consume datos de archivos PDF, Excel, texto y Markdown para su conocimiento.
-
Vectores y grafos
El sistema recupera información utilizando vectores con información relevante y grafos con estructuras relevantes para crear una respuesta correcta.
-
Lenguaje natural
El sistema RAG funciona usando lenguaje natural para hacer preguntas sobre los documentos cargados.
Retos
-
Creación de chunks
El primer reto fue crear chunks significativos en la carga de diferentes archivos, creación de metadata y optimización de información.
-
Creación de grafos
Un reto significativo fue la estructura de grafos para mejorar la calidad de las respuestas. El sistema debe ser capaz de crear grafos que representen de manera correcta los nodos y conexciones de información.
Problemas actuales
-
Grafos
La estructura de los grafos no cumple al 100% la estructura del flujo de los datos. Lo cual provoca que con preguntas muy generales, el sistema no encuentre los grafos correctos para la respuesta.