Программа для семантической индексации учебных материалов для формирования базы знаний RAG-пайплайнов «EduRAG Loader»

Программа предназначена для автоматизации процесса формирования векторных баз знаний из учебных материалов для систем генерации с дополненной выборкой (Retrieval-Augmented Generation, RAG) на основе больших языковых моделей (LLM). Область применения — разработка и исследование интеллектуальных систем обучения и тренажёров по программированию и анализу данных. Функциональные возможности включают импорт и парсинг учебных материалов из файлов форматов PDF, DOCX, DOC, TXT, MD, PY, IPYNB, а также ручной ввод текста в формате Markdown через графический веб-интерфейс; семантическое разбиение текста на фрагменты (чанки) размером 1000–1200 символов с перекрытием 150 символов и защитой блоков программного кода от разрыва; генерацию векторных представлений (эмбеддингов) с помощью мультиязычных нейросетевых моделей-трансформеров с возможностью выбора модели через графический интерфейс; поддержку нескольких систем управления базами данных с векторным поиском (PostgreSQL с расширением pgvector, ChromaDB, Weaviate, SQLite с sqlite-vss) с переключением подключения через интерфейс; транзакционную запись фрагментов и эмбеддингов в векторную базу данных с автоматическим откатом при ошибке, а также диагностику состояния подключения к базе данных с выводом инструкций для администратора.