Пост⚙️ Как собрать свою RAG-систему — без облаков и подписок

⚙️ Как собрать свою RAG-систему — без облаков и подписок Хватит искать PDF-ки по корпоративным чатам. Сегодня любую внутреннюю документацию можно превратить в умный поисковик, который реально понимает, о чём вы спрашиваете. И всё — на чистом open source, локально и бесплатно. RAG (Retrieval-Augmented Generation) объединяет две вещи: поиск по документам и генерацию ответов на естественном языке. Идея простая — модель не “придумывает” из головы, а берёт контекст из ваших файлов и формирует точный ответ. Ни утечек данных, ни платных API. В новой статье — 5 инструментов: 🟣 MarkItDown — конвертирует любые документы (PDF, Word, HTML) в чистый Markdown. 🟣 LangChain RecursiveCharacterTextSplitter — умно режет текст на логические куски, чтобы LLM мог работать с контекстом. 🟣 SentenceTransformers (multi-qa-mpnet-base-dot-v1) — генерирует эмбеддинги локально, без доступа к API. 🟣 ChromaDB — хранит векторы и обеспечивает быстрый поиск по смыслу (HNSW-поиск под капотом). 🟣 Ollama + Gradio — локальная LLM (например, Mistral, Llama 3) и веб-интерфейс с потоковой генерацией ответов. На выходе — полноценный Q&A-интерфейс по вашим документам: спрашиваете “как работает декоратор в Python”, получаете структурированный ответ с примером и ссылкой на исходный фрагмент. Всё работает офлайн, на локальной машине. 📚 Подробности на Хабр: https://habr.com/ru/articles/955798/