DevOps 👨🏼💻 Інженер
Чанкінг у RAG ✂️
Перед тим як зберегти документ у Vector DB (лінк), його треба розбити на менші шматки - чанки. Якщо цього не зробити, RAG просто не знайде потрібне місце в документі, бо embedding великого тексту дає занадто розмитий вектор.
Розмір чанку напряму впливає на якість відповідей. Задовеликий - вектор розмитий. Задрібний - втрачається контекст. Щоб не розрізати думку на межі чанків, використовують overlap - сусідні чанки трохи перекривають одне одного.
Детальніше про стратегії чанкінгу:
📃 Evaluating Chunking Strategies (стаття)
📹 The BEST Way to Chunk Text for RAG (відео)
DevOps Інженер 👨🏼💻
3 · 471 ·