Dense و Sparse Retrieval
بردارها شباهت معنایی را پیدا میکنند؛ BM25 و FTS برای نام، کد، اصطلاح و عبارت دقیق قویاند. ترکیب هر دو معمولاً recall بهتری میدهد.
Retrieval Augmented Generation یعنی مدل زبانی قبل از تولید پاسخ، زمینهی مرتبط را از منبعی بیرونی بازیابی کند. کیفیت این سیستم بیشتر از انتخاب مدل، به کیفیت مسیر داده، بازیابی و ارزیابی وابسته است.
هر پروژه به یک ترکیب متفاوت نیاز دارد. مسئله، latency، امنیت، نوع داده و هزینه تعیین میکنند کدام الگو مناسب است.
بردارها شباهت معنایی را پیدا میکنند؛ BM25 و FTS برای نام، کد، اصطلاح و عبارت دقیق قویاند. ترکیب هر دو معمولاً recall بهتری میدهد.
بعد از بازیابی اولیه، مدل cross-encoder یا reranker ترتیب نتایج را اصلاح میکند و فشردهسازی زمینه، توکنهای غیرضروری را حذف میکند.
وقتی رابطهی بین موجودیتها مهم است، گراف دانش و خلاصههای جامعهای به پرسشهای چندپرشی و تحلیل کلنگر کمک میکنند.
عامل میتواند ابزار جستوجو را انتخاب کند، کیفیت نتیجه را نقد کند و در صورت ضعف، query را بازنویسی یا مسیر دیگری را امتحان کند.
متن، جدول، تصویر، نمودار و PDF اسکنشده با extraction ساختاریافته و embedding مناسب وارد یک جریان مشترک میشوند.
Recall، precision، faithfulness، citation correctness، latency و هزینه را با مجموعهسؤال واقعی میسنجیم و تغییرات را trace میکنیم.
این صفحه خلاصهی عملیاتی پژوهشها و مستندات فنی روز است؛ برای طراحی دقیقتر، منابع اصلی را هم ببینید.