بازیابی و داده
RAG برای اسناد فارسی؛ PDF، جدول و بازیابی چندوجهی
پیش از انتخاب مدل پاسخ‌گو، مطمئن شویم معنا در ورود داده از بین نمی‌رود؛ از نیم‌فاصله تا جدول و تصویر صفحه.
آنچه از این مقاله می‌آموزید
- متنِ جست‌وجو و اصلِ قابل استناد را جدا نگه دارید.
- عدد جدول بدون عنوان، واحد و دوره می‌تواند گمراه‌کننده باشد.
- تصویر صفحه و ارجاع دقیق، بخشی از قابلیت بررسی پاسخ‌اند.
یک PDF می‌تواند از بیرون شبیه سندی ساده باشد و از درون، ترکیبی از متن، تصویر، جدول، صفحهٔ اسکن‌شده و ترتیب خواندن نامطمئن. اگر این پیچیدگی هنگام ورود داده از بین برود، مدل زبانی در مرحلهٔ پاسخ دیگر نمی‌تواند آن را بازسازی کند. برای RAG فارسی، آماده‌سازی سند یک مرحلهٔ فرعی نیست؛ بخشی از کیفیت اصلی محصول است.
این راهنما بر سندهای فارسی و چندوجهی تمرکز دارد: چه زمانی استخراج متن کافی است، کجا به OCR یا درک صفحه نیاز داریم، جدول چگونه معنا را حفظ می‌کند و چطور ارجاعی بسازیم که کاربر بتواند واقعاً بررسی‌اش کند. مسیر مناسب باید با نمونهٔ سندهای خود پروژه آزمایش شود، نه فقط با چند فایل نمونهٔ تمیز.
نخست نوع سند را تشخیص دهید
PDF متنی، PDF اسکن‌شده و PDF ترکیبی یک مسیر یکسان ندارند. در فایل متنی ممکن است کاراکترها موجود باشند ولی ترتیب آن‌ها با چیدمان بصری فرق کند. در فایل اسکن‌شده، ابتدا باید تصویر به محتوا تبدیل شود. در سند ترکیبی نیز ممکن است بعضی صفحه‌ها متنی و بعضی تصویری باشند؛ تصمیم یکسان برای کل فایل می‌تواند بخشی از محتوا را از قلم بیندازد.
برای ورودی، یک مرحلهٔ تشخیص و گزارش در نظر بگیرید: کدام صفحه متن قابل استفاده دارد، کدام صفحه به OCR نیاز دارد و کدام ناحیه جدول یا تصویر است. خروجی باید کیفیت و خطا را هم نشان دهد. فایل ناموفق نباید بی‌صدا وارد نمایه شود و بعد در ظاهر به‌عنوان منبع کامل معرفی گردد.
ترتیب خواندن، بخشی از معناست
در صفحهٔ چندستونه، استخراج از چپ به راستِ هندسی ممکن است جمله‌های دو ستون را مخلوط کند. در سند فارسی، ترکیب جهت راست‌به‌چپ با عدد، نام لاتین و فرمول نیز مسئله را پیچیده‌تر می‌کند. عنوان، پاورقی، شمارهٔ صفحه و سربرگ تکراری باید از متن اصلی تشخیص داده شوند؛ وگرنه بخش‌بندی روی یک جریان نامعتبر انجام می‌شود.
Docling در گزارش فنی خود به تبدیل سند با توجه به اجزایی مانند چیدمان و جدول می‌پردازد. ۱ معرفی چنین ابزارهایی به معنی مناسب بودن بی‌آزمایش برای همهٔ سندهای فارسی نیست. نمونه‌هایی از فایل‌های سازمان خود را با چیدمان، کیفیت اسکن و قلم‌های متفاوت بررسی کنید و خطای استخراج را جدا از خطای پاسخ نگه دارید.
یک آزمون ساده اما مؤثر این است که خروجیِ چند صفحه را کنار تصویر اصلی بگذارید و مسیر خواندن را دنبال کنید. آیا تیتر در جای درست است؟ آیا تبصره به بند مربوط وصل است؟ آیا مقدار جدول از عنوان ستون جدا شده؟ این بررسی دستیِ محدود می‌تواند خطاهایی را آشکار کند که در یک امتیاز کلی OCR پنهان می‌مانند.
فارسی را برای جست‌وجو آماده کنید، اصل را نگه دارید
شکل‌های «ی» و «ک»، فاصله و نیم‌فاصله و عددهای فارسی و لاتین می‌توانند جست‌وجو را تحت تأثیر قرار دهند. ساخت یک نمایش نرمال‌شده برای نمایه مفید است، اما نباید نسخهٔ اصلی را نابود کند. متن نمایش، متن جست‌وجو و شناسهٔ منبع نقش‌های متفاوتی دارند و می‌توانند جدا نگهداری شوند.
برای اصطلاح‌های ترکیبی نیز مثال‌های واقعی جمع کنید: نام فارسی و لاتین محصول، مخفف، نام سازمان و کد خطا. مدل embedding چندزبانه می‌تواند یکی از گزینه‌ها باشد، ولی کیفیت روی زبان و دامنهٔ شما باید سنجیده شود. پژوهش M3-Embedding، چندزبانگی و چند شیوهٔ بازیابی را بررسی کرده است؛ این مشخصات پژوهشی جای ارزیابی روی فارسی تخصصی شما را نمی‌گیرد. ۲
در رابط، عبارت‌های لاتین باید از نظر جهت نوشتار جدا شوند. یک کد محصول یا نشانی را نباید به شکلی نمایش داد که ترتیب نشانه‌هایش در میان متن فارسی جابه‌جا شود. این موضوع فقط زیبایی نیست: کاربر برای بررسی منبع، کپی کد یا خواندن عدد به نمایش درست نیاز دارد.
جدول را به رشته‌ای از عددهای بی‌زمینه تبدیل نکنید
در جدول، معنا از رابطهٔ مقدار با عنوان ردیف، ستون، واحد و یادداشت به دست می‌آید. اگر فقط سلول‌ها پشت سر هم استخراج شوند، ممکن است سامانه عدد درست را برای موضوع نادرست استفاده کند. ادغام سلول، عنوان چندردیفی و یادداشت زیر جدول باید در طراحی استخراج دیده شوند.
در سناریوی یک گزارش عملکرد، عدد «۱۲٫۵» بدون واحد، دوره و نام شاخص بی‌معناست. هنگام تبدیل جدول، این زمینه باید با مقدار باقی بماند. اگر پاسخ به جمع، میانگین یا مقایسهٔ دقیق نیاز دارد، بهتر است دادهٔ استخراج‌شده به ساختار قابل پرس‌وجو تبدیل و محاسبه با ابزار کنترل‌شده اجرا شود؛ مدل نباید از روی متنِ به‌هم‌ریخته نتیجهٔ عددی حدس بزند.
| جزء سند | اطلاعاتی که باید حفظ شود | نمونهٔ آزمون |
|---|---|---|
| بند و تبصره | عنوان، رابطهٔ بندها و نسخه | آیا استثنا همراه قاعده بازیابی می‌شود؟ |
| جدول | ردیف، ستون، واحد و یادداشت | آیا مقدار به دورهٔ درست وصل است؟ |
| نمودار | عنوان، محور، راهنما و صفحه | آیا پاسخ از تصویر قابل تأیید است؟ |
| صفحهٔ اسکن‌شده | تصویر اصلی و کیفیت تشخیص | آیا عدد یا نام کلیدی اشتباه خوانده شده؟ |
| پیوست | ارتباط با متن اصلی | آیا پیوست از نسخهٔ همان سند است؟ |
چه زمانی بازیابی تصویری مطرح می‌شود؟
اگر پاسخ به چیدمان، شکل یا اطلاعاتی وابسته است که استخراج متنی خوب حفظ نمی‌کند، بازیابی تصویری می‌تواند قابل بررسی باشد. ColPali در پژوهش خود، بازیابی سند با استفاده از مدل‌های بینایی‌ـ‌زبانی و نمایش‌های چندبرداری را مطرح می‌کند. ۳ این رویکرد را نباید معادل اجرای OCR با نامی تازه دانست؛ شیوهٔ نمایش و مقایسهٔ صفحه متفاوت است.
با این حال، بازیابی تصویر به‌تنهایی پاسخ درست نمی‌سازد. بعد از پیدا شدن صفحه، باید مدلی که توان استفاده از آن را دارد یا مسیر استخراج مناسب به کار رود. مجوز صفحه، هزینهٔ پردازش، اندازهٔ نمایه و امکان ارجاع به ناحیهٔ دقیق همچنان بخشی از تصمیم‌اند. اگر سؤال فقط دربارهٔ یک عبارت متنی ساده است، مسیر تصویری ممکن است پیچیدگی غیرضروری اضافه کند.
یک مسیر ترکیبی برای سندهای واقعی
می‌توان سند را با ساختار، متن و تصویر اصلی نگه داشت و بر اساس نوع سؤال، از نمای مناسب استفاده کرد. جست‌وجوی واژگانی برای کد و نام، نمایش معنایی برای مفهوم و مسیر تصویری برای صفحه‌های وابسته به چیدمان، هر کدام نقش مشخصی دارند. این ترکیب باید با شناسهٔ مشترک سند و صفحه به هم متصل بماند.
برای هر نتیجه، متن یا ناحیهٔ شاهد را به کاربر نشان دهید. ارجاع «فایل گزارش» وقتی فایل صدها صفحه دارد، بررسی را دشوار می‌کند. ارجاع به صفحه و بخش مربوط، با نسخهٔ مشخص، تجربهٔ قابل استفاده‌تری می‌سازد. اگر پردازش باعث تغییر شماره‌گذاری شده باشد، تفاوت صفحهٔ فایل و شمارهٔ چاپی را هم در نظر بگیرید.
کیفیت ورود داده را چگونه بسنجیم؟
فهرست آزمون باید هم سؤالِ پاسخ‌گویی و هم خطای استخراج را پوشش دهد. برای نمونه، پرسشی که پاسخ آن در یک جدول است، فقط وقتی مفید است که منبع مرجع و مقدار درست مشخص باشند. اگر استخراج مقدار را عوض کرده باشد، ممکن است مدل با وفاداری کامل به متنِ اشتباه پاسخ دهد؛ پس وفاداری پاسخ به‌تنهایی کافی نیست.
سندهای کم‌کیفیت، جدول پیچیده، صفحهٔ چرخیده، متن دو‌زبانه و فایل دارای نسخه‌های مختلف را به نمونهٔ آزمون اضافه کنید. خطا را به مرحله نسبت دهید: تشخیص نوع صفحه، OCR، چیدمان، جدول، بخش‌بندی، بازیابی یا تولید. این طبقه‌بندی تعیین می‌کند اصلاح در کجا ارزش دارد.
پرسش‌های مهم پیش از انتخاب ابزار
آیا یک OCR عمومی برای همهٔ فایل‌های فارسی کافی است؟
باید با سندهای خود پروژه سنجیده شود. کیفیت اسکن، قلم، چیدمان، عدد و اصطلاح تخصصی می‌توانند رفتار را تغییر دهند. بهتر است برای صفحه‌های ناموفق، مسیر تشخیص خطا و بازپردازش داشته باشید؛ نه اینکه همهٔ خروجی‌ها را با فرض کیفیت یکسان وارد نمایه کنید.
آیا خلاصهٔ صفحه را به‌جای متن و تصویر نگه داریم؟
خلاصه می‌تواند یک نمای کمکی باشد، اما ممکن است عدد، شرط و جزئیات لازم را حذف کند. اصلِ شاهد باید برای پاسخ و بررسی باقی بماند. خلاصهٔ تولیدشده نیز به همان مجوز و نسخهٔ منبع وابسته است و نباید خودش به مرجع بدون پشتوانه تبدیل شود.
نخستین خروجی یک پایلوت خوب چیست؟
یک گزارش کیفیت ورود داده در کنار نمونهٔ پاسخ: کدام صفحه‌ها درست پردازش شدند، کدام نوع خطا باقی است، ارجاع چقدر دقیق است و چه هزینه‌ای برای پردازش تغییرات لازم است. با این شواهد می‌توان تصمیم گرفت استخراج متنی، بازیابی تصویری یا ترکیب آن‌ها برای مسئلهٔ شما مناسب‌تر است.
منابع و مطالعهٔ بیشتر
- Docling Technical Report
- M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
- ColPali: Efficient Document Retrieval with Vision Language Models
منابع این مطلب در انتهای مقاله آمده‌اند. محتوا با کمک ابزارهای هوش مصنوعی تدوین می‌شود و تاریخ بازبینی آن مشخص است.
