سنجش بازیابی و پاسخ

ارزیابی RAG؛ سنجش بازیابی، استناد و پاسخ

ارزیابی RAG فرایندی است که ابتدا می‌سنجد آیا سند و قطعه درست بازیابی شده، سپس آیا هر ادعای پاسخ از همان شواهد پشتیبانی می‌شود و در پایان آیا پاسخ نیاز کاربر را کامل، مرتبط و ایمن برآورده می‌کند. یک امتیاز کلی کافی نیست؛ مجموعه آزمون، نسخه اجزا، معیار پذیرش و تحلیل شکست باید قابل تکرار باشند.

انتشار: 2026-10-06 · آخرین به‌روزرسانی: 2026-10-06

نویسنده: تحریریه پیکا — پژوهش و ویرایش با کمک ابزارهای هوش مصنوعی؛ مسئولیت انتشار با پیکا است

روش پژوهش، استفاده از AI و اصلاح محتوا

ارزیابی RAG فرایندی است که ابتدا می‌سنجد آیا سند و قطعه درست بازیابی شده، سپس آیا هر ادعای پاسخ از همان شواهد پشتیبانی می‌شود و در پایان آیا پاسخ نیاز کاربر را کامل، مرتبط و ایمن برآورده می‌کند. یک امتیاز کلی کافی نیست؛ مجموعه آزمون، نسخه اجزا، معیار پذیرش و تحلیل شکست باید قابل تکرار باشند.

چرا ارزیابی انتها‌به‌انتها به‌تنهایی کافی نیست؟

راهنمای جامع RAG نشان می‌دهد دریافت محتوا، بخش‌بندی، بازیابی و تولید اجزای جدا هستند. پاسخ بد ممکن است از نبود سند، رتبه پایین قطعه درست، context شلوغ، دستور نامناسب یا استنتاج غلط مدل بیاید. اگر فقط امتیاز نهایی ثبت شود، تیم نمی‌داند کدام جزء را تغییر دهد و ممکن است با تعویض مدل، مشکل واقعی متادیتا را پنهان کند.

مجموعه آزمون RAG چگونه ساخته می‌شود؟

پرسش‌ها باید از کار واقعی، لاگ جست‌وجو، مصاحبه و سناریوهای ریسک بیایند. برای هر سؤال، نیت، نقش، سند و قطعه مرجع، پاسخ یا نکته‌های ضروری، سطح دسترسی و انتظار «پاسخ ندارد» ثبت شود. مجموعه باید سؤال دقیق، مفهومی، چندبخشی، مبهم، دارای واژه فارسی و انگلیسی، سند منقضی و پرسش خارج از دامنه داشته باشد. جست‌وجوی سازمانی منبع خوبی برای پرسش‌های واقعی و قضاوت ارتباط است.

• پرسش و بازنویسی‌های رایج آن
• نقش و مجوز کاربر آزمون
• سند، نسخه و قطعه مرجع
• نکته‌های ضروری پاسخ
• انتظار پاسخ، ابهام یا امتناع
• شدت اثر خطا و مالک بازبینی
• منبع و تاریخ افزوده‌شدن نمونه

بازیابی با چه معیارهایی سنجیده می‌شود؟

Precision@k سهم نتایج مرتبط میان k نتیجه اول و Recall@k سهم شواهد مرتبطی است که در همان k بازیابی شده‌اند. MRR رتبه نخستین نتیجه مرتبط را برجسته می‌کند و nDCG کیفیت ترتیب نتایج با درجات متفاوت ارتباط را می‌سنجد. NIST بر test collection و روش ارزیابی ثابت برای مقایسه قابل اتکا تأکید دارد. k باید با اندازه context و تجربه کاربر سازگار باشد.

Groundedness و کامل‌بودن چه تفاوتی دارند؟

Groundedness یا وفاداری می‌سنجد ادعاهای پاسخ از context قابل استنتاج‌اند؛ کامل‌بودن می‌سنجد نکته‌های ضروری پاسخ مرجع جا نیفتاده‌اند. پاسخ می‌تواند کاملاً مستند اما ناقص باشد، یا همه نکته‌ها را بگوید اما بخشی را بدون شاهد اضافه کند. مستندات Microsoft نیز توصیه می‌کنند Groundedness، correctness، completeness، utilization و relevance در کنار هم دیده شوند.

کیفیت استناد چگونه جداگانه سنجیده می‌شود؟

هر ادعای قابل بررسی را به منبع نمایش‌داده‌شده نگاشت کنید. citation correctness یعنی منبع واقعاً آن ادعا را پشتیبانی کند؛ citation completeness یعنی ادعای مهم بدون منبع نماند. شناسه سند، عنوان، نسخه، صفحه یا قطعه و لینک قابل دسترسی برای کاربر لازم‌اند. پاسخ مستند RAG نباید تنها با افزودن چند لینک در انتها، بدون ارتباط دقیق ادعا و منبع، قبول شود.

سؤال بدون پاسخ و تناقض منابع چگونه آزموده می‌شوند؟

مجموعه منفی باید پرسش‌هایی داشته باشد که سند مجاز پاسخی برایشان ندارد. رفتار مطلوب می‌تواند اعلام نبود شواهد، پرسیدن سؤال روشن‌کننده یا ارجاع به انسان باشد؛ ساختن پاسخ روان شکست است. برای دو نسخه متناقض نیز سامانه باید سیاست تازگی و اعتبار را اعمال و اختلاف را آشکار کند. کنترل Hallucination در سامانه دانش با گسترش همین آزمون‌های منفی و مرزی انجام می‌شود.

داوری انسانی و داور ماشینی چگونه ترکیب می‌شوند؟

معیارهای قطعی مانند حضور سند مرجع، تطابق شناسه و طول پاسخ را می‌توان خودکار کرد. داور زبانی مقیاس ارزیابی Groundedness و relevance را بالا می‌برد اما خود ناپایدار و حساس به دستور است؛ نسخه مدل، rubric و نمونه‌های کالیبراسیون باید ثبت شوند. نمونه‌ای از نتایج را بازبین انسانی بررسی می‌کند و اختلاف داورها برای اصلاح rubric نگه داشته می‌شود.

گیت انتشار RAG چه چیزهایی دارد؟

حداقل‌ها باید بر اساس ریسک کاربرد و به تفکیک دسته سؤال تعریف شوند. علاوه بر کیفیت بازیابی و پاسخ، نشت مجوز، latency، هزینه، پایداری، محتوای مضر و مسیر ارجاع سنجیده می‌شوند. RAG امن آزمون منع دسترسی را شرط توقف می‌داند: میانگین خوب هیچ نشت سندی را جبران نمی‌کند. تغییر embedding، chunking، index، prompt یا مدل باید اجرای مجدد مجموعه نسخه‌بندی‌شده را فعال کند.

1. نسخه‌گذاری سند، مجموعه سؤال، index، مدل و تنظیمات هر اجرا را ثابت و ثبت کنید.
2. سنجش بازیابی ابتدا سند و قطعه مرجع را بدون دخالت پاسخ‌ساز بسنجید.
3. سنجش پاسخ Groundedness، کامل‌بودن، ارتباط، امتناع و استناد را ارزیابی کنید.
4. برش نتایج نقش، نوع سؤال، منبع، زبان و شدت ریسک را جدا گزارش کنید.
5. تحلیل و تکرار هر تغییر را به یک فرض و تفاوت قابل اندازه‌گیری متصل کنید.
6. پایش تولید شکست‌ها و پرسش‌های تازه را با بازبینی به مجموعه آزمون برگردانید.

قبل از دمو، خط پایه بسازید پیکا می‌تواند مجموعه آزمون، برچسب مرجع، گیت کیفیت و داشبورد تحلیل شکست RAG شما را طراحی کند. درخواست طراحی ارزیابی RAG