آشنایی با تولید تقویت‌شده با بازیابی (RAG)
یک مدل زبانی به‌طور خودکار محتوای اسناد خصوصی شما یا تازه‌ترین اطلاعات برنامه را نمی‌داند. روش تولید تقویت‌شده با بازیابی (RAG) با یافتن منابع مرتبط و قراردادن آن‌ها در پرامپت مدل به این مسئله پاسخ می‌دهد.
روند کلی
- اسناد را به بخش‌های کوچک‌تر تقسیم کنید و اطلاعات مفیدی مانند عنوان‌ها و شناسه‌ی سند را نگه دارید.
- هر بخش را به embedding تبدیل کنید؛ نمایش عددی‌ای که ارتباط معنایی را ثبت می‌کند.
- embeddingها و متن متناظر را در یک نمایه‌ی قابل جستجو ذخیره کنید.
- پرسش کاربر را embedding کنید و بخش‌های مرتبط‌تر را بازیابی کنید.
- از مدل زبانی بخواهید با استفاده از همان بخش‌ها پاسخ دهد و در صورت امکان ارجاع منبع ارائه کند.
بازیابی می‌تواند بر اساس شباهت برداری، جست‌وجوی کلیدواژه‌ای یا ترکیبی از هر دو باشد. انتخاب بهتر به داده بستگی دارد: شناسه‌های دقیق معمولاً با جست‌وجوی کلیدواژه‌ای بهتر پیدا می‌شوند، اما پرسش‌های بازنویسی‌شده از جست‌وجوی معنایی سود می‌برند.
پاسخ را به منبع محدود کنید
به مدل بگویید متن بازیابی‌شده مدرک پاسخ است و اگر شواهد کافی وجود ندارد چه‌کار کند. برای مثال:
قاعده‌ی آخر مهم است، چون اسناد بازیابی‌شده ورودی قابل‌اعتماد نیستند. ممکن است متنی تلاش کند دستورهای اصلی پرامپت را تغییر دهد. اجازه ندهید محتوای بازیابی‌شده مجوزها را تغییر دهد، ابزارها را اجرا کند یا سیاست‌های برنامه را دور بزند.
پیش از تغییر مدل، بازیابی را بهتر کنید
اگر پاسخ‌ها مناسب نیستند، ابتدا بخش‌های بازیابی‌شده را بررسی کنید. اندازه‌ی نامناسب بخش‌ها، نبود فراداده، قدیمی بودن نمایه و پرس‌وجویی که قصد کاربر را درست منتقل نمی‌کند، از مشکلات رایج هستند. کیفیت بازیابی را جدا از کیفیت پاسخ مدل بسنجید.
مجموعه‌ی ارزیابی باید پرسش‌های نماینده، اسناد منبع مورد انتظار و نمونه‌هایی داشته باشد که پاسخ درست در آن‌ها ندانستن است. بررسی کنید آیا شواهد درست بازیابی شده‌اند و پاسخ نهایی واقعاً به آن‌ها متکی است یا نه.
نکات محیط عملیاتی
- پیش از برگرداندن بخش‌ها، سطح دسترسی را بررسی کنید؛ کاربر نباید سند غیرمجاز را بازیابی کند.
- با تغییر اسناد منبع، نمایه را به‌روزرسانی کنید.
- برای کنترل هزینه و تأخیر، حجم متن بازیابی‌شده در پرامپت را محدود کنید.
- ارجاع منبع ثبت کنید تا بتوان پاسخ‌ها را بررسی کرد.
- اسناد حساس را به ارائه‌دهنده‌ی مدل نفرستید، مگر آن‌که شرایط پردازش داده اجازه دهد.
جمع‌بندی
RAG یک pipeline است، نه یک تنظیم ساده برای مدل. نتیجه‌ی قابل‌اعتماد به آماده‌سازی درست منابع، بازیابی مناسب، پرامپت‌های مستند، کنترل دسترسی و ارزیابی شواهد و پاسخ‌ها وابسته است.
Other posts that might interest you...
Understanding Retrieval-Augmented Generation (RAG)
Learn how retrieval, embeddings, and grounded prompts work together in a RAG system—and how to evaluate its answers.
شروع یادگیری ماشین با Scikit-learn
با مفاهیم اولیه یادگیری ماشین و کتابخانه Scikit-learn آشنا شوید و اولین مدل خود را آموزش دهید.
Getting Started with Machine Learning using Scikit-learn
A beginner-friendly introduction to machine learning with Python and Scikit-learn, covering datasets, training models, and evaluation.