راهنمای عوامل GEO › دسترسی رباتهای هوش مصنوعی
دسترسی ChatGPT (جستجو و مرور)
بهروزرسانی: · گروه «دسترسی رباتهای هوش مصنوعی» (۲۵٪ امتیاز GEO) · وزن عامل در گروه: ۳
چرا مهم است؟
ChatGPT برای جوابهایی که به اینترنت نیاز دارند، صفحهها را با دو ربات میخواند: OAI-SearchBot برای جستجوی ChatGPT و ChatGPT-User وقتی کاربر از ChatGPT میخواهد صفحهای را باز کند. اگر robots.txt این دو را ببندد، ChatGPT نمیتواند از سایت شما نقل کند یا به آن لینک بدهد.
چطور درستش کنم؟
- فایل robots.txt سایت را باز کنید و دنبال User-agent: OAI-SearchBot، ChatGPT-User و گروه * بگردید.
- اگر برای این رباتها Disallow: / نوشته شده، آن را بردارید یا Allow: / بگذارید.
- اگر نمیخواهید محتوا برای آموزش مدل استفاده شود، فقط GPTBot را ببندید؛ GPTBot ربطی به نمایش در جستجوی ChatGPT ندارد.
نمونه:
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Disallow: / ژئورنک این عامل را چطور میسنجد؟
robots.txt را میخوانیم و بررسی میکنیم هر دو ربات به صفحه اصلی دسترسی دارند. هر دو باز: قبول؛ یکی بسته: هشدار؛ هر دو بسته: رد.
منابع
- OpenAI: رباتهای OpenAI و کاربرد هرکدام platform.openai.com
- RFC 9309: استاندارد robots.txt www.rfc-editor.org