robots.txt ile yapay zeka tarayıcılarını yönetmek
, okuma süresi 4 dk
Her yapay zeka tarayıcısı aynı amaçla gelmez. Bazıları model eğitimi için veri toplar, bazıları arama cevabı üretir, bazıları da kullanıcı bir bağlantı istediğinde o sayfayı anlık okur. Hepsini tek kalemde kapatmak sizi yapay zeka aramalarından da çıkarabilir.
Kim ne için geliyor?
| Ad | Şirket | Amaç |
|---|---|---|
Googlebot | Arama dizini. AI özetleri de bu dizini kullanır. | |
Google-Extended | Ayrı bir tarayıcı değil, Gemini tarafında kullanım iznini belirleyen işaret. Arama sıralamasını etkilemez. | |
Bingbot | Microsoft | Bing dizini ve Copilot cevapları. |
GPTBot | OpenAI | Model eğitimi. |
OAI-SearchBot | OpenAI | ChatGPT arama sonuçları. |
ChatGPT-User | OpenAI | Kullanıcının istediği sayfayı okuma. |
ClaudeBot | Anthropic | Model eğitimi. |
PerplexityBot | Perplexity | Perplexity arama dizini. |
Karar: eğitim ve arama ayrı düşünülmeli
Tanınmak isteyen bir hizmet firması için genellikle arama tarayıcılarına izin vermek mantıklıdır. Eğitim tarayıcıları ise bir tercih meselesidir. Özgün ve ücretli içerik üretiyorsanız kapatmak isteyebilirsiniz.
Arama tarayıcılarına açık, eğitim tarayıcısına kapalı bir örnek:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /yonetim/
Sitemap: https://www.ornek.com/sitemap.xmlBilmeniz gereken sınırlar
- robots.txt bir ricadır, güvenlik önlemi değildir. Gizli içeriği giriş ekranının arkasına alın.
- Tarayıcı adları değişebilir. Güncel listeyi şirketlerin kendi belgelerinden kontrol edin.
- Bir bot
User-agent: *yerine kendi adıyla yazılmış kurala uyar. Özel kural yazdığınızda genel kuraldaki yasakları tekrar etmeniz gerekir. - Cloudflare gibi güvenlik katmanları botları robots.txt'den bağımsız engelleyebilir. İzin verdiğiniz bot gerçekten geçebiliyor mu, kayıtlardan bakın.
Bu yazı yapay zeka desteğiyle hazırlanmıştır. Hatalı bir bilgi görürseniz bize yazın.