ChatGPT, Claude ve Perplexity arama için ayrı, model eğitimi için ayrı botlar kullanır; arama botunu engelleyen site bu araçların cevaplarında kaynak olarak görünmekte zorlanır. Google-Extended, Gemini eğitimini kontrol eder ama Google Arama’yı etkilemez. Bot erişimi robots.txt, CDN ve güvenlik duvarı ayarları ile sunucu loglarından doğrulanır, sonuç ise tarihli kontrollü sorgularla ölçülür.
Bu içerikte:
- Eğitim botu ile arama botu aynı şey değil
- Resmî bot listesi: kim ne işe yarıyor?
- Sürücü kursu sitesi için makul bir robots.txt yaklaşımı
- CDN ve güvenlik duvarı: robots.txt izin verse bile kapı kapalı olabilir
- Sunucu logu: botun gerçekten geldiğini görmek
- Bing, Copilot, DuckDuckGo ve IndexNow
- Ölçüm: erişimi açtık, görünüyor muyuz?
- Sahada en sık gördüğümüz erişim hataları
- Sürücü Medya bu tarafta ne yapıyor?
Bu içeriği farklı bir yapay zekâ aracında özetle:
Site incelemelerinde karşımıza çıkan bir tablo var. İçerik iyi, Google’da da fena görünmüyor. Ama ChatGPT’de, Perplexity’de hangi soru sorulsa kurs kaynak olarak çıkmıyor. Sebep çoğu zaman içerik değil. Sitenin önündeki güvenlik katmanı, “bot” gördüğü her isteği kibarca geri çeviriyor ve yapay zekâ araçları sayfayı hiç okuyamıyor.
Bu yazı o tarafa odaklanıyor: sitenizin yapay zekâ araçları tarafından okunabilmesi, hangi botun ne işe yaradığı, neyi engellerseniz neyi kaybedeceğiniz ve bütün bunları nasıl doğrulayacağınız. Aşağıdaki bot bilgileri OpenAI, Anthropic, Perplexity, Google, DuckDuckGo ve IndexNow’un resmî sayfalarından Eylül 2026’da kontrol edildi. İçerik stratejisi tarafını ChatGPT yazımızda, llms.txt dosyasını da ayrı rehberimizde anlattık; burada tekrar etmeyeceğiz.
Eğitim botu ile arama botu aynı şey değil
Kurucuların çoğu “yapay zekâ botlarını engelleyelim mi” sorusunu tek bir karar gibi düşünüyor. Oysa büyük yapay zekâ şirketleri artık farklı işler için farklı botlar kullanıyor ve her birini robots.txt’te ayrı ayrı yönetmenize izin veriyor. Kabaca üç tür var.
Eğitim botları, içeriği ilerideki yapay zekâ modellerinin eğitiminde kullanılabilecek şekilde toplar. Arama botları, sitenizi o aracın arama özelliğinde bulunabilir ve kaynak olarak gösterilebilir hale getirmek için tarar. Kullanıcı tetiklemeli ajanlar ise bir kullanıcı soru sorduğunda o an sayfanızı ziyaret eder. Bir sürücü kursu için en kritik olan, arama botlarıdır. Aday “Kartal’da hafta sonu ders veren sürücü kursu” diye sorduğunda cevabın içindeki kaynak bağlantısı bu botların okuduğu sayfalardan gelir.
Resmî bot listesi – kim ne işe yarıyor?
| Şirket | Bot | Görevi | Engellerseniz |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT arama özelliklerinde siteleri göstermek | ChatGPT arama cevaplarında gösterilmezsiniz, yalnızca gezinme bağlantısı çıkabilir |
| OpenAI | GPTBot | Temel model eğitimi için içerik toplamak | İçeriğin eğitimde kullanılmaması yönünde sinyal verirsiniz |
| OpenAI | ChatGPT-User | Kullanıcının isteğiyle sayfa ziyareti | Kullanıcı tetiklemeli olduğu için robots.txt kuralları uygulanmayabilir |
| Anthropic | Claude-SearchBot | Claude arama sonuçlarının kalitesini artırmak | Kullanıcı arama sonuçlarındaki görünürlüğünüz azalır |
| Anthropic | ClaudeBot | Model eğitimi için web içeriği toplamak | Gelecekteki içeriğiniz eğitim verisinden çıkarılır |
| Anthropic | Claude-User | Claude kullanıcısının sorusu için sayfa ziyareti | Kullanıcı yönlendirmeli aramalarda görünürlüğünüz azalır |
| Perplexity | PerplexityBot | Perplexity arama sonuçlarında siteleri göstermek, eğitim için değil | Perplexity sonuçlarında görünmekte zorlanırsınız |
| Perplexity | Perplexity-User | Kullanıcı sorusu sırasında sayfa ziyareti | Genellikle robots.txt’i dikkate almaz |
| Google-Extended | Gemini modellerinin eğitiminde kullanımı kontrol eden belirteç | Google Arama’ya dahil olmanızı ve sıralamanızı etkilemez | |
| DuckDuckGo | DuckAssistBot | Yapay zekâ destekli cevaplar için anlık tarama, eğitim için değil | Yapay zekâ cevaplarında kaynak olmazsınız, organik sıralama etkilenmez |
Kaynaklar: OpenAI Crawlers, Anthropic destek sayfası, Perplexity Crawlers, Google tarayıcıları, DuckAssistBot.
Birkaç ayrıntı ekleyelim. OpenAI, OAI-SearchBot için robots.txt değişikliğinin arama sonuçlarına yansımasının yaklaşık 24 saat sürebileceğini yazıyor; Perplexity de değişikliklerin 24 saate kadar sürebileceğini belirtiyor. DuckDuckGo ise DuckAssistBot engelinin 72 saat sonra etkili olduğunu söylüyor. Anthropic botlarının robots.txt’e uyduğunu ve standart dışı Crawl-delay yönergesini de desteklediğini belirtiyor. Google-Extended’in ayrı bir HTTP kullanıcı aracısı yok; tarama mevcut Google botlarıyla yapılıyor, bu belirteç yalnızca robots.txt’te kontrol amacıyla kullanılıyor.
Google tarafındaki kritik nokta şu: Google’ın yapay zekâ özetleri ve AI Mode, Google Arama dizinindeki içeriğe dayanıyor. Yani orada görünmek için ayrı bir “yapay zekâ botuna” izin vermiyorsunuz; Googlebot’un sitenizi taraması ve dizine eklemesi yeterli temel. Google-Extended’i engellemek Gemini eğitimi tercihinizi belirtir, arama görünürlüğünüzü değiştirmez.
Sürücü kursu sitesi için makul bir robots.txt yaklaşımı
Burada tek bir doğru yok, bir tercih var. Biz sürücü kursu sitelerinde genellikle arama botlarına ve kullanıcı tetiklemeli ajanlara açık kalmayı öneriyoruz, çünkü kursun amacı adaylar tarafından bulunmak. Eğitim botları için kararı kurum sahibine bırakıyoruz. İçeriğin model eğitiminde kullanılmasını istemeyen bir kurs, arama görünürlüğünü kaybetmeden yalnızca eğitim botlarını engelleyebilir. Örnek bir yapı şöyle görünebilir:
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Bu yalnızca bir örnek, kopyalayıp yapıştırmak için değil. Eğitim botlarını engelleyip engellememek kurumsal bir karar. Önemli olan, arama botlarını yanlışlıkla engellememek ve “Disallow: /” satırının hangi User-agent grubunun altında durduğunu dikkatle kontrol etmek. Sahada en sık gördüğümüz hata, eski bir şablondan kalan genel bir engel satırının bütün botları kapsaması.
CDN ve güvenlik duvarı – robots.txt izin verse bile kapı kapalı olabilir
Robots.txt bir rica dosyasıdır; kapıyı fiziksel olarak açıp kapatan şey sunucu, CDN ve güvenlik duvarıdır. Bazı CDN ve WAF hizmetlerinde bot yönetimi ya da yapay zekâ tarayıcılarını engelleme seçenekleri bulunuyor. Bu ayarlar açıksa robots.txt’te izin verdiğiniz bot da sayfaya ulaşamayabilir ve bir hata ya da doğrulama sayfası görür.
Perplexity dokümanı bu konuda açık bir öneri yapıyor: WAF yapılandırmasında hem bot kullanıcı aracısı dizesini hem de resmî JSON dosyasında yayımlanan güncel IP aralıklarını izin listesine almak. OpenAI de OAI-SearchBot için yayımlanan IP adreslerinden gelen isteklere izin verilmesini öneriyor. Yayımlanan IP listeleri önemli, çünkü kullanıcı aracısı dizesi taklit edilebilir. Gerçek botu taklitçiden ayırmanın yolu IP doğrulamasıdır.
Kontrol listemiz kısa:
- CDN panelinde bot yönetimi, yapay zekâ tarayıcı engeli ya da “meydan okuma” sayfası ayarlarını tek tek gözden geçirin.
- OpenAI, Anthropic ve Perplexity’nin resmî IP listelerini izin kurallarında güncel tutun.
- Ülke bazlı engelleme kuralı varsa botların hangi ülkelerden geldiğini hesaba katın.
- Hız sınırlama kuralları arama botlarını gereksiz yere kesmesin; Anthropic için Crawl-delay daha nazik bir seçenek.
Statik altyapıdaki sitelerimizde bu tarafı biz yönetiyoruz. Veritabanı ve eklenti olmadığı için saldırı yüzeyi dar; bu da güvenlik ayarlarını botları topyekûn engelleyecek kadar sertleştirmeye gerek bırakmıyor.
Sunucu logu – botun gerçekten geldiğini görmek
Ayarları yaptınız, peki botlar geliyor mu? Bunun en güvenilir cevabı sunucu erişim loglarında. Log kayıtlarında kullanıcı aracısı alanında OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot ya da DuckAssistBot gibi adları arıyoruz. Sonra şu sorulara bakıyoruz: hangi sayfalar ziyaret edilmiş, yanıt kodu 200 mü yoksa 403 ya da 429 mu, robots.txt dosyası çekilmiş mi?
OpenAI dokümanı, robots.txt dosyasını çekerken kullanıcı aracısı dizesine “robots.txt” işareti ekleyebildiğini de yazıyor; bu, yol bilgisi tutmayan loglarda robots.txt isteklerini ayırmayı kolaylaştırıyor. Şüpheli bir kayıtta IP adresini ilgili şirketin yayımladığı JSON listesiyle karşılaştırmak gerekiyor. Botun adıyla gelen ama listede olmayan bir IP, büyük ihtimalle taklitçidir.
Logda 403 görüyorsanız sorun büyük ihtimalle CDN ya da güvenlik duvarındadır. Hiç kayıt yoksa ya bot henüz gelmemiştir ya da istek sunucuya ulaşmadan kesiliyordur; bu durumda CDN tarafındaki güvenlik olay kayıtlarına da bakmak gerekir.
Bing, Copilot, DuckDuckGo ve IndexNow
Bing çoğu zaman gözden kaçıyor ama yapay zekâ görünürlüğü açısından önemli. Microsoft Copilot ve Bing’in yapay zekâ özetleri Bing ekosistemine dayanıyor. DuckDuckGo da kaynaklar sayfasında geleneksel bağlantı sonuçlarını büyük ölçüde Bing’den aldığını yazıyor. Yani Bing’de sağlıklı dizine eklenmek birden fazla yüzeyi etkiliyor.
Burada IndexNow işe yarıyor. IndexNow SSS sayfasına göre bu protokol, içerik eklendiğinde, güncellendiğinde ya da silindiğinde URL’leri hemen bildirmenizi sağlıyor ve gönderim IndexNow destekleyen arama motorları arasında paylaşılıyor; Bing, Yandex, Naver ve Seznam bunlardan bazıları. Doğrulama için alan adınızın kök dizinine API anahtarını içeren bir metin dosyası koymanız gerekiyor ve tek bir istekte 10.000 adrese kadar gönderim yapılabiliyor. Aynı sayfa bir URL göndermenin anında dizine eklenmeyi garanti etmediğini, her arama motorunun tarama ve dizine ekleme kararını kendisinin verdiğini de açıkça yazıyor. Google’ın IndexNow’u kullandığına dair bir bilgi bu listede yok; Google için site haritası ve Search Console yolunu kullanıyoruz.
Sürücü kursu için pratik karşılığı şu: yeni bir şube sayfası açtığınızda, ücret sayfasını güncellediğinizde ya da kayıt dönemi duyurusu yayımladığınızda değişikliği beklemeden bildirmek. Statik yayın akışımızda her yayından sonra değişen adresleri otomatik bildiriyoruz.
Ölçüm – erişimi açtık, görünüyor muyuz?
Bot erişimi bir ön koşul, sonuç değil. Sonucu görmek için üç kaynağı birlikte kullanıyoruz.
İlki analitik verisi. OpenAI’ın yayıncı SSS sayfasına göre ChatGPT, arama sonuçlarından verdiği yönlendirme bağlantılarına otomatik olarak utm_source=chatgpt.com parametresini ekliyor. Google Analytics’te bu kaynak ayrı izlenebiliyor. Perplexity ve diğer araçlardan gelen ziyaretler de yönlendiren alan adına göre ayrışabiliyor.
İkincisi platform raporları. Google Search Console’daki Generative AI performance raporu, yapay zekâ özetleri ve AI Mode’daki gösterimleri ayrı gösteriyor. Bing Webmaster Tools’taki AI Performance raporu, Şubat 2026’dan beri genel önizlemede; Copilot ve Bing yapay zekâ özetlerinde sitenizin kaç kez kaynak gösterildiğini ve içeriğin getirildiği “grounding” sorgularını raporluyor (Bing duyurusu).
Üçüncüsü kontrollü sorgu testi. ChatGPT, Claude, Perplexity ve Gemini için ortak bir analitik paneli yok. Bu yüzden her ay aynı soruları, aynı koşullarda, tarih ve ekran görüntüsüyle soruyoruz: “Pendik’te otomatik vites ehliyet için sürücü kursu önerir misin”, “Sakarya’da SRC belgesi nereden alınır” gibi. Kurs anıldı mı, kaynak bağlantısı sizin siteniz mi, bilgiler doğru mu, not ediyoruz. Puanlama yöntemini yapay zekâ görünürlüğü ölçüm yazımızda ayrıntılı anlattık.
Sahada en sık gördüğümüz erişim hataları
Yıllardır yüzlerce kursun sitesine bakıyoruz. Yapay zekâ botları konusunda karşımıza çıkan hatalar da artık bir kalıp oluşturuyor.
İlki, “güvenlik için” bütün botları kapatan eski bir robots.txt. Birkaç yıl önce bir yazılımcının koyduğu genel engel satırı, bugün OAI-SearchBot, Claude-SearchBot ve PerplexityBot’u da kapsıyor. Kurucu bunu hiç bilmiyor, çünkü Google’da site görünmeye devam ediyor; Googlebot için ayrı bir izin satırı bırakılmış oluyor.
İkincisi, eğitim botunu engellemek isterken arama botunu da engellemek. “ChatGPT içeriğimi almasın” diye yola çıkan bir kurs, GPTBot yerine bütün OpenAI botlarını kapatınca ChatGPT arama cevaplarından da çıkıyor. Tablodaki ayrım tam da bu yüzden önemli.
Üçüncüsü, sayfaların içeriği tarayıcıda sonradan yüklemesi. Bazı hazır tema ve sayfa oluşturucularda asıl metin, kullanıcı sayfayı açtıktan sonra JavaScript ile ekleniyor. Her botun bu içeriği aynı şekilde işleyip işlemediğini bilemezsiniz. Ücret, belge listesi ve iletişim bilgisi gibi kritik bilgilerin sayfanın HTML’inde doğrudan bulunması en güvenli yol. Statik sitelerimizde içerik zaten doğrudan HTML olarak sunuluyor.
Dördüncüsü, yanlış bilgi. Botlar sayfayı okuyabiliyor ama sayfada eski adres, kapanmış bir şubenin telefonu ya da geçen yılın ücreti duruyor. Yapay zekâ cevabı da bu bilgiyi aynen aktarıyor. Erişim açıldıktan sonra ilk işimiz sitedeki kurumsal bilgileri İşletme Profili ve diğer kaynaklarla karşılaştırmak oluyor; bu kontrolü NAP tutarlılığı denetim listemizde anlattık.
Beşincisi de sabırsızlık. Robots.txt değiştirildiği gün ChatGPT’ye soru sorup sonuç beklemek. Resmî dokümanlarda geçen 24 ve 72 saatlik süreler yalnızca kuralın yansıması için; sayfanın taranması, değerlendirilmesi ve bir cevapta kaynak olarak seçilmesi ayrı bir süreç.
Sürücü Medya bu tarafta ne yapıyor?
Kurduğumuz her sitede robots.txt’i kurum sahibinin tercihine göre arama botları ve eğitim botları ayrımıyla hazırlıyor, CDN tarafındaki bot ayarlarını kontrol ediyor, sunucu loglarından botların gerçekten geldiğini doğruluyor ve IndexNow bildirimini yayın akışına bağlıyoruz. Ardından tarihli kontrollü sorgu setiyle sonuçları izliyoruz. Yapay zekâ cevaplarında anılma garantisi verilmez; biz erişim engellerini kaldırır, içeriği güçlendirir ve ne değiştiğini kayıtla gösteririz.
Sitenizin yapay zekâ araçlarına açık olup olmadığını merak ediyorsanız GEO / AIO hizmetimize göz atın, web analiz talep edin ya da bizimle iletişime geçin. Hızlı ve güvenli bir altyapıya geçmek isterseniz statik site altyapımızı da inceleyebilirsiniz.
kaynak olarak ekleyin