XML sitemap, sitenizdeki sayfaların adresini arama motorlarına ve AI botlarına bildiren bir harita dosyasıdır; robots.txt ise bu botların sitenizin hangi bölümlerine girip giremeyeceğini belirleyen kurallar dosyasıdır. Bir bot sitenize geldiğinde önce robots.txt'i okur, sonra oradaki "Sitemap:" satırından sitemap.xml'e ulaşır. Bu iki dosyada yapılan tek bir hata (yanlış Disallow satırı, sitemap'te engellenmiş sayfalar, unutulmuş "Disallow: /") sitenizin Google'da hiç taranmamasına yol açabilir. 2026'da ayrıca GPTBot, ClaudeBot, PerplexityBot gibi AI bot'larını robots.txt'te doğru yönetmek, sitenizin ChatGPT/Claude/Perplexity gibi araçlarda kaynak gösterilme şansını (GEO görünürlüğünü) doğrudan belirliyor.
Bir arama motoru veya yapay zekâ botu sitenize ilk geldiğinde iki basit ama kritik dosyaya bakar: robots.txt ("buraya girebilir miyim?") ve sitemap.xml ("hangi sayfalar var?"). İçerikleriniz ne kadar iyi olursa olsun, bu iki dosya yanlış yapılandırılmışsa botlar sayfalarınızı hiç göremez — ve göremediği bir sayfayı hiçbir arama motoru sıralayamaz.
Bu rehberde sitemap ve robots.txt dosyalarının nasıl çalıştığını, doğru bir yapılandırmanın nasıl olması gerektiğini, en sık yapılan hataları ve 2026'nın en önemli yeni boyutunu — AI botlarına erişim izni yönetimi — adım adım ele alıyoruz.
XML Sitemap Nedir, Neden Gerekli?
XML sitemap, sitenizdeki sayfaların (ve isteğe bağlı olarak resim/video dosyalarının) URL listesini, arama motorlarının kolayca okuyabileceği standart bir XML formatında sunan bir dosyadır. Her <url> bloğu bir sayfanın adresini (<loc>) ve genellikle son güncellenme tarihini (<lastmod>) içerir.
Sitemap, botların sitenizi bağlantı takip ederek keşfetmesini beklemek yerine, tüm önemli sayfaları tek bir yerden doğrudan bildirmenizi sağlar. Bu özellikle şu durumlarda kritik önem taşır: yeni kurulmuş, dışarıdan az bağlantı alan siteler; çok sayıda sayfası olan e-ticaret/haber siteleri; ve iç linklemesi zayıf, "öksüz" (orphan) sayfaları olan siteler.
Doğru Bir Sitemap'te Olması Gerekenler
Sitemap etiketlerinin bazıları zorunlu, bazıları ise Google tarafından artık göz ardı ediliyor. Gereksiz etiketlerle dosyayı şişirmek yerine, aşağıdaki tabloya göre sade ve doğru bir yapı kurun.
| Etiket | Zorunlu mu? | Not |
|---|---|---|
<url> | Evet | Her sayfa için ayrı bir blok |
<loc> | Evet | Mutlak URL; canonical etiketle birebir aynı olmalı |
<lastmod> | Önerilir | Google artık ciddiye alıyor — gerçek güncelleme tarihini yansıtmalı, her build'de otomatik "bugün" yazılmamalı |
<changefreq> | Hayır | Google tarafından resmi olarak yok sayılıyor |
<priority> | Hayır | Google tarafından resmi olarak yok sayılıyor |
50.000 URL / 50MB sınırı: Büyük sitelerde tek dosya bu sınırı aşabilir. Çözüm, birden fazla alt sitemap'e referans veren bir sitemap index dosyası (örn. sitemap-index.xml → sitemap-urunler-1.xml, sitemap-blog.xml) oluşturmaktır. Yalnızca indekslenebilir, 200 durum kodlu, canonical olan ve engellenmemiş sayfaları sitemap'e ekleyin — noindex, 404, yönlendirmeli veya robots.txt tarafından engellenmiş sayfaları asla listelemeyin.
Robots.txt Nedir ve Nasıl Okunur?
Robots.txt, sitenizin kök dizininde (siteniz.com/robots.txt) yer alan, düz metin tabanlı bir kurallar dosyasıdır. Botlara hangi klasör/sayfalara girip giremeyeceklerini ve sitemap dosyanızın nerede olduğunu bildirir. Dosya, her bot türü (user-agent) için ayrı kural blokları içerebilir.
| Direktif | Anlamı |
|---|---|
User-agent: * | Aşağıdaki kurallar hangi bot(lar) için geçerli (* = tümü) |
Disallow: /admin/ | Bu yolun taranmasını engelle |
Allow: /admin/public/ | Engellenen bir klasör içinde istisnai olarak izin ver |
Sitemap: https://site.com/sitemap.xml | Sitemap dosyasının tam adresini bildirir |
Crawl-delay: 10 | İstekler arası bekleme süresi (Googlebot bu direktifi uygulamaz, bazı diğer botlar uygular) |
GEO Çağında Robots.txt: AI Bot'larına Erişim Kararı
2026'da robots.txt artık sadece Googlebot ve Bingbot'u yönetmiyor. ChatGPT, Claude ve Perplexity gibi araçların cevaplarında kaynak olarak görünmek istiyorsanız (bkz. GEO rehberimiz), bu araçların kullandığı AI botlarına da bilinçli olarak erişim izni vermeniz gerekir. Aşağıdaki tablo, en yaygın AI bot user-agent'larını ve onları engellemenin ne anlama geldiğini özetliyor.
| User-agent | Şirket / Araç | Engellerseniz ne olur? |
|---|---|---|
Googlebot | Google Arama | Google'da hiç görünmezsiniz — engellenmemeli |
Google-Extended | Gemini / AI Overviews | Google AI Overviews'te kaynak gösterilme şansı düşer (klasik arama sıralamasını etkilemez) |
GPTBot | OpenAI / ChatGPT | ChatGPT arama cevaplarında kaynak olarak çıkma şansınız kalmaz |
ClaudeBot | Anthropic / Claude | Claude'un web araması yapan cevaplarında görünmezsiniz |
PerplexityBot | Perplexity | Perplexity cevaplarında kaynak/link olarak gösterilmezsiniz |
Bingbot | Bing / Copilot | Bing aramasında ve Copilot cevaplarında görünmezsiniz |
Önemli: Bu botları engellemek Google'daki klasik organik sıralamanızı etkilemez — her biri robots.txt'te bağımsız User-agent bloklarıyla yönetilir. Kararı bilinçli verin: içeriğinizin AI eğitim verisi olarak kullanılmasını istemiyorsanız engelleyebilirsiniz, ama bu durumda o aracın cevaplarında hiç görünmeyeceğinizi bilerek hareket edin.
Yaygın Hatalar
- "Disallow: /" satırının yayına unutulması — staging ortamından canlıya geçerken en sık yapılan hata; tüm siteyi taramaya kapatır.
- Sitemap'te robots.txt tarafından engellenmiş sayfaların listelenmesi — çelişkili sinyal, crawl budget kaybı.
- Sitemap'e noindex veya 404/yönlendirmeli sayfaların eklenmesi — Search Console'da sürekli hata/uyarı üretir.
- 50.000 URL sınırını aşan tek parça sitemap — sitemap index yapısına bölünmesi gerekir.
- robots.txt'te "Sitemap:" satırının unutulması — Bing, Yandex ve AI botları sitemap'i hiç bulamayabilir.
- GEO'yu bilmeden tüm AI botlarını toptan engellemek — bilinçli bir tercih olmalı, farkında olmadan "AI'da hiç görünmeme" kararı vermek olmamalı.
Nasıl Test Edilir ve İzlenir?
Değişiklik yapmadan önce ve sonra, robots.txt ve sitemap dosyalarınızı ücretsiz araçlarla doğrulayın: robots.txt test aracımız ile hangi bot'un hangi yola erişebildiğini satır satır kontrol edebilir, sitemap doğrulama aracımız ile XML yapısındaki hataları (kırık URL, yanlış format, eksik <loc>) anında görebilirsiniz. Google Search Console'da "Sayfalar" raporunu düzenli takip etmek, sitemap'e eklediğiniz sayfaların gerçekten indekslenip indekslenmediğini gösterir.
Teknik yapı doğru olsa bile asıl sonuç, hedef kelimelerinizde sıralamanın nasıl hareket ettiğidir. Serpux ile günlük sıralama takibi yaparak, sitemap/robots.txt düzeltmesi sonrası taranıp indekslenen sayfaların sıralamalarda ne kadar hızlı hareket ettiğini gözlemleyebilir, iç linkleme çalışmalarınızı da (bkz. iç linkleme stratejisi rehberi) bu keşif altyapısıyla birleştirebilirsiniz.
Sonuç: Görünmeyen Sayfa, Sıralanamaz
Sitemap ve robots.txt, en "sıkıcı" teknik SEO dosyaları gibi görünse de, aslında tüm SEO ve GEO çalışmanızın temelini oluşturuyor — çünkü bir bot sayfanıza giremiyorsa, o sayfada ne kadar mükemmel içerik, schema veya iç link olduğu hiç önemli değildir. Bu iki dosyayı çeyreklik bazda gözden geçirmek, hem Google hem de büyüyen AI arama ekosisteminde görünürlüğünüzü garantiye almanın en ucuz yoludur.
Serpux ile önemli kelimelerinizin Google sıralamasını her gün otomatik izleyin, teknik değişikliklerin gerçek etkisini rakamlarla görün.
Ücretsiz Deneyin