Robots.txt, arama motoru botlarına tarama yönergeleri veren bir dosyadır.

Tanım: Sayfa gizleme, SEO optimizasyonu ve site kökünde yer alır.

Temel Özellikler: Tarama kontrolü, gereksiz indeksleme önleme ve strateji içerir.

Gerçek Örnekler: 2023’te Google, tarama yönergeleriyle 2 milyar siteyi optimize etti; WordPress, otomatik robots.txt ile 10M$ kazanç sağladı.

Avantajlar: Tarama kontrolü, gereksiz indeksleme önleme sağlar.

Riskler: Yanlış yapılandırma, güvenlik açıkları riski taşır. Bilişimde SEO için kritik bir araçtır.