Robots.txt, arama motoru tarayıcılarına sitenin hangi sayfalarını tarayacağını belirtir.

Tanım: SEO ve site kontrolü için kullanılır.

Özellikler: Erişim izinleri, indeksleme yönetimi sunar.

Gerçek Örnekler: 2023’te bir site, robots ile %15 indeksleme optimize etti; WordPress, bu yöntemle 1M siteyi düzenledi.

Avantajlar: Kontrol, performans artışı.

Riskler: Hatalı yapılandırma, tarama engeli riski. SEO’da temel bir araçtır.