skip to Main Content
Robots.txt Nedir Ve Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt Nedir ve Robots.txt Dosyası Nasıl Oluşturulur?

Robots.txt nedirrr
Robots.txt nedirrr

Robots.txt nedir?

Robots.txt, arama motoru yazılımına web sitenizin hangi bölümlerini indeksleyebileceklerini, hangi dizinin taranacağını ve arama motoru yazılımının mevcut olup olmadığını söyleyen basit bir komut dosyasıdır. Örümcek olarak da bilinen arama motoru yazılımı, önce sitenize geldiğinde bu dosyayı analiz eder ve dosyadaki komutlara dayanarak sitenin yetkili bölümlerini ekler.

Başka bir deyişle, Robots.txt sitenizin sınırlarını kontrol etmek gibidir. Burada hangi sınır kapılarının arama motoru robotları tarafından girilebileceğini, hangilerinin bulunmadığını, hangi arama motoru robotlarının erişebileceğini ve hangilerinin girilemeyeceğini belirleyebilirsiniz. Robots.txt dosyası ve içerdiği komutlar düzgün bir şekilde hazırlanırsa, arama motoru robotları bu kurallara uyar ve sitenizi belirttiğiniz komutlara göre tarar. Bu işleme Robot Engelleme Standardı (veya Robot Engelleme Protokolü) denir.

Robots.txt dosyası, sitenizin izin verdiği dizine bakılmaksızın arama motoru robotlarını gösteren normal bir rapor dosyasıdır. Arama motoru robotları bu dosyadaki komut tarafından izin verilmeyen ve ilişkili dizinlerdeki sayfaları dizine ekleyemeyen dizinlere erişemez. Robots.txt dosyasını nasıl oluşturursunuz? Dikkat edilmesi gerekenler nelerdir? Hazırladığım bu içerikte, Robots.txt dosyasıyla ilgili tüm ayrıntıları bulabilirsiniz …

Robots.Txt dosyasında kullanılan komutlar

User-Agent: bu alana dosyamızda ele almak istediğimiz botun adını yazmamız gerekiyor. Bir botu Google’dan engellemek istiyorsak, “User-Agent: Googlebot” kullanmalıyız. Arama motorlarından gelen tüm botları dahil etmek istiyorsanız, buraya * (yıldız) girin.

Kullanıcı Aracısı *

Ancak, yalnızca bir Google botunu veya başka bir botu işaret etmek istiyorsanız, botun adını girmeniz gerekir. En yaygın botlar;

  • Googlebot: Yalnızca Google Bot (kullanıcı aracısı: Googlebot)
  • Googlebot-Image: Yalnızca Google Images bot (kullanıcı aracısı: Googlebot-Image)
  • Googlebot-News: Yalnızca Google News-Bot (Kullanıcı Aracısı: Googlebot-News)
  • DeepCrawl – Bir Google bot DeepCrawl’u kapsar (kullanıcı aracısı: DeepCrawl)
  • Bingbot: Yalnızca Bingbot (kullanıcı aracısı: Bingbot)
  • Disallow: İzin verme komutu, Google Botların erişemediği alanları gösteren bir komuttur. Google botları, yazdığınız dizini dizine ekleyemez.
OKUMALISIN  Google Ads Nedir Nasıl Kullanılır?

 

  • Kullanıcı-Aracı: *

 

  • İzin verme: /

 

  • Yukarıdaki komut tüm botların tüm site dizinlerini kapatır. Bu komutla bir dosya oluşturduğunuzda, botlar sayfalarınızın hiçbirine erişmez veya dizine eklemez. Bot erişimi için bir dizini veya sayfayı kapatmak için tek yapmanız gereken Disallow komutunun yanına o dizini yazmaktır. 

 

  • Kullanıcı aracısı: *

 

  • İzin verme: / wp-content /

 

  • Disallow: /dizin/klasor/

 

  • Disallow: /seo/site-haritasi-nedir-site-haritasi-nasil-olusturulur/

 

  • Allow: Allow komutuyla botlar, bot erişiminin kapatıldığı bir dizinde bulunan bir dosyaya / dizine erişebilir. Yukarıdaki örnekte olduğu gibi, Google Bots için “/ directory / folder /” dizinini kapattık, ancak “folder” dizinindeki bir sayfayı Google Bots tarafından erişilebilir hale getirmek istiyoruz. Bunu Allow komutuyla yaparız. 

 

  • Kullanıcı aracısı: *

 

  • İzin verme: / wp-content /

 

  • Disallow: /dizin/klasor/

 

  • İzin ver: /dizin/klasor/dosya.html

Yukarıda gösterildiği gibi, erişmek için “/ dizin / klasör /” yolunu kapatıyoruz, ancak İzin Ver komutuyla botlar için “klasör” dizinindeki “file.html” dosyasını açıyoruz. Bu nedenle, Google botları “/ dizin / klasör /” dizini oluşturmaz, ancak onayladığımız “/ dizin / klasör / dosya.html” yoluna erişebilir ve dizine ekleyebilirler.

Bir Robots.txt dosyasını nasıl oluştururum?

Robots.txt dosyanızı oluşturmak için çeşitli yöntemler ve yollar kullanabilirsiniz. Örneğin, bu işlem için kullanılan web siteleri (Robots.txt Generator) vardır ve bu web siteleri sayesinde Dosyanızı istediğiniz kurallara göre kolayca oluşturabilirsiniz . WordPress gibi önceden oluşturulmuş bir altyapı kullanıyorsanız, eklenti kitaplığındaki eklentiler sayesinde dosyanızı oluşturabilir ve düzenleyebilirsiniz. Bu iki yöntem dışında, Robots.txt dosyanızı doğrudan sitenizin kök dizininde manuel olarak oluşturabilir ve istediğiniz gibi düzenleyebilirsiniz.

El ile bir Robots.txt dosyası oluşturun

Robots.txt dosyasını el ile oluşturmak için, önce bilgisayarda yeni bir metin belgesi açın ve “robots.txt” adını girin.
Ardından dosyaya tarama kuralları için komutları yazın.
Son olarak, hazırladığınız dosyayı sitenizin kök dizinine yerleştirmelisiniz. Dosya adınız değişmemeli ve her zaman kök dizinde olmalıdır. Dosyanızın site.com/robot.txt dizininde olması gerekir. Dosyayı “site.com/klasor/robots.txt” dizinine yerleştirirseniz, onaylamadığınız dizinler görüntülenmeyeceğinden Google Botlar bu dosyaya erişemez ve dizine ekleyemez.

Kullanıma hazır araçlarla bir Robots.txt dosyası oluşturun
  • Örneğin, tamamlanmış bir araçla Robot.txt dosyanızı oluşturmak için “http://tools.seobook.com/robots-txt/generator/” adresini açın.
  • Görünen ekranda, “Ek Kurallar” bölümünde eklemek istediğiniz kuralları oluşturun.
  • Ardından isteğe bağlı olarak site haritanızın URL’sini ekleyin.
  • Son olarak, kodları “Robot.txt dosyanız” alanına kopyalayın ve sitenizin kök dizininde açtığınız Robots.txt dosyasına yapıştırın.

WordPress’te eklentileri olan bir Robots.txt dosyası oluşturma

  • WordPress tabanlı bir web siteniz varsa, Yoast SEO veya All in One SEO Pack gibi eklentileri kullanarak dosyanızı oluşturabilirsiniz.
  • Ayrıca, yönetici alanındaki Eklentiler sekmesindeki Yeni Ekle alanından bir Eklentiyi yükleyebilir ve dosyanızı oluşturabilirsiniz
  • Kullandığınız ek eklentilerle dosyanızı istediğiniz kurallara göre oluşturabilir veya düzenleyebilirsiniz.

Diger Makalelerime ulaşmak için  buraya tıklayınız