Alan adı aldınız ve internet sitenizi oluşturdunuz. Peki şimdi sırada ne var? Bir internet sitesi kurduktan sonra, arama motoruna sitenizde verdiğiniz hizmetle ilgili anahtar kelimeleri yazdığınızda, arama sonuçlarında sitenizin de yer almasını istersiniz. Ancak, sitenizin iyi bir sıralamaya sahip olmasını sağlamak kolay değildir. Öncelikle, site içeriğinizin arama motoru tarafından anlaşılması sonrasında ise üst sıralarda yer alacak kadar değerli olduğu sonucuna varılması gerekir. Bunu başarmada arama motorlarının iki temel işlevi rol oynar: Crawling Yapma ve Sıralama.

İnternet siteleri, açık ve “crawler” ya da “örümcek” denilen otomatik robotların okuyabileceği kodlarla oluşturulur. Arama motorları, robotlarını var olan tüm websitelerine hem onları taramaları hem de geniş veri tabanlarına depolamaları için gönderir. Bu işleme “crawling” denir. Crawling sonucu depolanan veriler arama sorgularında kullanılır. Crawling sayesinde aramalar daha hızlı sonuçlanır.

Sayfa içeriklerinin anlaşılıp kaydedilmesine indeksleme adı verilir. Robotlar her gün indeksleme yaparlar. Arama motorları, kullanıcının girdiği anahtar kelimeleri içeren internet sitelerinin listesini yani arama sonuçlarını sunar. Bu sebeple, bir internet sitesini oluşturan belirli kod parçalarını doğru bir şekilde tanımlamak o sitenin arama sonuçlarındaki sıralamasını etkileyebilir.

Robots.txt Dosyası Ne İşe Yarar?

Crawler’lar internet sitelerini sık sık ziyaret eder ve arama motoruna indeksleme yapmak için sitenin sayfalarını baştan aşağı okurlar. Robots.txt dosyası, crawler’lara sayfayı nasıl indeksleyeceklerine dair talimatların ve diğer bilgilerin yer aldığı bir metin dosyasıdır. Arama motoru robotları, bir siteyi indekslemeye geldiklerinde ilk iş olarak robots.txt dosyasına bakarlar. Burada, hangi URL’lerin taranacağı ve hangilerinin taranmayacağı bilgisi bulunur.

Google Yardım Merkezi’ne göre, bu dosyanın amacı robotların sitelere yaptığı istek sayısını sınırlandırarak sunucu yükünü azaltmaktır. Crawling sınırlaması yapmanın başka avantajları da vardır. Örneğin, sitenizin kullanıcıların kişisel verilerini içeren sayfalarını güvenlik amacıyla sınırlamak isteyebilirsiniz. Sitenizde herkese açık olmayan sayfaları engelleyebilirsiniz. Öte yandan, sitenizin sıralamasını artırmaya katkıda bulunmayan ya da tam tersi sitenizin sıralamasına zarar veren sayfalara sınırlama getirmek iyi bir optimizasyon yöntemi olarak sayılır.

Robots.txt Dosyası Nasıl Oluşturulur?

Bir sitenin robots.txt dosyasına erişmek için yapmanız gereken şey, arama çubuğuna sitenin alan adını yazdıktan sonra “/robots.txt” yazmaktır. Örneğin, sitemiz için bu “aak.com.tr/robots.txt” şeklindedir.

Siteniz için bu dosyayı oluşturmak çok kolaydır. Yapmanız gereken ilk şey Windows not defteri veya başka herhangi bir metin editörü kullanarak yeni bir belge açmaktır. Komutlar için birkaç örnek aşağıdadır:

1. User-agent: *

Yukardaki değişkenden sonra gelen komut bütün arama botları için geçerli olacaktır. * yerine örneğin Googlebot yazdığınız durumda komut yalnızca Google arama botu için geçerli olur.


2. User-agent:*
   Disallow: /

Bu şekilde disallow komutu ile birlikte bütün arama botları için sayfanın tamamı indekslemeye kapanmış oldu.


3. User-agent: YandexBot
   Disallow: /yonetici/
   Allow: /yonetici/yonetici-acik.html

Yukarıdaki komutlarla birlikte, Yandex arama motoru botu için sitenizdeki yönetici dosyanız, yonetici-acik.html dosyası hariç indekslemeye kapalı hale gelir. Hazırladığınız dosyayı sitenizin kök dizinine eklediğinizde robots.txt dosyanız kullanıma hazır hale gelir.