Ana sayfa > Bilgi Merkezi > Genel Bilgiler > Robots.txt dosyası kullanımı ile web sitemin arama motorlarına kaydını nasıl yönetebilirim?

Robots.txt dosyası kullanımı ile web sitemin arama motorlarına kaydını nasıl yönetebilirim?

Robots.txt dosyası arama motorları ve örümceklere sitenizdeki dosya ve klasörleri gezip kayıt etmeleri için izin veren ya da engelleyen dosyadır. Dosya kendi başına normal bir text dosyasından farksızdır ve basit şekilde Notepad ile hazırlanabilir. Anasayfanızın ya da sitenizin bulunduğu ana klasöre yüklenmelidir.

Neden robots.txt dosyasına ihtiyacım var?
Tüm önemli arama motorları, sitenize girer girmez öncelikli olarak bir robots.txt dosyası arar. Sitenizin herhangi bir bölümüne, örümceklerin girmesini istemiyorsanız ya da girmelerini engellemek istemiyorsanız bile bir robots.txt dosyası bulundurmak her zaman için yararlıdır. Çünkü bu dosya örümcekler için bir karşılama dosyası, menü gibi görev yapar.

Neden örümcekleri engellemek isteyebilirim?
1. Site henüz tamamlanmamış olabilir. Ya da henüz tam olarak bitmemiş sayfalar içeriyor olabilir. Ve bu durumda sitenizin ya da sayfalarınızın yarım yamalak kayıt edilmesini istemeyebilirsiniz.
2. Şifrelemeye gerek duymadığınız ama yine de sizin için özel olan bir içeriğe ya da sitenizde bir bölüme sahip olabilirsiniz ve bunun arama motorları tarafından kayıt edilmesini ve aramalarda çıkmasını istemeyebilirsiniz.
3. Hata sayfalarının, cgi-bin gibi klasörlerin ya da teşekkür ettiğiniz, içinde sadece “tamam” gibi kısa mesajlar bulundurduğunuz dosya ve klasörlerinizin kayıt edilmesi kimsenin işine yaramayacaktır.
4. Birbirine benzeyen, geçişli sayfalarınız varsa bütün robotların aynı şeyi kaydetmesini istemeyebilirsiniz. Bu spam riski doğurabilir.
5. Yer almak istemediğiniz arama motorlarından ya da e-mail toplayan zararlı örümceklerden robots.txt dosyası aracılığıyla kurtulabilirsiniz.

Robots.txt dosyası oluşturmak;
Robots.txt dosyasını herhangi bir text editor ya da notepad ile oluşturabilirsiniz. Temelde içeriği şu şekildedir :
User-Agent: [Örümcek ya da Bot ismi]
Disallow: [Klasör ya da Dosya ismi]

Örnek Kullanımlar;
Bütün robotların, site üzerindeki bütün dosyaları tarayabileceğine izin veren örnek; " * " yıldız işareti istisnasız tüm robotları indeksleme yapabileceğini gösterir.

User-agent: * Disallow:

Bütün robotların, site üzerindeki hiçbir dosyayı taramamasının istendiği örnek;

User-agent: * Disallow: /

Bütün robotlar, site üzerindeki aşağıdaki 4 klasörün içeriğini indekslememeli;

User-agent: * Disallow: /cgi-bin/ Disallow: /images/ Disallow: /tmp/ Disallow: /private/

İsmi verilen robot, site üzerindeki ismi verilen klasörün içeriğini indekslememeli;

User-agent: BadBot # 'BadBot' kelimesi ilgili botun adı ile değiştirilir. Disallow: /private/

Bütün robotlar, site üzerindeki aşağıdaki dosyayı indekslememeli; O klasördeki diğer bütün dosyalar ve sayfalar taratılır.

User-agent: * Disallow: /directory/file.html

Kod içinde yorum yazılan örnekler;

# Yorumlar "#" işaretinden sonra bir satır başında ya da bir komuttan sonra kullanılabilir. User-agent: * # bütün botları kapsasın Disallow: / # bütün botları uzak tutsun

Geciktirme komutları;
Çoğu büyük web arama botları geciktirme komutunu destekler. Örneğin aşağıdaki örnekte robottan ilgili web sitesinden 10 saniyelik aralıklar ile bilgi çekmesi istemi yapılmıştır.

User-agent: * Crawl-delay: 10

İzin Ver komutu;
Bazı büyük botlar, Allow ( izin ver ) komutu kullanarak Disallow ( kısıtla ) komutunu etkisizleştirmeye imkân verirler. Bu özellikle bütün klasördeki sadece bir dosyanın ya da sayfanın taranmasını istediğiniz durumlarda faydalı olacaktır. Fakat dikkat edilmelidir ki genelde standart olarak robots.txt'nin ilk satırı uygulamaya konulabilir. fakat Google'ın uygulamasında önce tüm Allow ( izin ver ) komutları işleme konulur daha sonra Disallow komutları işleme konulur. Örneğin;

Allow: /folder1/myfile.html Disallow: /folder1/

Bu örnekte folder1/myfile.html hariç o klasördeki tüm dosyalar göz ardı edilir.

Robots.txt ile belirli bir dosyayı belirli bir bottan korumak
Mesela “Haberler” diye bir bölüm oluşturuyorsunuz ve henüz tamamlanmadan robotların gelip kayıt etmesini istemiyorsunuz. Bu durumda, hedef tüm robotlar olduğu için özellikle robot ismi belirtmek yerine yıldız işareti “*” kullanmalısınız. Bu tüm robotları kapsayacaktır.
User-Agent: *
Disallow: /haberler/

Koruduğunuz bölüm isminin başına ve sonuna slah işareti “/” koymanız o klasördeki tüm dosyaları kapsayacaktır.

Tüm robotlara kayıt izni vermek
Hedefimiz yine tüm robotlar olduğu için yıldız “*” işareti kullanarak Disallow bölümünü boş bırakıyoruz.
User-agent: *
Disallow:

Daha fazla bilgi için : http://www.google.com/support/webmasters/bin/answer.py?hl=tr&answer=156449

Sık kullanılanlara ekle    Bu dökümanı yazdır

Mime Type nedir ve en çok kullanılan Mime Typelar nerelerdir ? (Görüntülenme: 34786)

Kaç adet e-mail adresi açabilirim? (Görüntülenme: 5124)

Siteme girildiğinde virüs uyarısı alıyorum ? Dosyalarıma iframe virüsü bulaşmış, neler yapmalıyım ? (Görüntülenme: 12489)

Sitem virüs bulaştığı için google'dan banlanmış ? Ne yapabilirim ? (Görüntülenme: 4753)

DNS Kayıt Türleri (Resource Records) nelerdir? Ne anlama gelirler? (Görüntülenme: 19147)