Standart robotlar txt. Yandex robotları. Yandex robot türleri

İyi günler sevgili arkadaşlar! Hepiniz, arama motoru optimizasyonunun sorumlu ve hassas bir konu olduğunu biliyorsunuz. Kabul edilebilir bir sonuç elde etmek için kesinlikle her küçük şeyi hesaba katmak gerekir.

Bugün, her web yöneticisinin aşina olduğu bir dosya olan robots.txt hakkında konuşacağız. İçinde arama robotları için en temel talimatların tümü verilmiştir. Kural olarak, öngörülen talimatları zevkle takip ederler ve yanlış derleme durumunda web kaynağını indekslemeyi reddederler. Şimdi size robots.txt dosyasının doğru versiyonunu nasıl yazacağınızı ve nasıl yapılandıracağınızı anlatacağım.

Önsözde ne olduğunu zaten açıkladım. Şimdi sana neden ihtiyacın olduğunu söyleyeceğim. Robots.txt, sitenin kökünde depolanan küçük bir metin dosyasıdır. Arama motorları tarafından kullanılır. Dizin oluşturma kurallarını, yani sitenin hangi bölümlerinin dizine eklenmesi gerektiğini (aramaya eklenir) ve hangilerinin olmaması gerektiğini açıkça belirtir.

Genellikle sitenin teknik bölümleri indekslemeye kapalıdır. Bazen, benzersiz olmayan sayfalar kara listeye alınır (kopyala-yapıştır gizlilik politikası buna bir örnektir). Burada “robotlar” indekslenmesi gereken bölümlerle çalışma prensipleri anlatılıyor. Çoğu zaman, kurallar birkaç robot için ayrı ayrı yazılır. Bunun hakkında daha fazla konuşacağız.

Doğru robots.txt kurulumu ile sitenizin arama motoru konumlarında büyümesi garanti edilir. Robotlar, yinelenen veya teknik bölümlerin dikkatinden yoksun bırakılarak yalnızca yararlı içeriği dikkate alacaktır.

robots.txt oluştur

Dosya oluşturmak için işletim sisteminizin standart fonksiyonlarını kullanmanız ve ardından FTP aracılığıyla sunucuya yüklemeniz yeterlidir. Nerede olduğunu (sunucuda) tahmin etmek kolaydır - kökte. Bu klasöre genellikle public_html adı verilir.

Herhangi bir FTP istemcisini (örneğin) veya yerleşik dosya yöneticisini kullanarak kolayca girebilirsiniz. Doğal olarak sunucuya boş robot yüklemeyeceğiz. Oraya bazı temel yönergeler (kurallar) yazalım.

Kullanıcı aracısı: *
izin vermek: /

Bu satırları robots dosyanızda kullanarak, tüm robotlara ulaşacaksınız (User-agent yönergesi), sitenizi bütünüyle indekslemelerine izin vereceksiniz (tüm İzin Ver: / sayfaları dahil)

Elbette bu seçenek pek bize uymuyor. Dosya özellikle arama motoru optimizasyonu için kullanışlı olmayacaktır. Kesinlikle uygun ayara ihtiyacı var. Ancak bundan önce, tüm temel robots.txt yönergelerini ve değerlerini ele alacağız.

direktifler

kullanıcı aracısı	En önemlilerinden biri, çünkü ondan sonra hangi robotların kurallara uyması gerektiğini gösteriyor. Kurallara, dosyadaki bir sonraki Kullanıcı aracısına kadar uyulur.
izin vermek	Herhangi bir kaynak bloğunun indekslenmesine izin verir. Örneğin: “/” veya “/tag/”.
izin verme	Aksine bölümlerin indekslenmesini yasaklar.
Site Haritası	Site haritasının yolu (xml formatında).
Ev sahibi	Ana ayna (www ile veya www olmadan veya birden fazla alan adınız varsa). Güvenli https protokolü (varsa) burada da belirtilir. Standart bir http'niz varsa, bunu belirtmenize gerek yoktur.
Tarama gecikmesi	Yardımıyla, robotlar için sitenizdeki dosyaları ziyaret etme ve indirme aralığını ayarlayabilirsiniz. Ana bilgisayar üzerindeki yükü azaltmaya yardımcı olur.
temiz parametre	Belirli sayfalarda parametrelerin indekslenmesini devre dışı bırakmanıza izin verir (örneğin, www.site.com/cat/state?admin_id8883278). Önceki direktiflerden farklı olarak burada 2 değer belirtilir (adres ve parametrenin kendisi).

Bunların hepsi amiral gemisi arama motorları tarafından desteklenen kurallardır. Onların yardımıyla, çeşitli site türleri için çeşitli varyasyonlarla çalışan robotlarımızı yaratacağız.

Ayar

Robots dosyasını doğru bir şekilde yapılandırmak için sitenin hangi bölümlerinin indekslenmesi gerektiğini ve hangilerinin indekslenmemesi gerektiğini tam olarak bilmemiz gerekir. Basit bir html + css tek çağrı cihazı durumunda, sadece birkaç temel yönerge yazmamız yeterlidir, örneğin:

Kullanıcı aracısı: *
izin vermek: /
Site Haritası: site.ru/sitemap.xml
Ev sahibi: www.site.ru

Burada tüm arama motorları için kurallar ve değerler belirledik. Ancak Google ve Yandex için ayrı yönergeler eklemek daha iyidir. Bunun gibi görünecek:

Kullanıcı aracısı: *
izin vermek: /

Kullanıcı aracısı: Yandex
izin vermek: /
İzin verme: / politika

Kullanıcı aracısı: GoogleBot
izin vermek: /
İzin verme: /etiketler/

Site Haritası: site.ru/sitemap.xml
Ev sahibi: site.ru

Artık kesinlikle tüm dosyalar html sitemizde dizine eklenecek. Bir sayfayı veya resmi hariç tutmak istiyorsak, Disallow'da bu parçaya göreli bir bağlantı belirtmemiz gerekir.

Robotların otomatik dosya oluşturma servislerini kullanabilirsiniz. Onların yardımı ile tamamen doğru bir sürüm oluşturacağınızı garanti etmiyorum, ancak bunu bir giriş olarak deneyebilirsiniz.

Bu hizmetler arasında şunlar bulunmaktadır:

Onların yardımıyla robots.txt dosyasını otomatik olarak oluşturabilirsiniz. Şahsen, bu seçeneği kesinlikle önermiyorum, çünkü bunu platformunuz için yapılandırarak manuel olarak yapmak çok daha kolay.

Platformlardan bahsetmişken, her türlü CMS, çerçeve, SaaS sistemi ve çok daha fazlasını kastediyorum. Ardından, bir WordPress ve Joomla robots dosyasının nasıl kurulacağı hakkında konuşacağız.

Ancak bundan önce, hemen hemen her site için robotlar oluştururken ve yapılandırırken size rehberlik edebilecek birkaç evrensel kuralı vurgulayalım:

Dizine eklemeden kapat (İzin Verme):

• site yöneticisi;
• kişisel hesap ve kayıt/yetki sayfaları;
• alışveriş sepeti, sipariş formlarından veriler (çevrimiçi mağaza için);
• cgi klasörü (ana bilgisayarda bulunur);
• servis bölümleri;
• ajax ve json betikleri;
• UTM ve Openstat etiketleri;
• Çeşitli seçenekler.

Aç (İzin Ver):

• Görüntüler;
• JS ve CSS dosyaları;
• arama motorları tarafından dikkate alınması gereken diğer unsurlar.

Ayrıca, sonunda site haritası verilerini (site haritasına giden yol) ve ana bilgisayarı (ana ayna) belirtmeyi unutmayın.

WordPress için Robots.txt

Dosya oluşturmak için robots.txt dosyasını aynı şekilde sitenin kök dizinine atmamız gerekiyor. Bu durumda, aynı FTP ve dosya yöneticilerini kullanarak içeriğini değiştirmek mümkün olacaktır.

Daha uygun bir seçenek de var - eklentileri kullanarak bir dosya oluşturmak. Özellikle Yoast SEO böyle bir özelliğe sahiptir. Robotları doğrudan yönetici panelinden düzenlemek çok daha uygun, bu yüzden ben de robots.txt ile tam olarak bu çalışma yöntemini kullanıyorum.

Bu dosyayı nasıl oluşturmaya karar verdiğiniz size kalmış, orada ne tür direktiflerin olması gerektiğini anlamak bizim için daha önemli. Bu seçeneği WordPress sitelerimde kullanıyorum:

Kullanıcı aracısı: * # Google ve Yandex dışındaki tüm robotlar için kurallar

İzin verme: /cgi-bin # komut dosyaları içeren klasör
izin verme: /? # ana sayfadan parametre talep edin
İzin verme: /wp- # CSM dosyası (ön eki wp- ile gelir)
İzin verme: *?s= # \
İzin verme: *&s= # aramayla ilgili her şey
İzin verme: /arama/ # /
İzin verme: /yazar/ # yazar arşivi
İzin verme: /users/ # ve kullanıcılar
İzin verme: */geri izleme WP'den birinin size bağlantı verdiğine dair # bildirim
İzin verme: */feed # xml'de besleme
İzin verme: */rss # ve rss
İzin verme: */embed # satır içi öğeler
İzin verme: /xmlrpc.php # WordPress API'sı
İzin verme: *utm= # UTM etiketleri
İzin verme: *openstat= # openstat etiketleri
İzin verme: /etiket/ # etiket (varsa)
İzin ver: */yüklemeler # açık indirmeler (resimler vb.)

Kullanıcı aracısı: GoogleBot # Google için
İzin verme: /cgi-bin
izin verme: /?
İzin verme: /wp-
İzin verme: *?s=
İzin verme: *&s=
İzin verme: /arama/
İzin verme: /yazar/
İzin verme: /users/
İzin verme: */geri izleme
İzin verme: */feed
İzin verme: */rss
İzin verme: */embed
İzin verme: /xmlrpc.php
İzin verme: *utm=
İzin verme: *openstat=
İzin verme: /etiket/
İzin ver: */yüklemeler
İzin ver: /*/*.js # js dosyalarını aç
İzin ver: /*/*.css # ve CSS
İzin ver: /wp-*.png # ve png formatındaki resimler
İzin ver: /wp-*.jpg # \
İzin ver: /wp-*.jpeg # ve diğer biçimler
İzin ver: /wp-*.gif # /
# eklentilerle çalışır

Kullanıcı aracısı: Yandex # Yandex için
İzin verme: /cgi-bin
izin verme: /?
İzin verme: /wp-
İzin verme: *?s=
İzin verme: *&s=
İzin verme: /arama/
İzin verme: /yazar/
İzin verme: /users/
İzin verme: */geri izleme
İzin verme: */feed
İzin verme: */rss
İzin verme: */embed
İzin verme: /xmlrpc.php
İzin verme: /etiket/
İzin ver: */yüklemeler
İzin ver: /*/*.js
İzin ver: /*/*.css
İzin ver: /wp-*.png
İzin ver: /wp-*.jpg
İzin ver: /wp-*.jpeg
İzin ver: /wp-*.gif
İzin ver: /wp-admin/admin-ajax.php
# temiz UTM etiketleri
Clean-Param: openstat # ve Openstat'ı unutma

site haritası: # site haritasının yolunu yaz
Ev sahibi: https://site.ru # ana ayna

Dikkat! Satırları bir dosyaya kopyalarken, tüm yorumları kaldırmayı unutmayın (# işaretinden sonraki metin).

Bu robots.txt seçeneği, WP kullanan web yöneticileri arasında en popüler olanıdır. O mükemmel mi? Numara. Bir şey eklemeyi deneyebilir veya tam tersine bir şey kaldırabilirsiniz. Ancak robotların metin düzenleyicisini optimize ederken hataların nadir olmadığını unutmayın. Onlar hakkında daha fazla konuşacağız.

Joomla için Robots.txt

Ve 2018'de Joomla nadiren kullanılsa da, bu harika CMS'nin göz ardı edilmemesi gerektiğine inanıyorum. Joomla'da projeleri tanıtırken kesinlikle bir robots dosyası oluşturmanız gerekecek, aksi takdirde gereksiz öğeleri indekslemeden nasıl kapatmak istersiniz?

Önceki durumda olduğu gibi, dosyayı ana bilgisayara yükleyerek manuel olarak oluşturabilir veya bu amaçla bir modül kullanabilirsiniz. Her iki durumda da, doğru şekilde yapılandırmanız gerekecektir. Joomla için doğru sürüm şöyle görünür:

Kullanıcı aracısı: *
İzin ver: /*.css?*$
İzin ver: /*.js?*$
İzin ver: /*.jpg?*$
İzin ver: /*.png?*$
İzin verme: /önbellek/
İzin verme: /*.pdf
İzin verme: /yönetici/
İzin verme: /kurulum/
İzin verme: /cli/
İzin verme: /libraries/
İzin verme: /dil/
İzin verme: /bileşenler/
İzin verme: /modüller/
İzin verme: /içerir/
İzin verme: /bin/
İzin verme: /bileşen/
İzin verme: /tmp/
İzin verme: /index.php
İzin verme: /eklentiler/
İzin verme: /*mailto/

İzin verme: /logs/
İzin verme: /bileşen/etiketler*
İzin verme: /*%
İzin verme: /layouts/

Kullanıcı aracısı: Yandex
İzin verme: /önbellek/
İzin verme: /*.pdf
İzin verme: /yönetici/
İzin verme: /kurulum/
İzin verme: /cli/
İzin verme: /libraries/
İzin verme: /dil/
İzin verme: /bileşenler/
İzin verme: /modüller/
İzin verme: /içerir/
İzin verme: /bin/
İzin verme: /bileşen/
İzin verme: /tmp/
İzin verme: /index.php
İzin verme: /eklentiler/
İzin verme: /*mailto/

İzin verme: /logs/
İzin verme: /bileşen/etiketler*
İzin verme: /*%
İzin verme: /layouts/

Kullanıcı aracısı: GoogleBot
İzin verme: /önbellek/
İzin verme: /*.pdf
İzin verme: /yönetici/
İzin verme: /kurulum/
İzin verme: /cli/
İzin verme: /libraries/
İzin verme: /dil/
İzin verme: /bileşenler/
İzin verme: /modüller/
İzin verme: /içerir/
İzin verme: /bin/
İzin verme: /bileşen/
İzin verme: /tmp/
İzin verme: /index.php
İzin verme: /eklentiler/
İzin verme: /*mailto/

İzin verme: /logs/
İzin verme: /bileşen/etiketler*
İzin verme: /*%
İzin verme: /layouts/

Ev sahibi: site.ru # buradaki adresi kendinize göre değiştirmeyi unutmayın
Site Haritası: site.ru/sitemap.xml # ve burada

Kural olarak, gereksiz dosyaların dizine girmesini önlemek için bu yeterlidir.

Yapılandırma hataları

Çoğu zaman, insanlar bir robot oluştururken ve yapılandırırken hata yapar. İşte en yaygın olanları:

• Kurallar yalnızca User-agent için belirtilir.
• Eksik Ana Bilgisayar ve Site Haritası.
• Host yönergesinde http protokolünün bulunması (yalnızca https belirtmeniz gerekir).
• Görüntüleri açarken/kapatırken yuvalama kurallarına uyulmaması.
• UTM ve Openstat etiketleri kapalı değildir.
• Her robot için ana bilgisayar ve site haritası yönergeleri yazma.
• Dosyanın yüzey işlemesi.

Bu küçük dosyayı doğru bir şekilde kurmak çok önemlidir. Büyük hatalar yaparsanız, trafiğin önemli bir bölümünü kaybedebilirsiniz, bu nedenle kurulum yaparken son derece dikkatli olun.

Bir dosya nasıl kontrol edilir?

Bu amaçlar için, Yandex ve Google'dan özel hizmetler kullanmak daha iyidir, çünkü bu arama motorları en popüler ve talep gören (çoğunlukla kullanılanlar) olduğundan, Bing, Yahoo veya Rambler.

Başlamak için, Yandex ile seçeneği düşünün. Webmaster'a gidiyoruz. Ardından Araçlar - robots.txt dosyasını analiz edin'e gidin.

Burada, dosyada hatalar olup olmadığını kontrol edebilir ve ayrıca hangi sayfaların indeksleme için açık olduğunu ve hangilerinin açılmadığını gerçek zamanlı olarak kontrol edebilirsiniz. Çok uygun.

Google tamamen aynı hizmete sahiptir. Hadi gidelim Arama Konsolu. Tarama sekmesini buluyoruz, robots.txt dosyasını kontrol etmek için - Araç'ı seçin.

İşte ev hizmetindeki ile tamamen aynı işlevler.

Bana 2 hata gösterdiğini unutmayın. Bunun nedeni, Google'ın Yandex için belirttiğim parametre temizleme yönergelerini tanımamasıdır:

Temiz-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat

Buna dikkat etmemelisiniz çünkü Google robotları sadece GoogleBot için kuralları kullanır.

Çözüm

Robots.txt dosyası sitenizin SEO'su için çok önemlidir. Yapılandırmasına tüm sorumlulukla yaklaşın, çünkü yanlış uygulanırsa her şey boşa gidebilir.

Bu yazıda paylaştığım tüm talimatları göz önünde bulundurun ve robots seçeneklerimi tam olarak kopyalamanız gerekmediğini unutmayın. Dosyayı özel durumunuza göre ayarlayarak, direktiflerin her birini daha fazla anlamanız gerekebilir.

Robots.txt dosyasına daha yakından bakmak ve WordPress siteleri oluşturmak istiyorsanız sizi davet ediyorum. Üzerinde, arama motorları için optimize etmeyi unutmadan nasıl kolayca bir web sitesi oluşturabileceğinizi öğreneceksiniz.

Dosya robots.txt sıradan bir Windows not defteri kullanılarak oluşturulabilen .txt uzantılı sıradan bir dosyadır. Bu dosya, arama robotları için dizin oluşturma talimatlarını içerir. Bu kök dizin dosyasını barındırmaya yerleştirin.

Siteyi ziyaret ederken, arama robotu, daha fazla işlem için talimatlar almak ve hangi dosya ve dizinlerin indekslenmesinin yasak olduğunu bulmak için öncelikle robots.txt dosyasına başvurur. Dosya robots.txt arama motorları için bir tavsiyedir. Sonuç olarak indekslenmesi yasaklanan tüm dosyaların indekslenmeyeceğini kesin olarak söylemek mümkün değildir.

Bir robots.txt dosyasının en basit örneğini düşünün. Bu dosya aşağıdaki satırları içerir:

Kullanıcı aracısı: * İzin verme: /wp-admin/ İzin verme: /images/

İlk satır, bu talimatların hangi arama robotları için geçerli olduğunu gösterir. Bu örnekte, talimatların tüm tarayıcılar için geçerli olduğu anlamına gelen bir yıldız işareti belirtilmiştir. Belirli bir arama robotu için talimatlar belirtmek gerekirse, adını girmelisiniz. İkinci ve üçüncü satırlar, "wp-admin" ve "images" dizinlerinin indekslenmesini devre dışı bırakır.

Yandex arama robotu için, ana site aynasını belirtmek için Ana Bilgisayar dizinini belirtmek de önemlidir:

Kullanıcı aracısı: Yandex İzin Verme: /wp-admin/ İzin Verme: /images/ Sunucu: siteniz.ru

Belirli görevler için robots.txt dosyası yazma örnekleri

1. Herhangi bir arama motorunun robotlarının siteyi indekslemesini yasaklamayın:

Kullanıcı aracısı: googlebot İzin verme: /

4. Yalnızca tek bir robot (örneğin, googlebot) tarafından dizine eklenmesini ve diğer tüm arama robotlarının dizine eklenmesini yasaklamayın:

Kullanıcı aracısı: googlebot İzin verme:

Kullanıcı aracısı: * İzin verme: /admin/ İzin verme: /wp-content/ İzin verme: /images/

Kullanıcı aracısı: * İzin verme: /News/webnews.html İzin verme: /content/page.php

Kullanıcı aracısı: * İzin verme: /page.php İzin verme: /links.htm İzin verme: /secret.html

robots.txt yazmak için temel kurallar

Robots.txt dosyası yazılırken genellikle hatalar yapılır. Bunlardan kaçınmak için temel kurallara bakalım:

1. Dosyanın içeriğini sadece büyük harflerle yazmanız gerekmektedir.
2. Disallow deyiminde yalnızca bir dizin veya bir dosya belirtilmelidir.
3. "User-agent" dizisi boş olmamalıdır. Talimat tüm arama robotları için geçerliyse, bir yıldız işareti belirtmelisiniz ve belirli bir arama robotuna atıfta bulunuyorsa adını belirtmelisiniz.
4. Disallow ve User-agent ifadelerini değiştiremezsiniz.
5. Yandex için kullanılan Host yönergesinde sitemizin adresi HTTP protokolü ve eğik çizgi olmadan belirtilmelidir.
6. Dizinlerin indekslenmesini yasaklarken, eğik çizgi yazmak gerekir.
7. Robots.txt dosyasını sunucuya yüklemeden önce kontrol etmelisiniz. Bu, gelecekte sitenin dizine eklenmesiyle ilgili olası sorunları önleyecektir.

robots.txt arama motoru robotlarının sitenizi internette keşfetmesi için özel talimatlar içeren bir metin dosyasıdır. Bu tür talimatlar denir direktifler- sitenin bazı sayfalarının indekslenmesini yasaklayabilir, alan adının doğru "yansımasını" gösterebilir, vb.

Nubex platformunda çalışan siteler için, yönergeleri olan bir dosya otomatik olarak oluşturulur ve domen.ru/robots.txt adresinde bulunur; burada domen.ru, sitenin..ru/robots.txt alan adıdır.

Site yönetici panelinde robots.txt dosyasını değiştirebilir ve arama motorları için ek yönergeler belirleyebilirsiniz. Bunu yapmak için kontrol panelinde bölümü seçin "Ayarlar", ve içinde - nokta SEO.

Bir alan bul "robots.txt dosyasının metni" ve içine gerekli yönergeleri yazın. "Robots.txt'de otomatik olarak oluşturulan sitemap.xml dosyasına bir bağlantı ekle" onay kutusunun etkinleştirilmesi tavsiye edilir: bu şekilde arama botu site haritasını yükleyebilir ve indeksleme için gerekli tüm sayfaları bulabilir.

Robots txt dosyası için temel yönergeler

robots.txt yüklenirken, tarayıcı önce şununla başlayan bir giriş arar: kullanıcı aracısı: Bu alanın değeri, bu girişte erişim hakları ayarlanan Robotun adı olmalıdır. Onlar. User-agent yönergesi, robota yapılan bir tür çağrıdır.

1. Kullanıcı aracısı alanının değeri " simgesini içeriyorsa * ”, ardından bu girişte belirtilen erişim hakları, /robots.txt dosyasını isteyen tüm arama robotları için geçerlidir.

2. Girişte birden fazla robot adı belirtilirse, erişim hakları belirtilen tüm adlara genişletilir.

3. Büyük harf veya küçük harf karakterleri önemli değil.

4. User-agent: BotName dizesi bulunursa, User-agent: * yönergeleri dikkate alınmaz (farklı robotlar için birden çok giriş yapıyorsanız durum budur). Onlar. robot ilk önce User-agent: MyName girişi için metni tarayacak ve onu bulursa şu talimatları izleyecektir; değilse, User-agent: * girişinin talimatlarına göre hareket edecektir (tüm botlar için).

Bu arada, her yeni User-agent yönergesinden önce boş bir satır beslemesi (Enter) eklenmesi önerilir.

5. User-agent: BotName ve User-agent: * satırları yoksa, robota erişimin sınırlı olmadığı kabul edilir.

Site indeksleme yasağı ve izni: Direktifler İzin Verme ve İzin Ver

Arama botlarının sitenin belirli sayfalarına erişimini engellemek veya izin vermek için yönergeler kullanılır. izin verme Ve izin vermek sırasıyla.

Bu direktiflerin değeri, bölüme giden tam veya kısmi yolu belirtir:

• İzin verme: /admin/- yönetici bölümündeki tüm sayfaların indekslenmesini yasaklar;
• İzin verme: /help— hem /help.html hem de /help/index.html dizinlerinin oluşturulmasını yasaklar;
• İzin verme: /help/ - sadece /help/index.html'yi kapatır;
• izin verme: /- tüm siteye erişimi engeller.

Disallow değeri belirtilmezse erişim kısıtlanmaz:

• İzin verme:- sitenin tüm sayfalarının indekslenmesine izin verilir.

İstisnaları ayarlamak için allow yönergesini kullanabilirsiniz. izin vermek. Örneğin, böyle bir giriş, yolu /search ile başlayanlar hariç, robotların sitenin tüm bölümlerini dizine eklemesini engeller:

İndekslemeye izin verme ve izin verme yönergelerinin hangi sırayla listelendiği önemli değildir. Okurken, robot bunları URL önekinin uzunluğuna göre (küçükten büyüğe) sıralayacak ve sırayla uygulayacaktır. Yani, bot algısında yukarıdaki örnek şöyle görünecektir:

- sadece /search ile başlayan sayfaların indekslenmesine izin verilir. Böylece direktiflerin sırası sonucu hiçbir şekilde etkilemeyecektir.

Host yönergesi: ana site etki alanı nasıl belirlenir

Sitenize birkaç alan adı bağlıysa (teknik adresler, yansımalar vb.), arama motoru bunların hepsinin farklı siteler olduğuna karar verebilir. Hem de aynı içerikle. Çözüm? Banyoya! Ve bir bot, etki alanlarından hangisinin "cezalandırılacağını" bilir - ana veya teknik olan.

Bu sorunu yaşamamak için arama robotuna sitenizin hangi adreslerde aramaya katıldığını söylemeniz gerekir. Bu adres ana adres olarak belirlenecek ve geri kalanı sitenizin bir grup aynasını oluşturacaktır.

Bunu ile yapabilirsiniz ana bilgisayar yönergeleri. Disallow ve Allow direktiflerinden hemen sonra User-Agent ile başlayan girişe eklenmelidir. Host yönergesinin değerinde, ana etki alanını bir bağlantı noktası numarasıyla (varsayılan olarak 80) belirtmelisiniz. Örneğin:

Sunucu: test-o-la-la.ru

Böyle bir giriş, sitenin arama sonuçlarında www.test-o-la-la.ru ve s10364.. yukarıdaki ekran görüntüsü değil, test-o-la-la.ru alan adına bir bağlantı ile görüntüleneceği anlamına gelir.

Nubex yapıcısında, yönetici panelinde hangi etki alanının ana etki alanı olduğunu belirttiğinizde robots.txt dosyasının metnine Host yönergesi otomatik olarak eklenir.

Ana bilgisayar yönergesi, robots.txt dosyasında yalnızca bir kez kullanılabilir. Birkaç kez yazarsanız, robot yalnızca ilk girişi sırayla kabul edecektir.

Tarama gecikmesi yönergesi: sayfa yükleme aralığı nasıl ayarlanır

Robota, bir sayfayı yüklemeyi bitirme ile sonrakini yüklemeye başlama arasındaki minimum aralığı belirtmek için, şunu kullanın: Tarama gecikmesi yönergesi. Disallow ve Allow direktiflerinden hemen sonra User-Agent ile başlayan girişe eklenmelidir. Yönergenin değerinde süreyi saniye cinsinden belirtin.

Sayfaları işlerken bu gecikmeyi kullanmak, aşırı yüklenmiş sunucular için uygun olacaktır.

Tarayıcılar için başka yönergeler de vardır, ancak açıklanan beş yönerge - Kullanıcı Aracısı, İzin Verme, İzin Ver, Barındırma ve Tarama gecikmesi - genellikle robots.txt dosyasının metnini oluşturmaya yeterlidir.

Dosyanın kendisini oluşturma

Robots.txt, arama robotları için talimatlar içeren bir dosyadır. Sitenin kökünde oluşturulur. Herhangi bir metin dosyası oluşturduğunuz gibi, hemen şimdi masaüstünüzde not defteri ile oluşturabilirsiniz.

Bunu yapmak için boş alana sağ tıklayın, Yeni - Metin Belgesi'ni (Word değil) seçin. Normal not defteri ile açılacaktır. Adını robotlar, uzantısı zaten doğru - txt. Hepsi bu, dosyanın kendisini oluşturmak için.

robots.txt nasıl yazılır

Şimdi dosyayı gerekli talimatlarla doldurmaya devam ediyor. Aslında robotlara yönelik komutlar, herhangi bir programlama dilinden çok daha basit olan en basit sözdizimine sahiptir. Genel olarak, dosyayı iki şekilde doldurabilirsiniz:

Başka bir siteden görüntüleyin, projenizin yapısını kopyalayın ve değiştirin.

kendine yaz

İlk yöntem hakkında zaten yazmıştım . Sitelerin aynı motorlara sahip olması ve işlevsellikte önemli bir fark olmaması uygundur. Örneğin, tüm wordpress siteleri aynı yapıya sahiptir, ancak forum, çevrimiçi mağaza ve birçok ek dizin gibi çeşitli uzantılar olabilir. Robots.txt dosyasını nasıl değiştireceğinizi öğrenmek istiyorsanız bu makaleyi okuyun, bir öncekini de okuyabilirsiniz ama bu da çok şey anlatacaktır.

Örneğin, sitenizde, blogda yazdığınız makalelerin kaynaklarının depolandığı bir /source dizininiz var ve başka bir web yöneticisinin böyle bir dizini yok. Ve örneğin, kaynak klasörü indekslemeden kapatmak istiyorsunuz. Robots.txt dosyasını başka bir kaynaktan kopyalarsanız, böyle bir komut orada olmaz. Talimatlarınızı eklemeniz, gereksiz olanları silmeniz vb.

Bu nedenle, her durumda, şimdi analiz edeceğiniz robotlar için talimatların temel sözdizimini bilmek faydalıdır.

Talimatlarınızı robotlara nasıl yazarsınız?

Dosyanın başladığı ilk şey, talimatların hangi arama motorlarına yönlendirildiğinin bir göstergesidir. Bu şu şekilde yapılır:

Kullanıcı aracısı: Yandex Veya Kullanıcı aracısı: Googlebot

Kullanıcı aracısı: Yandex Kullanıcı aracısı: Googlebot

Satırın sonuna noktalı virgül koymanıza gerek yok, bu sizin için programlama değil). Genel olarak, burada, ilk durumda, yalnızca Yandex botunun talimatları okuyacağı, ikinci durumda ise yalnızca Google'ın okuyacağı açıktır. Komutların tüm robotlar tarafından yürütülmesi gerekiyorsa, şöyle yazın: User-agent:

İyi. Robotlara yapılan itirazı ele aldık. Bu zor değil. Bunu basit bir örnekle görselleştirebilirsiniz. Üç küçük erkek kardeşin var, Vasya, Dima ve Petya ve asıl olan sensin. Ebeveynler gitti ve onlara göz kulak olmanı söyledi.

Üçü de senden bir şey istiyor. Robotları aramak için talimatlar yazıyormuş gibi onlara bir cevap vermeniz gerektiğini düşünün. Bunun gibi bir şey görünecek:

Kullanıcı-aracı: Vasya İzin ver: futbol maçına git Kullanıcı-aracı: Dima İzin verme: futbol maçına git (Dima geçen sefer komşularının camını kırdı, cezalandırıldı) Kullanıcı-aracı: Petya İzin ver: sinemaya git (Petya zaten 16 yaşında ve genel olarak içeride, senden de izin almam gerektiğine şaşırıyorum, ama neyse, bırak gitsin).

Böylece, Vasya spor ayakkabılarını mutlu bir şekilde bağlar, Dima, başı aşağıda, bugün zaten kaç gol atacağını düşünen kardeşine pencereden bakar (Dima, izin vermeme komutunu aldı, yani bir yasak). Petya sinemasına gidiyor.

Bu örnekten, İzin Ver'in bir izin olduğunu ve İzin Verme'nin bir yasak olduğunu anlamak kolaydır. Ama robots.txt'de insanlara değil robotlara komut veriyoruz yani belirli durumlar yerine indexlenmesine izin verilmesi veya yasaklanması gereken sayfa ve dizinlerin adresleri orada yazıyor.

Örneğin, bir site.ru web sitem var. Wordpress tarafından desteklenmektedir. Talimatları yazmaya başlıyorum:

Kullanıcı aracısı: * İzin Verme: /wp-admin/ İzin Verme: /wp-content/ İzin Verme: /wp-includes/ İzin Ver: /wp-content/uploads/ İzin Verme: /source/ Etc.

Kullanıcı aracısı : * İzin verme: /wp-admin/ İzin verme: /wp-content/ İzin verme: /wp-içerir/ İzin verme : /source/ Nuit. D.

İlk önce tüm robotlara değindim. İkincisi, motorun klasörlerini endekslemeyi yasakladım, ancak aynı zamanda robot için indirilenler klasörüne erişim açtım. Tüm resimler genellikle orada depolanır ve görsel aramadan trafik almayı planlıyorsanız, genellikle indekslemeye kapatılmazlar.

Eh, hatırla, daha önce makalede ek dizinlere sahip olabileceğinizi söylemiştim? Bunları çeşitli amaçlar için kendiniz oluşturabilirsiniz. Örneğin, sitelerimden birinde, daha sonra sitede başlatmak için flash oyunları attığım bir flash klasörü var. Veya kaynak - bu klasör, kullanıcıların indirebileceği dosyaları depolayabilir.

Genel olarak, klasörün adının ne olduğu önemli değildir. Kapatılması gerekiyorsa, yolunu ve İzin Verme komutunu belirtin.

İzin ver komutu, yalnızca zaten kapalı bölümlerde bulunan bazı bölümleri açmak için gereklidir. Gerçekten de, varsayılan olarak, bir robots.txt dosyanız yoksa, sitenin tamamı dizine eklenebilir. Bu hem iyi (kesinlikle önemli bir şeyi yanlışlıkla kapatmayacaksınız) hem de kötü (çıktıda olmaması gereken dosya ve klasörler açılacak).

Bu noktayı daha iyi anlamak için şu parçaya tekrar bakmanızı öneririm:

İzin verme: /wp-content/ İzin ver: /wp-content/uploads/

İzin verme: /wp-content/ İzin ver: /wp-content/uploads/

Gördüğünüz gibi, önce tüm wp-içerik dizininin indekslenmesini devre dışı bırakıyoruz. Tüm şablonlarınızı, eklentilerinizi saklar, ancak orada resimler de vardır. Açıkçası, açılabilirler. Bunun için İzin Ver komutuna ihtiyacımız var.

Ekstra seçenekler

Listelenen komutlar, dosyada belirtilebilecek tek şey değildir. Bunlar da vardır: Ana Bilgisayar - sitenin ana aynasını gösterir. Bilmeyenler için, herhangi bir web sitesinin alan adının varsayılan iki yazılışı vardır: domain.com ve www.domain.com.

Sorunlardan kaçınmak için ana ayna olarak bir seçenek belirtmelisiniz. Bu, hem web yöneticisi araçlarında hem de Robots.txt dosyasında yapılabilir. Bunu yapmak için şunu yazın: Host: domain.com

Ne veriyor? Birisi sitenize şu şekilde girmeye çalışırsa: www.domain.com - ana ayna olarak tanınacağı için otomatik olarak www olmadan seçeneğe aktarılacaktır.

İkinci yönerge site haritasıdır. Sanırım site haritasının yolunu xml formatında belirlediğini anlamışsınızdır. Örnek: http://domain.com/sitemap.xml

Yine haritayı Yandex.Webmaster'a da yükleyebilirsiniz, robots.txt'de de belirtebilirsiniz, böylece robot bu satırı okur ve site haritasının nerede aranacağını net bir şekilde anlar. Robot için site haritası, futbola gideceği top olan Vasya için olduğu kadar önemlidir. Sanki sana (bir ağabey olarak) topun nerede olduğunu soruyor. Ve sen ona:

kanepenin arkasına bak

Artık Yandex ve genel olarak diğer arama motorları için robots.txt dosyasını ihtiyaçlarınıza göre nasıl düzgün bir şekilde kuracağınızı ve değiştireceğinizi biliyorsunuz.

Dosya ayarı ne işe yarar?

Bunu daha önce de söylemiştim ama yine söyleyeceğim. İyi yapılandırılmış robotlar için komutlar içeren bir dosya sayesinde, robotun gereksiz bir bölüme girmeyeceğini ve gereksiz sayfaları dizine almayacağını bilerek huzur içinde uyuyabilirsiniz.

Ayrıca robots.txt dosyasının ayarlanmasının her şeyi düzeltmediğini de söyledim. Özellikle motorların mükemmel olmamasından dolayı oluşan tekrarlardan sizi kurtarmaz. Tıpkı insanlar gibi. Daha sonra Vasya'nın futbola gitmesine izin verdiniz, ancak orada Dima ile aynı şeyi yapmayacağı bir gerçek değil. Kopyalarda bu böyledir: Bir komut verebilirsiniz, ancak kesinlikle gereksiz bir şeyin dizine girip pozisyonları bozmayacağından emin olamazsınız.

Çiftlerin de ateş gibi korkmasına gerek yoktur. Örneğin, aynı Yandex aşağı yukarı normal olarak ciddi teknik sıkıntıları olan sitelere atıfta bulunur. Başka bir şey de, bir işe başlarsanız, kendinize ciddi bir trafik yüzdesi kaybedebilirsiniz. Ancak yakında SEO ile ilgili bölümümüzde yinelemeler hakkında bir makale olacak, sonra onlarla savaşacağız.

Kendim hiçbir şey anlamıyorsam, normal bir robots.txt dosyasını nasıl edinebilirim?

Ne de olsa robots.txt oluşturmak bir web sitesi oluşturmak değildir. Her nasılsa daha basit, böylece dosyanın içeriğini az çok başarılı herhangi bir blogger'dan kolayca kopyalayabilirsiniz. Tabii ki, bir WordPress siteniz varsa. Farklı bir motordaysa, aynı cms'deki siteleri aramanız gerekir. Başkasının sitesindeki bir dosyanın içeriği nasıl görüntülenir, zaten söyledim: Domain.com/robots.txt

Sonuç

Burada söylenecek fazla bir şey olduğunu düşünmüyorum çünkü robotlar için talimat yazmayı yıl için hedefiniz haline getirmemelisiniz. Bu, yeni başlayan birinin bile 30-60 dakika içinde tamamlayabileceği ve bir profesyonelin sadece birkaç dakika içinde yapabileceği bir görevdir. Her şey senin için işe yarayacak ve bundan emin olabilirsin.

Blog tanıtımı ve tanıtımı için diğer yararlı ve önemli özellikleri öğrenmek için benzersiz olanı görebilirsiniz. Oradan tavsiyelerin %50-100'ünü uygularsanız, gelecekte herhangi bir siteyi başarılı bir şekilde tanıtabilirsiniz.

Merhaba arkadaşlar! Makale, bulunduğu site için doğru robots txt'sinin ne olduğunu, bir robots dosyasının nasıl oluşturulacağını, bir robots dosyasını başka bir siteden nasıl uyarlayacağınızı, blogunuza nasıl yükleyeceğinizi gösterir.

dosya nedirrobotlar Txt,neden gerekli ve neden sorumlu

robots txt dosyası, arama robotları için talimatları içeren bir metin dosyasıdır. Blogunuzun sayfalarına erişmeden önce robot ilk olarak robots dosyasını arar, bu yüzden bu kadar önemlidir. Robots txt dosyası, belirli sayfaların robot tarafından dizine eklenmesini engelleyen bir standarttır. Robots txt dosyası, gizli verilerinizin düzenlemeye dahil edilip edilmeyeceğini belirleyecektir. Siteniz ve arama robotları arasındaki etkileşimde önemli bir araç olduğu için site için doğru robots txt'si tanıtımına yardımcı olacaktır.

Robots txt dosyasının en önemli SEO aracı olarak adlandırılmasına şaşmamalı, bu küçük dosya site sayfalarının ve bir bütün olarak sitenin indekslenmesini doğrudan etkiler. Tersine, yanlış bir robots txt, belirli sayfaları, bölümleri veya siteyi bir bütün olarak arama sonuçlarından hariç tutabilir. Bu durumda, blogda 1000 makaleniz olabilir ve siteye ziyaretçi olmayacak, tamamen rastgele yoldan geçenler olacaktır.

Yandex web yöneticisinde, Yandex'in robots txt dosyasını kimseye göstermek istemediğiniz bir kutu kişisel eşyalarınızla karşılaştırdığı bir eğitim videosu var. Yabancıların bu kutuya bakmasını önlemek için bantla kapatın ve üzerine "Açmayın" yazın.

Robotlar eğitimli bireyler olarak bu kutuyu açmazlar ve içindekileri başkalarına söyleyemezler. Robots txt dosyası yoksa, arama motoru robotu tüm dosyaların mevcut olduğunu düşünür, kutuyu açar, her şeye bakar ve diğerlerine kutuda ne olduğunu söyler. Robotun bu kutuya tırmanmasını önlemek için, oraya tırmanmasını yasaklamak gerekir, bu, İngilizce - yasakla ve İzin ver - izin ver anlamına gelen İzin Verme yönergesi kullanılarak yapılır.

Bu, normal bir not defteri veya NotePad ++ programında derlenen normal bir txt dosyasıdır, robotların sitedeki belirli sayfaları dizine eklememesini isteyen bir dosyadır. Bu ne için:

• düzgün derlenmiş bir robots txt dosyası, robotların herhangi bir çöpü indekslemesine ve arama sonuçlarını gereksiz materyallerle tıkamamasına ve ayrıca çok zararlı bir olgu olan mükerrer sayfalar oluşturmamasına izin vermez;
• robotların resmi kullanım için gerekli olan bilgileri endekslemesine izin vermez;
• casus botların hassas verileri çalmasını ve spam göndermek için kullanmasını engeller.

Bu, arama motorlarından bir şey gizlemek istediğimiz anlamına gelmez, gizli bir şey, sadece bu bilgilerin ne arama motorları ne de ziyaretçiler için hiçbir değeri yoktur. Örneğin, giriş sayfası, RSS beslemeleri vb. Ayrıca, robots txt dosyası bir site aynasının yanı sıra bir site haritası da belirtir. Varsayılan olarak, bir WordPress sitesinde robots txt dosyası yoktur. Bu nedenle, bir robots txt dosyası oluşturmanız ve blogunuzun kök klasörüne yüklemeniz gerekir, bu yazıda WordPress için robots txt'ye, oluşturulmasına, ayarlanmasına ve siteye yüklenmesine bakacağız. Yani önce robots txt dosyasının nerede olduğunu bileceğiz?

Nerederobotlar Txtonu nasıl görebilirim?

Sanırım yeni başlayanların çoğu kendilerine şu soruyu soruyor: robots txt nerede? Dosya sitenin kök klasöründe, public_html klasöründe bulunur, oldukça basit bir şekilde görülebilir. Hostinge gidebilir, sitenizin klasörünü açıp bu dosyanın orada olup olmadığına bakabilirsiniz. Aşağıdaki video nasıl yapılacağını gösterir. Dosyayı Yandex web yöneticisi ve Google web yöneticisi kullanarak da görüntüleyebilirsiniz, ancak bunun hakkında daha sonra konuşacağız.

Sadece robots txt'nizi değil, herhangi bir sitenin robotlarını da görüntülemenize izin veren daha basit bir seçenek var.Robotları bilgisayarınıza indirebilir ve ardından kendinize uyarlayabilir ve web sitenizde (blog) kullanabilirsiniz. Bu şu şekilde yapılır - ihtiyacınız olan siteyi (blog) açarsınız ve robots.txt dosyasını bir eğik çizgi ile eklersiniz (ekran görüntüsüne bakın)

ve Enter'a basın, robots txt dosyası açılır. Bu durumda robots txt'nin nerede olduğunu göremezsiniz, ancak görüntüleyebilir ve indirebilirsiniz.

Doğru olanı nasıl oluşturulurrobotlar Txt site için

Site için çeşitli şekillerde robots txt oluşturabilirsiniz:

• hızlı bir şekilde robots txt dosyası oluşturacak çevrimiçi oluşturucuları kullanın, bunu yapabilen birçok site ve hizmet vardır;
• bu sorunu çözmeye yardımcı olacak WordPress eklentilerini kullanın;
• normal bir not defteri veya NotePad ++ programında manuel olarak bir robots txt dosyasını kendi ellerinizle derleyin;
• Başka birinin sitesindeki (blog) hazır, doğru robots txt'sini, sitenizin içindeki adresi değiştirerek kullanın.

jeneratörler

Yani, daha önce robots txt dosyaları oluşturmak için jeneratör kullanmadım, ancak bu makaleyi yazmadan önce, robots txt dosyaları oluşturmak için 4 hizmeti test etmeye karar verdim, kesin sonuçlar aldım, onlardan daha sonra bahsedeceğim. Bunlar hizmetler:

• SEOlib ;
• hizmet PR-CY ;
• hizmet Raskruty.ru;
• seo kafeye bu bağlantıdan gidebilirsiniz - info.seocafe.info/tools/robotsgenerator.

Robots txt oluşturucunun pratikte nasıl kullanılacağı aşağıdaki videoda detaylı olarak gösterilmiştir. Test sırasında yeni başlayanlar için uygun olmadığı sonucuna vardım ve işte neden? Oluşturucu yalnızca dosyanın kendisinde hatasız doğru girişi yapmanıza izin verir, ancak doğru robots txt'sini derlemek için yine de bilgi sahibi olmanız gerekir, hangi klasörleri kapatacağınızı, hangilerini kapatacağınızı bilmeniz gerekir. Bu nedenle, yeni başlayanlar için bir dosya oluşturmak için robots txt oluşturucuyu kullanmaları önerilmez.

Eklentileriçin WordPress

Dosya oluşturmak için PC Robots.txt gibi eklentiler var. Bu eklenti, dosyayı doğrudan sitenin kontrol panelinde düzenlemenizi sağlar. Başka bir iRobots.txt SEO eklentisi, benzer işlevselliğe sahip bu eklentidir. Robots txt dosyasıyla çalışmanıza izin veren bir sürü farklı eklenti bulabilirsiniz. Dilerseniz "Eklentiler ara" alanında robotlar ifadesini ayarlayabilirsiniz. Robots.txt dosyasını açın ve "Ara" düğmesini tıklayın, sizden birkaç eklenti istenecektir. Tabii ki, her birini okumanız, incelemelere bakmanız gerekiyor.

WordPress için robots txt eklentilerinin çalışma prensibi, jeneratörlerin çalışma şekline çok benzer. Bir site için doğru robots txt'sini elde etmek için bilgi ve deneyime ihtiyacınız var, ancak yeni başlayanlar bunu nereden alabilir? Bence, bu tür hizmetler yarardan çok zarar verebilir. Ve bir eklenti kurarsanız, barındırmayı da yükleyecektir. Bu nedenle WordPress robots txt eklentisini kurmanızı önermiyorum.

Yaratmakrobotlar Txtmanuel olarak

Normal bir not defteri veya NotePad ++ programı kullanarak manuel olarak robots txt oluşturabilirsiniz, ancak bu bilgi ve deneyim gerektirir. Yeni başlayanlar için bu seçenek de uygun değildir. Ama zamanla, deneyim ortaya çıktığında bunu yapmak mümkün olacak ve site için bir robots txt dosyası oluşturabilir, Disallow robots yönergelerini yazabilir, gerekli klasörleri indekslemeden kapatabilir, robotları kontrol edebilir ve sadece 10 dakika içinde ayarlayabilirsiniz. Aşağıdaki ekran görüntüsü, bir not defterinde robots txt'sini göstermektedir:

Burada bir robots txt dosyası oluşturma prosedürünü dikkate almayacağız, bu birçok kaynakta, örneğin Yandex web yöneticisinde ayrıntılı olarak açıklanmaktadır. Bir robots txt dosyasını derlemeden önce, her yönergenin ayrıntılı olarak açıklandığı, nelerden sorumlu olduğu ve bu bilgilere dayanarak bir dosya oluşturduğu Yandex Webmaster'a gitmeniz gerekir. (ekran görüntüsüne bakın).

Bu arada, yeni Yandex web yöneticisi ayrıntılı ve ayrıntılı bilgiler sunuyor, blogda bununla ilgili bir makale bulunabilir. Daha doğrusu, sadece yeni başlayanlara değil, blogculara da büyük fayda sağlayacak iki makale sunuluyor, okumanızı tavsiye ediyorum.

Acemi değilseniz ve robots txt'ini kendiniz yapmak istiyorsanız, bir dizi kurala uymanız gerekir:

1. Robots txt dosyasında ulusal karakterlerin kullanılmasına izin verilmez.
2. Robots dosyasının boyutu 32 KB'ı geçmemelidir.
3. Robots dosyasının adı Robots veya ROBOTS gibi yazılamaz, dosya tam olarak makalede gösterildiği gibi imzalanmalıdır.
4. Her yönerge yeni bir satırda başlamalıdır.
5. Bir satırda birden fazla yönerge belirtemezsiniz.
6. Boş bir dizeye sahip "Disallow" yönergesi, "Allow" yönergesine eşdeğerdir - izin ver, bunun hatırlanması gerekir.
7. Satır başında boşluk bırakamazsınız.
8. Çeşitli "User-agent" yönergeleri arasında boşluk bırakmazsanız, robotlar yalnızca üst yönergeyi algılar - gerisi yoksayılır.
9. Yönerge parametresinin kendisinin yalnızca bir satırda yazılması gerekir.
10. Yönerge parametrelerini tırnak içine alamazsınız.
11. Yönergeden sonra satırı noktalı virgülle kapatamazsınız.
12. Robots dosyası bulunamazsa veya boşsa, robotlar bunu "Her şeye izin verilir" olarak algılar.
13. Yönerge satırında (ne tür bir satırın olduğunu netleştirmek için) yorum yapabilirsiniz, ancak yalnızca sayı işareti # 'den sonra.
14. Satırlar arasında boşluk bırakırsanız, bu User-agent yönergesinin sonu anlamına gelir.
15. "Disallow" ve "Allow" yönergelerinde yalnızca bir parametre belirtilmelidir.
16. Dizin olan direktifler için bir eğik çizgi konur, örneğin - Disallow / wp-admin.
17. "Tarama gecikmesi" bölümünde, robotlara sunucudan belge indirme arasındaki zaman aralığını, genellikle 4-5 saniyeyi önermeniz gerekir.
18. Önemli - direktifler arasında boş satırlar olmamalıdır. Yeni yönerge bir boşlukla başlar. Bu, tarayıcı için kuralların sonu anlamına gelir, ekteki video bunu ayrıntılı olarak gösterir. Yıldız işaretleri, herhangi bir karakter dizisi anlamına gelir.
19. Yandex robotu için tüm kuralları ayrı ayrı tekrarlamanızı, yani diğer robotlar için yazılmış tüm yönergeleri Yandex için ayrı ayrı tekrarlamanızı tavsiye ederim. Yandex robotunun bilgilerinin sonunda, ana bilgisayar yönergesini (Ana Bilgisayar - yalnızca Yandex tarafından desteklenir) yazmanız ve blogunuzu belirtmeniz gerekir. Sunucu, Yandex'e sitenizin hangi aynasının www ile veya www olmadan ana ayna olduğunu söyler.
20. Ayrıca robots txt dosyasının ayrı bir dizininde yani bir boşlukla ayrılmış olarak site haritanızın adresini belirtmeniz önerilir. Dosyanın oluşturulması birkaç dakika içinde yapılabilir ve "User-agent:" ifadesi ile başlar. Örneğin, indekslemedeki resimleri kapatmak istiyorsanız, Disallow: /images/ olarak ayarlamanız gerekir.

doğru kullanrobotlar Txt başka birinin sitesinden

İdeal dosya mevcut değil, zaman zaman denemeniz ve arama motorlarının çalışmalarındaki değişiklikleri dikkate almanız, sonunda blogunuzda görünebilecek hataları dikkate almanız gerekiyor. Bu nedenle başlangıç ​​olarak başka birinin doğrulanmış robots txt dosyasını alıp kendinize kurabilirsiniz.

Ana bilgisayar dizinindeki blogunuzun adresini yansıtan girişleri değiştirdiğinizden emin olun (ekran görüntüsüne bakın, ayrıca videoya bakın) ve ayrıca site haritası adresindeki (iki alt satır) site adresinizle değiştirin. Zamanla, bu dosyanın biraz düzeltilmesi gerekiyor. Örneğin, yinelenen sayfalara sahip olduğunuzu fark ettiniz.

Yukarıdaki "Robots txt nerede, nasıl görülür" bölümünde robots txt nasıl görüntülenir ve indirilir konusuna baktık. Bu nedenle, yüksek Titz oranlarına, yüksek trafiğe sahip, doğru robots txt'sini açıp indiren iyi bir güven sitesi seçmelisiniz. Birkaç siteyi karşılaştırmanız, istediğiniz robots txt dosyasını kendiniz seçmeniz ve sitenize yüklemeniz gerekiyor.

Siteye dosya nasıl yüklenirrobotlar Txt sitenin kök klasörüne

Daha önce de belirtildiği gibi, WordPress'te bir site oluşturduktan sonra, varsayılan olarak robots txt dosyası eksik. Bu nedenle, barındırma için web sitemizin (blog) kök klasörüne oluşturulmalı ve yüklenmelidir. Dosya yüklemek oldukça kolaydır. TimeWeb barındırmada, diğer barındırmalarda, üzerinden veya aracılığıyla yükleyebilirsiniz. Aşağıdaki video, bir robots txt dosyasını TimeWeb barındırma hizmetine yükleme işlemini göstermektedir.

robots txt dosyasını kontrol etme

Robots txt dosyasını indirdikten sonra varlığını ve çalışmasını kontrol etmeniz gerekir. Bunu yapmak için, yukarıda "Robots txt nerede, nasıl görülür" bölümünde gösterildiği gibi dosyayı tarayıcıdan görüntüleyebiliriz. Ayrıca, Yandex web yöneticisi ve Google web yöneticisi kullanarak dosyanın çalışmasını kontrol edebilirsiniz. Bunun için olması gerektiğini unutmayın ve içinde .

Yandex'de check-in yapmak için Yandex web yöneticisi hesabımıza gidin, birkaç siteniz varsa bir site seçin. "Dizin oluşturma ayarları", "Robots.txt analizi" öğesini seçin ve ardından talimatları izleyin.

Google webmaster'da da aynısını yapıyoruz, hesabımıza gidiyoruz, istediğiniz siteyi seçin (birkaç tane varsa), "Tara" düğmesini tıklayın ve "Robots.txt Dosya Kontrol Aracı"nı seçin. Bir robots txt dosyası açılacak, düzeltebilir veya kontrol edebilirsiniz.

Aynı sayfada robots txt dosyasıyla çalışmak için mükemmel talimatlar var, bunları okuyabilirsiniz. Sonuç olarak, robots txt dosyasının ne olduğunu, nasıl bulunacağını, nasıl görüntüleneceğini ve indirileceğini, bir dosya oluşturucu ile nasıl çalışılacağını, robots txt dosyasının nasıl oluşturulacağını ve kendinize nasıl uyarlanacağını gösteren bir video veriyorum, diğer bilgiler gösteriliyor. :

Çözüm

O yüzden bu yazımızda robots txt dosyası nedir sorusunu inceledik, bu dosyanın site için çok önemli olduğunu öğrendik. Doğru robots txt yapmayı, başkasının sitesinden robots txt dosyasını kendi sitenize nasıl uyarlayacağınızı, blogunuza nasıl yükleyeceğinizi, nasıl kontrol edeceğinizi öğrendik.

Makaleden, yeni başlayanlar için ilk başta hazır ve doğru bir robots txt kullanmanın daha iyi olduğu anlaşıldı, ancak Host dizinindeki etki alanını kendinizle değiştirmeyi ve ayrıca adresi de yazmayı unutmamalısınız. site haritalarında blogunuzun Robots txt dosyamı buradan indirebilirsiniz. Şimdi, düzelttikten sonra dosyayı blogunuzda kullanabilirsiniz.

Ayrıca robots txt dosyası için bir site var, ona giderek daha detaylı bilgi edinebilirsiniz. Umarım her şey yolunda gider ve blog iyi bir şekilde indekslenir. Sana iyi şanslar!

Saygılarımla, Ivan Kunpan.

not Doğru blog tanıtımı için, blogdaki makaleleri optimize etme hakkında doğru bir şekilde yazmanız gerekir, o zaman yüksek trafik ve derecelendirmeye sahip olacaktır. Üç yıllık tecrübemin yatırıldığı bilgi ürünlerim bu konuda size yardımcı olacaktır. Aşağıdaki ürünleri alabilirsiniz:

• ücretli kitap;
• istihbarat haritası;
• ücretli video kursu "".

Yeni blog makalelerini doğrudan gelen kutunuza alın. Formu doldurun, "Abone Ol" düğmesini tıklayın