Arama motoru robotları hangi işi yapar? Google tarayıcısı: ne yapar? Arama robotu türleri

Arama motoru robotları nasıl çalışır?

Bir arama robotu (örümcek, bot), bir operatörün katılımı olmadan milyonlarca web sitesini ziyaret edebilen ve gigabaytlarca metni tarayabilen küçük bir programdır. Sayfaları okumak ve metin kopyalarını kaydetmek, yeni belgelerin indekslenmesinin ilk aşamasıdır. Unutulmamalıdır ki, arama motoru robotları, alınan verilerin herhangi bir işlemesini gerçekleştirmemektedir. Görevleri yalnızca metinsel bilgileri depolamaktır.

Kanalımızda daha fazla video - SEMANTICA ile internet pazarlamasını öğrenin

Arama robotlarının listesi

Runet'i taramaya dahil olan tüm arama motorlarından Yandex, en büyük bot koleksiyonuna sahiptir. Aşağıdaki botlar indekslemeden sorumludur:

• web sayfalarından veri toplayan ana indeksleme robotu;
• aynaları tanıyabilen bir bot;
• Görüntüleri indeksleyen Yandex arama robotu;
• YAN'da kabul edilen sitelerin sayfalarını gezen bir örümcek;
• robot tarama favicon simgeleri;
• site sayfalarının kullanılabilirliğini belirleyen birkaç örümcek.

Google'ın ana arama robotu metinsel bilgileri toplar. Temel olarak html dosyalarına bakar, düzenli aralıklarla JS ve CSS'yi analiz eder. İndeksleme için izin verilen tüm içerik türlerini kabul edebilir. PS Google, resimlerin dizine eklenmesini kontrol eden bir örümceğe sahiptir. Ayrıca bir arama robotu da var - aramanın mobil versiyonunun işleyişini destekleyen bir program.

Siteyi bir arama robotunun gözünden görün

Kod hatalarını ve diğer eksiklikleri düzeltmek için web yöneticisi, arama robotunun siteyi nasıl gördüğünü öğrenebilir. Bu seçenek Google PS tarafından sağlanmaktadır. Web yöneticisi araçlarına gitmeniz ve ardından "tara" sekmesine tıklamanız gerekecek. Açılan pencerede "Googlebot olarak tara" satırını seçin. Ardından, incelenen sayfanın adresini arama formuna girmeniz gerekir (alan adını ve http:// protokolünü belirtmeden).

"Al ve göster" komutunu seçerek, web yöneticisi site sayfasının durumunu görsel olarak değerlendirebilecektir. Bunu yapmak için, "görüntüleme isteği" onay kutusunu tıklamanız gerekir. Web belgesinin iki versiyonunu içeren bir pencere açılacaktır. Web yöneticisi, normal bir ziyaretçinin sayfayı nasıl gördüğünü ve arama örümceği için hangi biçimde mevcut olduğunu öğrenir.

İpucu!Analiz edilen web belgesi henüz dizine eklenmemişse, "dizine ekle" >> "yalnızca bu URL'yi tara" komutunu kullanabilirsiniz. Örümcek birkaç dakika içinde belgeyi analiz edecek, yakın gelecekte web sayfası arama sonuçlarında görünecek. Aylık indeksleme talebi limiti 500 belgedir.

İndeksleme hızı nasıl etkilenir?

Arama robotlarının nasıl çalıştığını öğrenen web yöneticisi, sitesini çok daha verimli bir şekilde tanıtabilecektir. Birçok genç web projesinin temel sorunlarından biri zayıf indekslemedir. Arama motoru robotları, yetkili olmayan İnternet kaynaklarını ziyaret etmeye isteksizdir.
İndeksleme hızının doğrudan sitenin güncellenme yoğunluğuna bağlı olduğu tespit edilmiştir. Düzenli olarak benzersiz metin malzemeleri eklemek, arama motorunun dikkatini çekecektir.

İndekslemeyi hızlandırmak için sosyal yer imlerini ve twitter hizmetini kullanabilirsiniz. Bir Site Haritası oluşturmanız ve bunu web projesinin kök dizinine yüklemeniz önerilir.

Arama motoru örümcekleri, görevi web indeksleme sağlamak için World Wide Web'deki sayfaları sistematik olarak taramak olan İnternet botlarıdır. Geleneksel olarak, WWW alanının taranması, kullanıcılara belirli bir kaynağın içeriği hakkında güncel veriler sağlamak için ağda yayınlanan içerik hakkındaki bilgileri güncellemek için gerçekleştirilir. Bu yazıda arama robotlarının türleri ve özellikleri ele alınacaktır.

Arama örümcekleri farklı şekilde de adlandırılabilir: robotlar, web örümcekleri, tarayıcılar. Ancak, adı ne olursa olsun, hepsi sanal alanın içeriğini sürekli ve sürekli olarak incelemekle meşguller. Robot, belgelerin düzenli olarak indirildiği URL'lerin bir listesini tutar. Örümcek, indeksleme işlemi sırasında yeni bir bağlantı bulursa, bu listeye eklenir.

Böylece, bir tarayıcının eylemleri, bir tarayıcının arkasındaki sıradan bir insanla karşılaştırılabilir. Tek fark, yalnızca bizim için ilginç olan bağlantıları ve robotu - hakkında bilgi sahibi olduğu her şeyi açmamızdır. Ek olarak, indekslenen sayfanın içeriğini okuyan robot, bununla ilgili verileri özel bir formda, kullanıcı talep edene kadar depolama için arama motoru sunucularına iletir.

Aynı zamanda, her robot kendi özel görevini yerine getirir: bazıları metin içeriğini indeksler, bazıları grafikleri indeksler ve diğerleri içeriği arşive kaydeder, vb.

Arama motorlarının ana görevi- Arama devleri bile kapsamlı bir tarama işlemi sağlama yeteneğine sahip olmadığından, hakkında hızlı ve eksiksiz bilgi almanızı sağlayacak bir algoritmanın oluşturulması. Bu nedenle, her şirket robotlara benzersiz matematiksel formüller sunar ve botun bir sonraki adımda ziyaret etmek için bir sayfa seçmesine uyar. Bu, sıralama algoritmalarıyla birleştiğinde, kullanıcıların bir arama motoru seçerken en önemli kriterlerden biridir: siteler hakkındaki bilgilerin daha eksiksiz, taze ve kullanışlı olduğu yer.

Bir arama motoru robotu, bağlantı yoksa siteniz hakkında bilgi sahibi olmayabilir (bu belki de nadirdir - bugün, bir alan adı kaydettikten sonra ağda bahseder). Bağlantı yoksa, arama motoruna bunu söylemeniz gerekir. Bunun için kural olarak web yöneticilerinin "kişisel hesapları" kullanılır.

Arama robotlarının ana görevi nedir?

İstediğimiz kadar, ancak arama robotunun asıl görevi, dünyaya sitemizin varlığından bahsetmek değil. Bunu formüle etmek zordur, ancak yine de arama motorlarının yalnızca müşterileri, yani kullanıcılar sayesinde çalıştığı gerçeğine dayanarak, robot, ağda yayınlanan verilerin hızlı bir şekilde aranmasını ve indekslenmesini sağlamalıdır.. Yalnızca bu, PS'nin hedef kitlenin alakalı ve alakalı arama sonuçları ihtiyacını karşılamasını sağlar.

Elbette robotlar web sitelerinin %100'ünü indeksleyemez. Araştırmaya göre, arama liderleri tarafından yüklenen sayfa sayısı, İnternet'e yerleştirilen toplam URL sayısının %70'ini geçmiyor. Bununla birlikte, kaynağınızın bot tarafından ne ölçüde incelendiği, aramadan sorguları tıklayan kullanıcı sayısını da etkiler. Bu nedenle, optimize ediciler, robotu değişikliklerle mümkün olduğunca çabuk tanıştırmak için "beslemeye" çalışmakta zorlanıyor.

Runet'te Yandex, yalnızca 2016'da aylık izleyici kapsamı açısından Google'a yenilerek ikinci sıraya yükseldi. Bu nedenle, yerli PS'ler arasında en fazla uzay keşfeden örümceğe sahip olması şaşırtıcı değil. Hepsini listelemek anlamsız: Bunu "Web Yöneticisi Yardımı" bölümünde görebilirsiniz > Bir arama robotunu yönetme > Robotun Yandex'e ait olup olmadığı nasıl kontrol edilir.

Tüm arama motoru tarayıcılarının sıkı bir şekilde düzenlenmiş bir kullanıcı aracısı vardır. Bir site oluşturucunun kesinlikle karşılaması gerekenler arasında:

• Mozilla/5.0 (uyumlu; YandexBot/3.0; +http://yandex.com/bots) - ana indeksleme botu;
• Mozilla/5.0 (iPhone; Mac OS X gibi CPU iPhone OS 8_1) AppleWebKit/600.1.4 (KHTML, Gecko gibi) Sürüm/8.0 Mobile/12B411 Safari/600.1.4 (uyumlu; YandexBot/3.0; +http://yandex) .com/bots) - indeksleme örümceği;
• Mozilla/5.0 (uyumlu; YandexImages/3.0; +http://yandex.com/bots) - Yandex.Images botu;
• Mozilla/5.0 (uyumlu; YandexMedia/3.0; +http://yandex.com/bots) - multimedya materyallerini indeksler;
• Mozilla/5.0 (uyumlu; YandexFavicons/1.0; +http://yandex.com/bots) - site simgelerini indeksler.

Yandex örümceklerini sitenize çekmek için birkaç basit adımı izlemeniz önerilir:

• robots.txt dosyasını doğru şekilde yapılandırın;
• bir RSS beslemesi oluşturun;
• dizine eklenmiş sayfaların tam listesini içeren bir site haritası yerleştirin;
• tüm kaynak belgelerine bağlantılar içeren bir sayfa (veya sayfalar) oluşturun;
• HTTP durumlarını yapılandırın;
• materyallerin yayınlanmasından sonra sosyal aktivite sağlamak (ve sadece yorum değil, aynı zamanda belgeyi paylaşmak);
• yeni benzersiz metinlerin yoğun yerleşimi.

Son argüman, botların içerik güncelleme oranını hatırlama ve tespit edilen yeni materyal ekleme sıklığı ile siteye gelme yeteneği ile desteklenir.

Yandex tarayıcılarının sayfalara (örneğin teknik bölümler) erişmesini engellemek istiyorsanız, robots.txt dosyasını yapılandırmanız gerekir. PS örümcekleri, bot hariç tutma standardını anlayabilir, bu nedenle genellikle bir dosya oluştururken zorluk olmaz.

Kullanıcı aracısı: Yandex

izin verme: /

PS'nin tüm siteyi indekslemesini engeller.

Ek olarak, Yandex robotları meta etiketlerde belirtilen önerileri dikkate alabilir. Örnek vermek: arşivden belgenin bir kopyasına bir bağlantı verilmesinde gösteriyi yasaklayacaktır. Ve etiketin sayfa koduna eklenmesi belgenin dizine eklenmesi gerekmediğini gösterir.

Geçerli değerlerin tam listesi Web Yöneticisi Yardımı'nın "HTML Öğelerini Kullanma" bölümünde bulunabilir.

Google arama robotları

Google'ın ana WWW içerik indeksleme mekanizmasına Googlebot denir. Motoru, yeni veya değiştirilmiş belgeleri bulmak için günde milyarlarca sayfayı tarayacak şekilde ayarlanmıştır. Aynı zamanda, hangi sayfaların taranacağını ve hangilerinin yok sayılacağını da bot kendisi belirler.

Bu tarayıcı için sitenin, kaynağın sahibi tarafından sağlanan bir Site Haritası dosyasına sahip olması önemlidir. İşleyişini sağlayan bilgisayar ağı o kadar güçlüdür ki, bot birkaç saniyede bir sitenizin sayfalarına istekte bulunabilir. Ve bot, sunucuda bir yüke neden olmamak için tek seferde daha fazla sayfayı analiz edecek şekilde yapılandırılmıştır. Siteniz sık örümcek istekleri nedeniyle yavaşlıyorsa, Search Console'da yapılandırarak tarama hızını değiştirebilirsiniz. Aynı zamanda tarama hızını artırmak maalesef mümkün değil.

Google botundan siteyi yeniden taraması istenebilir. Bunu yapmak için, Arama Konsolunu açmanız ve Googlebot Olarak Göz At aracının kullanıcıları tarafından kullanılabilen Dizine Ekle özelliğini bulmanız gerekir. Taramadan sonra, Dizine Ekle düğmesi görünecektir. Aynı zamanda, süreç "karmaşık algoritmaların" çalışmasıyla ilişkili olduğundan, Google tüm değişikliklerin dizine eklenmesini garanti etmez.

Kullanışlı araçlar

Birçoğu olduğundan, optimize edicilerin botlarla çalışmasına yardımcı olan tüm araçları listelemek oldukça zordur. Yukarıda bahsedilen “Googlebot Olarak Görüntüle”ye ek olarak, Rus PS'den Google ve Yandex robots.txt dosya analizörleri, Site Haritası dosya analizörleri ve Sunucu Yanıt Kontrolü hizmetini belirtmekte fayda var. Yetenekleri sayesinde sitenizin bir örümceğin gözünde nasıl göründüğü hakkında bir fikriniz olacak, bu da hatalardan kaçınmanıza ve sitenin en hızlı şekilde taranmasını sağlamanıza yardımcı olacaktır.

Bazen "örümcekler" veya "tarayıcılar" (tarayıcılar) olarak adlandırılan arama motoru robotları, web sayfalarını arayan yazılım modülleridir. Nasıl çalışırlar? Gerçekten ne yapıyorlar? Neden önemliler?

Arama motoru optimizasyonu ve arama motoru dizini veritabanlarıyla ilgili tüm vızıltılarla, robotların harika ve güçlü varlıklar olması gerektiğini düşünüyor olabilirsiniz. Doğru değil. Arama motoru robotları, bir sitede hangi bilgileri tanıyabilecekleri açısından yalnızca eski tarayıcılarınkine benzer temel özelliklere sahiptir. İlk tarayıcılar gibi, robotlar da belirli şeyleri yapamaz. Robotlar çerçeveleri, Flash animasyonlarını, görüntüleri veya JavaScript'i anlamaz. Parola korumalı bölümlere giremezler ve sitede bulunan tüm butonlara tıklayamazlar. Dinamik URL'leri dizine ekleme sürecinde takılıp kalabilirler ve JavaScript gezinmesi üzerinde durma ve güçsüz olma noktasına kadar çok yavaş olabilirler.

Arama motoru robotları nasıl çalışır?

Web tarayıcıları, bilgi ve bilgiye bağlantılar aramak için web'de gezinen otomatik veri madenciliği programları olarak düşünülmelidir.

URL Gönder sayfasını ziyaret ettiğinizde, arama motoruna başka bir web sayfası kaydettiğinizde, robot tarafından siteleri görüntülemek için kuyruğa yeni bir URL eklenir. Bir sayfa kaydetmeseniz bile, birçok robot sitenizi bulacaktır çünkü diğer sitelerden sizinkine bağlantı veren bağlantılar vardır. Bağlantı popülerliği oluşturmanın ve bağlantıları diğer tematik kaynaklara yerleştirmenin önemli olmasının nedenlerinden biri de budur.

Robotlar sitenize geldiklerinde önce robots.txt dosyası olup olmadığını kontrol ederler. Bu dosya robotlara sitenizin hangi bölümlerinin dizine eklenmeyeceğini söyler. Genellikle bunlar, robotun ilgilenmediği veya bilmemesi gereken dosyaları içeren dizinler olabilir.

Robotlar, ziyaret ettikleri her sayfadan bağlantı depolar ve toplar ve daha sonra bu bağlantıları diğer sayfalara yönlendirir. Tüm dünya çapında ağ bağlantılardan oluşur. İnternet ağını yaratmanın ilk fikri, bağlantıları bir yerden diğerine takip etmenin mümkün olacağıydı. Robotlar böyle hareket eder.

Sayfaları gerçek zamanlı olarak indeksleme konusundaki ustalık, arama motoru robotları tarafından alınan bilgileri değerlendirmek için kullanılan yöntemleri icat eden arama motorlarının mühendislerine bağlıdır. Bir arama motoru veritabanına yerleştirildikten sonra, bilgi arama yapan kullanıcılar tarafından kullanılabilir. Bir arama motoru kullanıcısı bir arama terimi girdiğinde, en alakalı yanıt için doğru site kümesinin gerçekten döndürülmesini sağlamak için bir dizi hızlı hesaplama yapılır.

Sunucu günlük dosyaları tarafından yönlendirilen arama robotu tarafından sitenizin hangi sayfalarının daha önce ziyaret edildiğini veya günlük dosyasının istatistiksel olarak işlenmesinin sonuçlarını görüntüleyebilirsiniz. Robotları tanımlayarak sitenizi ne zaman, hangi sayfaları ve ne sıklıkla ziyaret ettiklerini görebilirsiniz. Googles Googlebot gibi bazı robotlar adlarıyla kolayca tanımlanır. Inktomis Slurp gibi diğerleri daha gizlidir. Günlüklerde başka robotlar da bulunabilir ve bunları hemen tanımlayamayabilirsiniz; bazıları insan kontrollü tarayıcılar bile olabilir.

İstatistikler, benzersiz tarayıcıları tanımlamanın ve ziyaretlerini saymanın yanı sıra, sitenizi ziyaret etmek istemediğiniz agresif, bant genişliği tüketen tarayıcıları veya tarayıcıları da gösterebilir.

Web sitenizin sayfalarını nasıl okuyorlar?

Bir tarayıcı bir sayfayı ziyaret ettiğinde, sayfanın görünen metnine, sayfanızın kaynak kodundaki çeşitli etiketlerin (başlık etiketi, meta etiketler vb.) içeriğine ve sayfadaki köprülere bakar. Bağlantıların kelimelerini değerlendirerek, arama motoru sayfanın ne hakkında olduğuna karar verir. "Rol oynamak" bir sayfanın kilit noktalarını hesaplamak için kullanılan birçok faktör vardır. Her arama motorunun bilgiyi değerlendirmek ve işlemek için kendi algoritması vardır. Robotun nasıl yapılandırıldığına bağlı olarak, bilgiler indekslenir ve ardından arama motoru veritabanına teslim edilir.

Bundan sonra, arama motoru dizin veritabanlarına iletilen bilgiler, arama motorunun ve veritabanı sıralama sürecinin bir parçası haline gelir. Bir ziyaretçi bir sorgu yaptığında, arama motoru, arama sorgusu ile ilgili nihai bir listeyi döndürmek için tüm veritabanını gözden geçirir.

Arama motoru veritabanları dikkatlice işlenir ve hizalanır. Halihazırda veritabanındaysanız, robotlar sayfalardaki değişiklikleri toplamak ve en son bilgilere sahip olduklarından emin olmak için düzenli aralıklarla sizi ziyaret edecektir. Ziyaret sayısı, arama motorunun türüne ve amacına bağlı olarak değişebilen ayarlarına bağlıdır.

Bazen arama robotları bir web sitesini indeksleyemez. Siteniz kilitlendiyse veya çok sayıda ziyaretçi siteyi ziyaret ediyorsa, robot onu dizine eklemeye çalışmakta yetersiz kalabilir. Bu olduğunda, robotun siteyi ne sıklıkta ziyaret ettiğine bağlı olarak site yeniden dizine eklenemez. Çoğu durumda, sayfalarınıza ulaşamayan robotlar, sitenizin yakında kullanıma sunulacağını umarak daha sonra deneyecektir.

Günlükleri görüntülediğinizde birçok tarayıcı tanımlanamaz. Sizi ziyaret ediyor olabilirler, ancak günlükler birinin Microsoft tarayıcısını vb. kullandığını söylüyor. Bazı robotlar kendilerini bir arama motorunun (googlebot) veya onun klonunun (Scooter = AltaVista) adını kullanarak tanımlar.

Robotun nasıl yapılandırıldığına bağlı olarak, bilgiler indekslenir ve ardından arama motoru veritabanlarına iletilir.

Arama motoru veritabanları çeşitli zamanlarda değişikliğe tabidir. İkincil arama sonuçlarına sahip dizinler bile web sitelerinin içeriği olarak robot verilerini kullanır.

Aslında robotlar arama motorları tarafından sadece yukarıdakiler için kullanılmamaktadır. Veritabanlarını yeni içerik için kontrol eden, eski veritabanı içeriğini ziyaret eden, bağlantıların değişip değişmediğini kontrol eden, tarama için tüm siteleri indiren vb. robotlar vardır.

Bu nedenle günlük dosyalarını okumak ve arama motoru sonuçlarını takip etmek, projelerinizin indekslenmesine göz kulak olmanıza yardımcı olur.

Görevi, internette sunulan sitelerin sayfalarının içeriğini dikkatlice analiz etmek ve analiz sonuçlarını arama motoruna göndermektir.

Arama robotu yeni sayfaları bir süre atlar, ancak daha sonra dizine eklenir ve arama motorlarından herhangi bir yaptırım olmadığında arama sonuçlarında görüntülenebilir.

Çalışma prensibi

Arama robotlarının eylemi, sıradan bir tarayıcının çalışmasıyla aynı prensibe dayanmaktadır. Bu veya bu siteyi ziyaret ederek, istisnasız sayfalarının bir kısmını veya tüm sayfalarını atlarlar. Site hakkında alınan bilgileri arama dizinine gönderirler. Bu bilgi, belirli bir sorguya karşılık gelen arama sonuçlarında görünür.

Arama robotlarının sayfaların sadece bir kısmını ziyaret edebilmesi nedeniyle büyük sitelerin indekslenmesinde sorunlar çıkabilmektedir. Kalitesizlik nedeniyle aynı kesin sorunlar ortaya çıkabilir.

Çalışmasındaki kesintiler, bazı sayfaları analiz için erişilemez hale getiriyor. Sitenin arama robotları tarafından değerlendirilmesinde önemli bir rol, düzgün bir şekilde oluşturulmuş ve iyi yapılandırılmış bir robots.txt dosyası tarafından oynanır.

Arama robotları tarafından kaynak taramasının derinliği ve sitelerin taranma sıklığı şunlara bağlıdır:

• Arama motoru algoritmaları.
• Site güncelleme sıklığı.
• Site yapıları.

Arama dizini

Web tarayıcıları tarafından toplanan bilgi veritabanına arama dizini denir. Bu veritabanı, arama motorları tarafından belirli arama sonuçları oluşturmak için kullanılır.

Dizin yalnızca siteler hakkında bilgi içermez: arama robotları, çeşitli elektronik formatlardaki (.docx, .pdf, vb.) görüntüleri, multimedya dosyalarını ve belgeleri tanıyabilir.

Yandex sisteminin en aktif arama robotlarından biri hızlı bir bottur. Sürekli olarak haber kaynaklarını ve diğer sık ​​güncellenen siteleri tarar. Swiftbot tarafından görülmeyen , bir anlam ifade etmiyor.

Özel araçlar yardımıyla çekebilirsiniz ve çeşitli amaçlara sahip siteler için etkilidirler. Siteleri erişilebilirlik açısından kontrol etmek, bireysel özelliklerini analiz etmek, arama motorlarında resim ve belgeleri indekslemek için ayrı robotlar vardır.

arama robotu İnternette ve sayfalarında bulunan veritabanı (indeksleme) sitelerine girmek için tasarlanmış özel bir arama motorunun programı denir. İsimler de kullanılır: paletli, örümcek, bot, otomatik indeksleyici, ant, webcrawler, bot, webscutter, webrobots, webspider.

Çalışma prensibi

Arama robotu, tarayıcı tipi bir programdır. Ağı sürekli olarak tarar: dizine eklenmiş (zaten onun bildiği) siteleri ziyaret eder, onlardan bağlantıları takip eder ve yeni kaynaklar bulur. Yeni bir kaynak bulunduğunda, prosedür robotu onu arama motoru dizinine ekler. Arama robotu ayrıca, sıklığı sabit olan sitelerdeki güncellemeleri de indeksler. Örneğin haftada bir güncellenen bir site bu sıklıkta bir örümcek tarafından ziyaret edilir ve haber sitelerindeki içerikler yayınlandıktan sonra dakikalar içinde indekslenebilir. Siteye başka kaynaklardan hiçbir bağlantı gelmiyorsa, arama robotlarını çekmek için kaynağın özel bir form aracılığıyla eklenmesi gerekir (Google Web Yöneticisi Merkezi, Yandex Web Yöneticisi Paneli, vb.).

Arama robotu türleri

Yandex örümcekleri:

• Yandex/1.01.001 I ana indeksleme botudur,
• Yandex/1.01.001 (P) - resimleri indeksler,
• Yandex/1.01.001 (H) - site aynalarını bulur,
• Yandex/1.03.003 (D) - web yöneticisi panelinden eklenen sayfanın indeksleme parametreleriyle eşleşip eşleşmediğini belirler,
• YaDirectBot/1.0 (I) - Yandex reklam ağındaki kaynakları indeksler,
• Yandex/1.02.000 (F) — site faviconslarını indeksler.

Google Örümcekler:

• Googlebot ana robottur,
• Googlebot News - haberleri tarar ve dizine ekler,
• Google Mobil - mobil cihazlar için web sitelerini indeksler,
• Googlebot Görseller - görselleri arar ve dizine ekler,
• Googlebot Video - videoları dizine ekler,
• Google AdsBot - açılış sayfasının kalitesini kontrol eder,
• Google Mobil AdSense ve Google AdSense - Google reklam ağının sitelerini dizine ekler.

Diğer arama motorları da, listelenenlere işlevsel olarak benzeyen çeşitli robot türleri kullanır.