Robot d'indexation - web crawler : définition

Robot d'indexation : définition

Un robot d'indexation (ou littéralement araignée du Web ; en anglais web crawler ou web spider) est un logiciel qui explore automatiquement le Web.

Il est généralement conçu pour collecter les ressources (pages Web, images, vidéos, documents Word, PDF ouPostScript, etc.), afin de permettre à un moteur de recherche de les indexer.

Fonctionnant sur le même principe, certains robots malveillants (spambots) sont utilisés pour archiver les ressources ou collecter des adresses électroniques auxquelles envoyer des courriels.

En français, depuis 2013, crawler est remplaçable par le mot collecteur1.

Il existe aussi des collecteurs analysant finement les contenus afin de ne ramener qu'une partie de leur information. Dès les années 1990, il a ainsi existé des comparateurs de prix automatiques, puis des comparateurs performance/prix pour les microprocesseurs2. Des frameworks tout faits comme Scrapy existent pour écrire de tels robots3.

source : https://fr.wikipedia.org/wiki/Robot_d%27indexation

Ookawa-Corp blown by B'Digital, powered by B'Leader, spread by B'Sociable, amplified by B'Press, illustrated by B'360, energized by New3S, hosted by 3DWC.biz

4 raisons pour investir dans le référencement naturel et obtenir du trafic sur son site Web ... - OOKAWA Corp.

Obtenir du trafic à partir de la publicité payante et les publicités des réseaux sociaux est formidable et facile, mais pas si cela résulte de l'abandon de vos efforts sur votre référencemen...

http://ookawa-corp.over-blog.com/2015/12/4-raisons-pour-investir-dans-le-referencement-naturel-et-obtenir-du-trafic-sur-son-site-web.html

4 raisons pour investir dans le référencement naturel et obtenir du trafic sur son site Web ... - OOKAWA Corp.

Google va pénaliser les sites utilisant des " interstitiels " - OOKAWA Corp.

Google va pénaliser les sites utilisant des " interstitiels " Sur mobile ou sur un ordinateur fixe, Google devrait prochainement pénaliser le référencement des sites qui utilisent des interstit...

http://ookawa-corp.over-blog.com/2015/06/google-va-penaliser-les-sites-utilisant-des-interstitiels.html

Google va pénaliser les sites utilisant des " interstitiels " - OOKAWA Corp.

Appel à la mémoire : C'était comment avant le Moteur de Recherche de Google ? - OOKAWA Corp.

Septembre 1998, arrivée de Google. Entre temps, Internet Explorer a gagné la guerre des navigateurs et Netscape tombe dans l'oubli. En octobre 1999, Altavista a perdu la guerre contre Google, se ...

http://ookawa-corp.over-blog.com/2014/09/appel-a-la-memoire-c-etait-comment-avant-le-moteur-de-recherche-de-google.html

Appel à la mémoire : C'était comment avant le Moteur de Recherche de Google ? - OOKAWA Corp.

Le métier de SEO - Référenceur Naturel : mode d'emploi et comparatifs Monde - OOKAWA Corp.

Le métier de SEO - Référenceur Naturel : mode d'emploi et comparatifs Monde Parce que la transparence paie toujours, B'Leader le service premium de New3S en référencement de Leader sur le WEB ...

http://ookawa-corp.over-blog.com/2014/06/le-metier-de-seo-referenceur-naturel-mode-d-emploi-et-comparatifs-monde.html

Le métier de SEO - Référenceur Naturel : mode d'emploi et comparatifs Monde - OOKAWA Corp.