Numero Verde attivo solo per Clienti 800 561 748 (solo da linea fissa) attivo lunedì - venerdì dalle 9 alle 12 e dalle 14 alle 18

Numero Verde Clienti 800 561 748

Crawler

Pubblicato il 10/11/2022 - 2 minuti di lettura

Il termine crawler designa un robot Internet. Concretamente, è un software che esplora il web per analizzare il contenuto dei documenti visitati e archiviarli in un indice. Il crawler, quindi, naviga costantemente, autonomamente ed automaticamente tra siti e pagine Internet alla ricerca di nuovi contenuti o di eventuali aggiornamenti di contenuti già esplorati.

Il passaggio dei crawler non è dannoso per il sito: dietro la loro attività, infatti, c'è la missione di indicizzare le pagine web, in base alla qualità del contenuto e, quindi, di aiutare i motori di ricerca a classificarle nei risultati di visualizzazione.



Come funziona un crawler?

I crawler sono programmati per navigare sul web con obiettivi specifici: svolgono un'attività che segue le istruzioni loro impartite. Ancora prima di Google, il motore di ricerca AltaVista utilizzava un crawler per svolgere questa stessa missione.

I crawler seguono diversi percorsi per raggiungere i documenti da esplorare: partono dai risultati che già esistono nei motori di ricerca, seguono una lista, obbediscono a invii oppure seguono i link che incontrano durante la loro esplorazione.

Ogni motore di ricerca ha le sue regole. Sapere quanta parte di Internet sia esaminata da questi bot è impossibile: si stima che ammonti a una percentuale compresa tra il 40 e il 70%.



Quali sono i bot crawler attivi su Internet?

Conoscere quali sono i bot crawler attivi su Internet è utile per distinguerli da quelli dannosi. Uno dei più conosciuti è quello utilizzato da Google: Googlebot, che ha diverse versioni (Googlebot Desktop, Googlebot Mobile e Mediabot). Ogni motore di ricerca ha un crawler diverso: quello di Bing si chiama Bingbot, Baidu ha Baidu Spider, Yandex Robot è il crawler di Yandex e Slurp è quello di Yahoo.

Evitare i cattivi crawler con un file robots.txt può essere complicato perché ne vengono creati continuamente. Perciò, è una buona pratica attivare una serie di difese preventive o ricorrere a un servizio di gestione dei bot come Imperva o Cloudflare.

Ti servono Testi SEO per il tuo sito?

seo copywriting

Ultime news da Melascrivi

24 Novembre 2022

Cyber Monday 2022: le offerte di Melascrivi

Intelligenza Artificiale per contenuti e immagini: questo è il momento giusto per provare l'altra metà della Mela...scrivi.  Fino al ...

15 Novembre 2022

Come realizzare un articolo ottimizzato con AI per il Black Friday

Non trovi un freelance disposto a scrivere l'ennesimo testo sul Black Friday? Scrivilo tu con l'aiuto dell'AI....

27 Luglio 2022

Promo Ricarica Agosto 2022 | Buone vacanze da Melascrivi!

Melascrivi non va in vacanza e ad agosto ti regala credito extra sulle tue ricariche! Stai già pensando ai contenuti ...

2 Maggio 2022

Melascrivi al Netcomm Forum 2022

Melascrivi torna a essere sponsor in presenza al Netcomm Forum 2022, dopo due anni di incontri svolti esclusivamente online. Vi ...