Cosa legge
Solo indirizzi comparsi nella domanda che gli è stata posta, in un risultato di ricerca o in una pagina che ha già letto. Non esegue la scansione dei siti.
- Siti web aziendali: cosa vende un'azienda, dove e a chi.
- Registri pubblici e gare pubbliche.
- Notizie e altre pagine pubbliche indicate da una ricerca.
Cosa non legge mai
- Social media e profili di persone, per esempio LinkedIn, Facebook o Instagram.
- Pagine dei risultati dei motori di ricerca.
- Notizie a pagamento e registri commerciali di informazioni creditizie: vengono citati dal risultato di ricerca, mai aperti.
- Nulla che si trovi dietro un login, un controllo anti-bot o una regola robots.txt che lo esclude.
Come si comporta
- Legge il tuo robots.txt prima di una pagina e rispetta le regole per ToimeenBot o per tutti i bot. Se il server risponde alla richiesta di robots.txt con un errore, o non risponde, lascia stare il sito.
- Rispetta l'intestazione X-Robots-Tag: una pagina contrassegnata con noai o none non viene letta.
- Quando un sito mostra un controllo anti-bot, si ferma e non riprova.
- Al massimo 30 pagine per una singola ricerca, una pagina alla volta, e mai più di 2 MB o 10 secondi per pagina.
- Segue al massimo cinque reindirizzamenti, e solo verso indirizzi pubblici.
Come bloccarlo
Aggiungi queste righe al tuo robots.txt. ToimeenBot rilegge robots.txt almeno una volta all'ora.
User-agent: ToimeenBot Disallow: /
Oppure escludilo da singole pagine con questa intestazione di risposta:
X-Robots-Tag: noai
Cosa succede a ciò che legge
- Una pagina viene usata solo nel rapporto per l'azienda che ha fatto la domanda, con il tuo indirizzo indicato come fonte.
- Il testo delle pagine lette viene cancellato dopo 180 giorni. Le pagine non vengono usate per addestrare modelli di intelligenza artificiale.
- Fa ricerche su aziende, mercati e gare, non su privati.
Contatti
Domande su ToimeenBot, o una richiesta di non leggere più il tuo sito: scrivici.
hello@toimeen.com