Hvad den læser
Kun adresser, der stod i det spørgsmål, den fik, i et søgeresultat eller på en side, den allerede har læst. Den crawler ikke websites.
- Virksomheders websites: hvad en virksomhed sælger, hvor og til hvem.
- Offentlige registre og offentlige udbud.
- Nyheder og andre offentlige sider, som en søgning pegede på.
Hvad den aldrig læser
- Sociale medier og personers profiler, for eksempel LinkedIn, Facebook eller Instagram.
- Søgemaskiners resultatsider.
- Nyheder bag betalingsmur og kommercielle kreditregistre: de citeres fra søgeresultatet og åbnes aldrig.
- Alt bag et login, et bot-tjek eller en robots.txt-regel, der holder den ude.
Sådan opfører den sig
- Den læser din robots.txt før en side og følger reglerne for ToimeenBot eller for alle bots. Svarer serveren med en fejl på robots.txt, eller svarer den ikke, lader den websitet være.
- Den respekterer headeren X-Robots-Tag: en side markeret med noai eller none bliver ikke læst.
- Når et website viser et bot-tjek, stopper den og prøver ikke igen.
- Højst 30 sider til én research, én side ad gangen og aldrig mere end 2 MB eller 10 sekunder pr. side.
- Den følger højst fem omdirigeringer og kun til offentlige adresser.
Sådan blokerer du den
Tilføj disse linjer til din robots.txt. ToimeenBot læser robots.txt igen mindst én gang i timen.
User-agent: ToimeenBot Disallow: /
Eller hold den væk fra enkelte sider med denne response header:
X-Robots-Tag: noai
Hvad der sker med det, den læser
- En side bruges kun i rapporten til den virksomhed, der spurgte, med din adresse vist som kilde.
- Teksten fra læste sider slettes efter 180 dage. Siderne bruges ikke til at træne AI-modeller.
- Den researcher virksomheder, markeder og udbud, ikke privatpersoner.
Kontakt
Spørgsmål om ToimeenBot, eller ønsker du, at den holder op med at læse dit website: skriv til os.
hello@toimeen.com