Vad den läser
Bara adresser som fanns i frågan den fick, i ett sökresultat eller på en sida som den redan har läst. Den genomsöker inte webbplatser.
- Företags webbplatser: vad ett företag säljer, var och till vem.
- Offentliga register och offentliga upphandlingar.
- Nyheter och andra offentliga sidor som en sökning pekade på.
Vad den aldrig läser
- Sociala medier och personers profiler, till exempel LinkedIn, Facebook eller Instagram.
- Sökmotorers resultatsidor.
- Nyheter bakom betalvägg och kommersiella kreditupplysningsregister: de citeras från sökresultatet och öppnas aldrig.
- Något som ligger bakom en inloggning, en botkontroll eller en robots.txt-regel som stänger ute den.
Hur den beter sig
- Den läser din robots.txt före en sida och följer reglerna för ToimeenBot eller för alla botar. Om servern svarar på robots.txt med ett fel, eller inte svarar alls, lämnar den webbplatsen i fred.
- Den respekterar headern X-Robots-Tag: en sida som är märkt noai eller none läses inte.
- När en webbplats visar en botkontroll slutar den och försöker inte igen.
- Högst 30 sidor per utredning, en sida i taget, och aldrig mer än 2 MB eller 10 sekunder per sida.
- Den följer högst fem omdirigeringar, och bara till offentliga adresser.
Så blockerar du den
Lägg till de här raderna i din robots.txt. ToimeenBot läser robots.txt på nytt minst en gång i timmen.
User-agent: ToimeenBot Disallow: /
Eller håll den borta från enskilda sidor med den här svarsheadern:
X-Robots-Tag: noai
Vad som händer med det den läser
- En sida används bara i rapporten till företaget som frågade, med din adress angiven som källa.
- Texten från lästa sidor raderas efter 180 dagar. Sidorna används inte för att träna AI-modeller.
- Den utreder företag, marknader och upphandlingar, inte privatpersoner.
Kontakt
Frågor om ToimeenBot, eller en begäran om att sluta läsa din webbplats: skriv till oss.
hello@toimeen.com