Mitä se lukee
Vain osoitteita, jotka olivat sille esitetyssä kysymyksessä, hakutuloksessa tai sivulla, jonka se on jo lukenut. Se ei indeksoi sivustoja.
- Yritysten verkkosivut: mitä yritys myy, missä ja kenelle.
- Julkiset rekisterit ja julkiset hankinnat.
- Uutiset ja muut julkiset sivut, joihin haku ohjasi.
Mitä se ei koskaan lue
- Sosiaalista mediaa ja ihmisten profiileja, esimerkiksi LinkedIniä, Facebookia tai Instagramia.
- Hakukoneiden tulossivuja.
- Maksumuurin takana olevia uutisia ja kaupallisia luottotietorekistereitä: niihin viitataan hakutuloksen perusteella, niitä ei avata.
- Mitään kirjautumisen, bottitarkistuksen tai sen estävän robots.txt-säännön takana.
Miten se toimii
- Se lukee robots.txt-tiedostosi ennen sivua ja noudattaa ToimeenBotille tai kaikille boteille annettuja sääntöjä. Jos palvelin vastaa robots.txt-pyyntöön virheellä tai ei vastaa lainkaan, se jättää sivuston rauhaan.
- Se noudattaa X-Robots-Tag-otsaketta: noai- tai none-merkittyä sivua ei lueta.
- Kun sivusto näyttää bottitarkistuksen, se lopettaa eikä yritä uudelleen.
- Enintään 30 sivua yhtä selvitystä kohden, sivu kerrallaan, eikä koskaan yli 2 Mt tai 10 sekuntia sivua kohden.
- Se seuraa enintään viittä uudelleenohjausta ja vain julkisiin osoitteisiin.
Näin estät sen
Lisää nämä rivit robots.txt-tiedostoosi. ToimeenBot lukee robots.txt-tiedoston uudelleen vähintään kerran tunnissa.
User-agent: ToimeenBot Disallow: /
Tai estä se yksittäisiltä sivuilta tällä vastausotsakkeella:
X-Robots-Tag: noai
Mitä luetulle tapahtuu
- Sivua käytetään vain kysyneen yrityksen selvityksessä, ja osoitteesi näkyy lähteenä.
- Luettujen sivujen teksti poistetaan 180 päivän kuluttua. Sivuja ei käytetä tekoälymallien kouluttamiseen.
- Se selvittää yrityksiä, markkinoita ja hankintoja, ei yksityishenkilöitä.
Yhteystiedot
Kysymyksiä ToimeenBotista tai pyyntö lopettaa sivustosi lukeminen: kirjoita meille.
hello@toimeen.com