Neyi okur
Yalnızca kendisine sorulan soruda, bir arama sonucunda ya da zaten okuduğu bir sayfada geçen adresleri. Siteleri taramaz.
- Şirket web siteleri: bir şirketin ne sattığı, nerede ve kime.
- Kamu sicilleri ve kamu ihaleleri.
- Bir aramanın yönlendirdiği haberler ve diğer herkese açık sayfalar.
Neyi asla okumaz
- Sosyal medya ve kişi profilleri, örneğin LinkedIn, Facebook ya da Instagram.
- Arama motoru sonuç sayfaları.
- Ödeme duvarlı haberler ve ticari kredi sicilleri: bunlara arama sonucu üzerinden atıf yapılır, asla açılmaz.
- Giriş, bot kontrolü ya da onu dışarıda tutan bir robots.txt kuralının arkasındaki hiçbir şey.
Nasıl davranır
- Bir sayfadan önce robots.txt dosyanızı okur ve ToimeenBot ya da tüm botlar için konmuş kurallara uyar. Sunucu robots.txt isteğine hatayla yanıt verirse ya da hiç yanıt vermezse siteye dokunmaz.
- X-Robots-Tag başlığına uyar: noai ya da none olarak işaretlenmiş bir sayfa okunmaz.
- Bir site bot kontrolü gösterdiğinde durur ve yeniden denemez.
- Bir araştırma için en fazla 30 sayfa, her seferinde bir sayfa ve sayfa başına asla 2 MB veya 10 saniyeden fazla değil.
- En fazla beş yönlendirmeyi izler ve yalnızca herkese açık adreslere.
Nasıl engellenir
Bu satırları robots.txt dosyanıza ekleyin. ToimeenBot robots.txt dosyasını en az saatte bir yeniden okur.
User-agent: ToimeenBot Disallow: /
Ya da tek tek sayfalarda bu yanıt başlığıyla dışarıda tutun:
X-Robots-Tag: noai
Okuduklarına ne olur
- Bir sayfa yalnızca soruyu soran şirketin raporunda kullanılır ve adresiniz kaynak olarak gösterilir.
- Okunan sayfaların metni 180 gün sonra silinir. Sayfalar yapay zekâ modellerini eğitmek için kullanılmaz.
- Özel kişileri değil, şirketleri, pazarları ve ihaleleri araştırır.
İletişim
ToimeenBot hakkında sorularınız ya da sitenizin okunmasının durdurulması talebiniz için bize yazın.
hello@toimeen.com