1. Що це за робот
DruziAfishaBot — автоматичний робот застосунку «Друзі». Він ідентифікується в запитах так:
DruziAfishaBot/1.0 (+https://druziua.com/bot)
2. Навіщо це «Друзям»
«Друзі» показують людям найближчі події, щоб вони могли зібрати компанію й піти разом. Квитки люди купують у продавця: біля кожної події стоїть посилання на її сторінку на вашому сайті. Ми не продаємо квитки й не перенаправляємо оплату.
3. Що саме він читає
- лише публічні сторінки подій, перелічені в sitemap продавця;
- лише дані про подію у форматі schema.org (
Event) на цих сторінках: назву, дату, місце, посилання.
Він не заходить в акаунти, кошики й оплату та не обходить обмежень доступу.
4. Як він поводиться
- не більш як 1 запит на секунду до одного сайту й ніколи не робить паралельних запитів до нього;
- дотримується
robots.txt, зокрема правил із символами підстановки; - використовує умовні запити (
If-None-Match/If-Modified-Since), щоб не вантажити сторінки, які не змінилися; - на відповіді 429 і 5xx вповільнюється й чекає; якщо є заголовок
Retry-After, виконує його.
5. Як заблокувати
Додайте в robots.txt свого сайту:
User-agent: DruziAfishaBot
Disallow: /
Робот перечитує robots.txt і припиняє обхід сайту. Можна також закрити лише частину сайту, вказавши потрібні шляхи в Disallow.
6. Контакти
Питання, прохання зупинити обхід або видалити події з «Друзів» — на druzi.support@gmail.com.
