Если сравнить с данными за прошлый год, то в 2014 году боты создали только 45 процентов трафика на сайтах клиентов Distil Networks. То есть речь идёт о 14 процентном росте данного показателя.
Конечно, говорим мы в данном случае о «хороших» ботах, которые используются поисковыми системами и социальными сетями. Такие боты обычно опираются в своей работе на файл robots.txt, веб-мастера специально помещают его в корневую директорию сайта. К примеру, боты поисковых систем таким образом индексируют сайты в своей базе данных, что в итоге позволяет всем нам находить нужную информацию в Интернете. Интересно, что эксперты отмечают рост трафика от ботов и объясняют его увеличением активности поисковика Bing и выходом в онлайн ещё нескольких поисковых систем.
Если же говорить про «плохих» ботов, то количество трафика, сгенерированного ими, уменьшилось на 1 процент, если сравнивать с предыдущим годом. Но дело не в том, что «плохие» боты стали менее активны. А в том, что именно «хороших» ботов стало больше. Трафик же от реальных людей упал существенно. Преодолев в своём снижении психологическую отметку в 50% - упав до доли в 41%.
Ещё один немаловажный момент — это критерий «качества» бота. Среди экспертов компании Distil Networks «хорошими» называют тех ботов, которые работают с сайтом строго на базе директив, описанных в robots.txt. А вот «плохие» боты напротив, можно сказать, не уважают robots.txt и не дают сайту какую-либо пользу от своего посещения.
Кстати, специалисты обычно делят «плохих» ботов на три категории. Первая категория «плохих» ботов обычно ищет ценную информацию на сайтах, к примеру, автоматизированно скачивает цены на тысячи и тысячи товаров. Вторая категория «вредных» ботов занимается поиском уязвимостей на веб-сайтах. А третья - публикует на сайтах спам либо пытается подобрать пароли на доступ.
Кстати, если Ваш сайт испытывает большой наплыв ботов, то Вы можете попросить своего системного администратора постараться ограничить вред от активности «плохих» ботов. Либо обратиться в специализированные конторы по защите веб-ресурсов.
Источник: http://www.forensicmag.com/news/2015/05/bots-now-outnumber-humans-web
