Задача звучала скучно: собирать выдачу Google. Много, регулярно, через обычные резидентные прокси и без платных SERP API. Первая версия честно открывала Chrome, вбивала запрос и получала капчу. Вторая получала капчу чуть реже. А потом один IP отработал 1210 запросов подряд, и Google ни разу не…
Google отказывал нашему скрейперу, пока мы не поняли, что он смотрит не на IP
Это краткое изложение. Полный текст материала доступен на сайте источника.