Задержки при парсинге в PHP
Для имитации поведения пользователя нужно устанавливать задержки между запросами к чужому сайту.
Задержки устанавливаются с помощью PHP
функции sleep, которая параметром
принимает время в секундах - на это время
скрипт просто "засыпает", а потом его выполнение
начинается заново:
<?php
sleep(3); // заснем на 3 сек
?>
Ставьте неравномерные задержки, иначе
скрипт, посылающий запросы с частотой,
к примеру, ровно 5 секунд,
легко отслеживается и банится.
Время задержки для каждого сайта следует
подбирать индивидуально.
Сделайте парсер, который будет делать паузу в 10 секунд между запросами.
Сделайте парсер, который будет делать паузу между запросами. Количество секунд паузы должно быть случайным числом от 5 до 20 секунд.