Google Cache Dumper v 3.0

Google Cache Dumper - это инструмент, позволяющий максимально просто вытащить все содержимое кеша Google по заданному домену.

Возможности:
 - Ограничение количества обрабатываемых страниц выдачи, либо обработка всех, сколько есть.
 - Задание интервала между запросами (в секундах)
 - Адресация запросов разным датацентрам
 - Поддержка работы через проки и чередование запросов между произвольным количеством прокси.

Требования:
 - Веб-сервер
 - PHP5 с поддержкой curl и allow_url_fopen=On

Установка и настройка:
1) Распакуйте архив в папку веб-сервера (не обязательно в корень).
2) В той же папке должна быть подпапка out, доступная веб-серверу на чтение и запись (обычно подходят права доступа 0777).
3) Файлы index.php, dc.txt, proxy.txt должны быть доступны веб-серверу на чтение.
4) В файл proxy.txt поместите список прокси, которые будете использовать при парсинге, по одному прокси на строку, формат ip_адрес:порт.
   ВНИМАНИЕ! Если оставить файл пустым, то проски использоваться не будет, но возрастет риск бана запросов со стороны Google.
5) Настройка завершена! Откройте скрипт через браузер и приступайте!

Файлы:
index.php - сам дампер.
dc.txt - список датацентров google.
proxy.txt - список прокси.
   ЗАМЕЧАНИЕ: файл index.php можно переименовывать, но dc.txt и proxy.txt переименовывать нельзя, и они должны находиться в той же папке, что и index.php.
testproxy.php - простой скрипт для проверки работоспособности прокси, указанныйх в proxy.txt. 100% гарантии, конечно, не дает, но в большинстве случаев срабатывает исправно.

Прочая информация:
Результат парсинга во многом зависит от качества списка прокси, с которым вы работаете. Если в нем есть нерабочие прокси, то часть страниц может оказаться не скачанными или скачанными неправильно. Поэтому перед использованием список надлежит профильтровать от мусора. Кроме того, если прокси будут медленные, то и парсинг будет долгим, имейте это ввиду. Так же учтите, что тот список прокси, что идет вместе с программой тоже не вечен и вам скорее всего придется искать свой.

ВАЖНО!
Как список датацентров, так и список прокси-серверов могут со временем устаревать. Поэтому если у вас что-то не работает, в первую очередь проверяйте валидность этих списков, иначе вы рискуете ничего не спарсить.

Автор скрипта - Alek$, все вопросы и пожелания направляются на email [email protected]
http://nevkontakte.org.ru