Парсим Google с помощью Hrefer без использования проксей
Размещено 2009-03-26
в разделе Разное | Метки:
Google
Подобные посты я уже видел в некоторых блогах и на форуме ботмастера, но там люди юзали скрипты на php и тд.
Итак для того чтобы парсить гугль и не быть забаненным, понадобиться
- подключение к какому нибудь провайдеру с большим блоком айпишников (Стрим, Корбина в Москве)
- динамический реальный (не локальный) айпишник
Я написал скрипт для подключения переподключения соединения на VisialBasic Script, который каждые три минуты обрывает соединение, ждет 10 секунд потом заново уставливает соединение. Перед запуском скрипта соединение с инетом надо отключить, в скрипте найти строки username и password и заменить их на логин и пароль.
Для работы скрипта ничего дополнительно устанавливать не нужно, в винде все есть. Если нужно убить скрипт, в процессах находим wscript и убиваем его. Итак сам скрипт:
Dim WshShell, DisconnectCommand, ConnectCommand
Set WshShell = CreateObject("WScript.Shell")
ConnectCommand = "C:\WINDOWS\system32\rasdial.exe corbina username password"
DisconnectCommand = "C:\WINDOWS\system32\rasdial.exe corbina /disconnect"
i = 1
Do While i > 0
WshShell.Run ConnectCommand
WScript.Sleep 180000
WshShell.Run DisconnectCommand
WScript.Sleep 10000
Loop
- 180000 - 3 минуты в миллисекундах (время через которое будет обрываться соединение)
- 10000 - 10 секунд таймаут для подключения (нужно для того чтобы выдался новый айпишник, если слишком быстро переподключиться есть вероятность получить тот же самый айпишник что и раньше)