Прокси для парсинга Google и Яндекса: съём позиций и гео выдачи
Поисковики ограничивают автоматические запросы с одного IP и показывают капчу, а выдача зависит от местоположения. Поэтому для парсинга Google и Яндекса нужны прокси с ротацией IP на каждый запрос и правильным гео, а для лёгких задач хватит недорогих серверных IPv4.
- Резидентные, мобильные, серверные
- Оплата за ГБ от 1 ГБ
- Новый IP на запрос или фиксированный
- IPv4 с ротацией для лёгких задач
- Подходящие прокси
- Зачем нужны прокси для парсинга Google и Яндекса
- Какой тип прокси выбрать для парсинга выдачи
- Выдача по регионам: как получить локальные результаты
- Темп запросов и капча: как снизить блокировки
- Как подключить прокси в программе для съёма позиций
- Типичные ошибки при парсинге поисковой выдачи
- Какие прокси LTEBoost подойдут для SERP-парсинга
- Частые вопросы
Подходящие прокси
Зачем нужны прокси для парсинга Google и Яндекса
Прокси для парсинга Google и Яндекса нужны SEO-специалистам, агентствам и разработчикам сервисов, которые регулярно собирают поисковую выдачу: позиции сайта по списку запросов, сниппеты конкурентов, подсказки, частотность, локальные результаты и карты. Если отправлять такие запросы со своего IP, поисковик быстро заметит автоматизацию.
У Google это выглядит как страница «Our systems have detected unusual traffic» с капчей, у Яндекса — проверка «Подтвердите, что запросы отправляли вы, а не робот». Дальше запросы с этого адреса начинают упираться в капчу постоянно. Прокси решают две задачи сразу: распределяют запросы между многими IP и позволяют получать выдачу так, как её видит пользователь из нужной страны или региона.
Какой тип прокси выбрать для парсинга выдачи
Выбор зависит от объёма, частоты и требований к гео. Общая логика: чем «человечнее» IP, тем реже капча, но тем дороже трафик.
| Тип | Как работает | Когда брать |
|---|---|---|
| Резидентные по ГБ | Пул 1,5 млн+ IP, выбор страны, новый IP на каждый запрос или фиксированный | Основной вариант для регулярного съёма позиций и выдачи по странам |
| Мобильные по ГБ | IP мобильных операторов, выбор страны, ротация на каждый запрос | Когда на резидентных много капчи или нужна мобильная выдача |
| Серверные по ГБ | IP дата-центров, выбор страны, оплата за трафик | Тесты, небольшие объёмы, задачи без строгих требований к доверию |
| IPv4 с ротацией | США, Россия, Германия, смена IP каждые 2 минуты, 30 дней | Лёгкие задачи: подсказки, проверка доступности, небольшие списки запросов |
| Элитный 4G-модем России | Свой модем, ротация по таймеру с любым интервалом, 500+ соединений | Постоянный большой поток запросов к Яндексу с российского мобильного IP |
Оплата за ГБ удобна тем, что вы платите только за скачанный трафик, а пакеты начинаются от 1 ГБ — чем больше пакет, тем дешевле гигабайт. Страница выдачи весит немного, поэтому для съёма позиций это обычно выгоднее, чем держать много прокси на 30 дней. Подробнее о разнице между мобильными и резидентными IP — в статье мобильные или резидентные прокси.
Выдача по регионам: как получить локальные результаты
Google и Яндекс показывают разные результаты в разных странах и городах. Для съёма позиций это критично: позиция сайта в Москве и в Новосибирске может отличаться. Регион выдачи определяется сочетанием IP и параметров запроса.
- Страна IP. Берите прокси той страны, по которой снимаете позиции. Для российской выдачи Яндекса — российский IP, для американского Google — американский.
- Параметры Google. Страну и язык задают параметры
glиhl, а точное местоположение — параметрuule. Большинство программ для съёма позиций выставляют их сами. - Параметры Яндекса. Регион задаётся параметром
lrс кодом региона, напримерlr=213для Москвы. - Город на уровне IP. Прокси с оплатой за ГБ позволяют выбрать страну, а город точнее задаётся параметрами запроса. Не ждите, что один IP сам по себе даст выдачу конкретного района.
Проверяйте результат: откройте выдачу через прокси в браузере с теми же параметрами, что использует ваш софт, и сравните с тем, что видит человек в регионе.
Темп запросов и капча: как снизить блокировки
Даже хорошие прокси не спасут, если программа шлёт сотни одинаковых запросов в секунду. Поисковики оценивают не только IP, но и поведение. Несколько практических правил:
- Ротация на каждый запрос. В прокси с оплатой за ГБ включите режим нового случайного IP на каждый запрос — так нагрузка распределяется по пулу.
- Паузы и случайные задержки. Не делайте запросы через строго одинаковые интервалы.
- Ограничьте потоки. Начните с небольшого числа потоков и увеличивайте, пока доля капчи остаётся низкой.
- Повтор с новым IP. Если запрос получил капчу, не повторяйте его с того же адреса — отправьте через другой IP после паузы.
- Реалистичные заголовки. Актуальный User-Agent, язык и cookie, похожие на обычный браузер.
- Кэш. Не собирайте одни и те же запросы чаще, чем меняется выдача.
Если капча остаётся частой даже при умеренном темпе, попробуйте мобильные IP: за одним адресом оператора работает много реальных абонентов, и поисковики обычно относятся к ним осторожнее. Больше о стратегиях ротации и сборе данных — в статье прокси для парсинга и мониторинга цен.
Как подключить прокси в программе для съёма позиций
Программы для съёма позиций, сбора семантики и собственные скрипты обычно принимают список прокси в одном из стандартных форматов:
host:port:login:password или http://login:password@host:port
Порядок действий типичный: загрузите список, выберите протокол (HTTP или SOCKS5, если программа и прокси его поддерживают), включите проверку прокси, задайте число потоков и паузы. Для прокси с ротацией на каждый запрос достаточно одной строки подключения — новый IP будет выдаваться автоматически.
Типичные ошибки при парсинге поисковой выдачи
- Один IP на весь список запросов. Даже с паузами одиночный адрес быстро начинает получать капчу.
- Неверное гео. Позиции, снятые с IP другой страны или без параметра региона, не совпадают с тем, что видят ваши клиенты.
- Слишком много потоков сразу. Резкий рост нагрузки заметен поисковику сильнее, чем постепенный.
- Повтор запроса с того же IP после капчи. Это только закрепляет блокировку адреса.
- Бесплатные публичные прокси. Они медленные, нестабильные и чаще всего уже в чёрных списках поисковиков.
- Аренда множества прокси на 30 дней под редкие проверки. Если позиции снимаются раз в неделю, оплата за ГБ обычно выгоднее.
Какие прокси LTEBoost подойдут для SERP-парсинга
LTEBoost работает с 2017 года и предлагает резидентные, мобильные и серверные прокси. Для парсинга Google и Яндекса:
- Резидентные по ГБ — основной вариант для регулярного съёма позиций: пул 1,5 млн+ IP, выбор страны, фиксированный или новый IP на каждый запрос.
- Мобильные по ГБ — когда нужно ещё меньше капчи или мобильная выдача.
- IPv4 с ротацией — недорогой вариант для лёгких задач: США, Россия, Германия, смена IP каждые 2 минуты, HTTP(S).
- Элитные 4G России — для постоянного большого потока запросов к Яндексу.
Для прокси с оплатой за ГБ бесплатный тест не предусмотрен: начните с минимального пакета в 1 ГБ и проверьте долю капчи на своих запросах. Для IPv4 и элитных модемов доступен бесплатный тест на 2 часа через Telegram-бота. Вопросы по выбору — в поддержку в Telegram.
Частые вопросы
Какие прокси лучше подходят для парсинга Яндекса?
Для регулярного съёма позиций обычно берут российские резидентные или мобильные IP с ротацией на каждый запрос. Для постоянного большого потока подойдёт элитный 4G-модем с ротацией по таймеру.
Почему Google показывает капчу при парсинге?
Поисковик видит много однотипных запросов с одного IP или слишком высокий темп. Помогают ротация IP на каждый запрос, паузы, меньше потоков и реалистичные заголовки.
Как получить выдачу конкретного города?
Выберите прокси нужной страны, а город задайте параметрами запроса: uule в Google и lr в Яндексе. Большинство программ для съёма позиций делают это автоматически.
Сколько трафика нужно для съёма позиций?
Зависит от числа запросов, глубины выдачи и частоты проверок. Начните с минимального пакета резидентных прокси по ГБ и посчитайте расход на своём списке запросов.
Подойдут ли серверные прокси для парсинга Google?
Для небольших объёмов и тестов — да, IPv4 с ротацией это недорогой вариант. При регулярном большом объёме капчи обычно больше, чем на резидентных и мобильных IP.
Есть ли тест для прокси с оплатой за ГБ?
Нет, для прокси с оплатой за трафик тест не предусмотрен, но пакеты начинаются от 1 ГБ. Для IPv4 с ротацией есть бесплатный тест на 2 часа через Telegram-бота.
Начните с пакета от 1 ГБ резидентных или мобильных прокси с новым IP на каждый запрос и проверьте результат на своих запросах.
