Как использовать прокси с модулем Requests в Python

Путеводители, Как сделать, Прокси, Мар-16-20225 минут чтения

Каждый компьютер получает уникальный адрес Internet Protocol (IP), который идентифицирует компьютер и его географическое положение при подключении к Интернету. Ваш компьютер посылает запрос, когда ему нужна какая-либо информация из Интернета. Запрос отправляется на целевой компьютер, который проверяет тип запрашиваемой информации. Целевой компьютер отправляет информацию обратно, если ему разрешено передавать ее на наш IP-адрес. Иногда компьютер хочет получить информацию из Интернета, не будучи идентифицированным. Такая информация обычно блокируется, но мы можем получить ее с помощью прокси-сервера, который выступает в качестве посредника между клиентом и серверной машиной.

Каждый прокси-сервер имеет свой IP-адрес, поэтому, когда пользователь запрашивает через прокси доступ к веб-сайту, веб-сайт отправляет данные на IP прокси-сервера, который пересылает их пользователю.

Прокси-серверы скрывают личность веб-скреперов и делают их трафик похожим на трафик обычных пользователей.
Прокси-серверы обеспечивают дополнительную безопасность веб-сайтов и балансируют интернет-трафик.
Прокси-серверы защищают данные пользователей или помогают получить доступ к сайтам, заблокированным цензурой той или иной страны.

Использование прокси с модулем запросов в Python

Для использования прокси-серверов в запросах Python необходимо выполнить следующие действия.

Запросы на импорт

Импортируйте пакет requests, который представляет собой простую библиотеку HTTP. С помощью этого пакета можно легко отправлять запросы, не добавляя вручную строки запросов в URL. Импортировать requests можно с помощью следующей команды.

запросы на импорт

Создайте словарь

Вам нужно создать словарь proxies, определяющий HTTP- и HTTPS-соединения. Вы можете дать переменной словаря любое имя, например "proxies", которое сопоставит протокол с URL прокси. Далее необходимо установить переменную URL на сайт, с которого будет производиться поиск.

proxies = {
  "http":'http://203.190.46.62:8080',
  "https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'

Здесь словарь определяет URL прокси для двух отдельных протоколов, то есть HTTP и HTTPS.

Создайте переменную ответа

Вы должны создать переменную ответа, которая использует любой из методов requests. Этот метод принимает два аргумента:

URL-адрес, который вы создали
В словаре вы определили

response = requests.get(url,proxies = proxies)
print(response.json())

На выходе получаем следующее:

Вы также можете использовать модуль requests в Python для ротации IP-адресов, как показано ниже.

Вы должны импортировать модуль requests с помощью следующей команды.

запросы на импорт

Создайте функцию sending_request

Вы должны создать функцию sending_request и предпочесть использовать http-прокси, поскольку большинство бесплатных прокси не используют протокол https. Мы использовали блок try-except, потому что большинство бесплатных прокси не работают.

def sending_request(session, proxy):
    try:
        response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
        print(response.json())
    except:
        pass

Прочитать proxies_txt

Вы должны прочитать файл list_proxies.txt, содержащий список бесплатных прокси, и сохранить его в переменной с именем proxies.

if __name__ == "__main__":
   with open('list_proxies.txt', 'r') as file:
        proxies = file.readlines()

Создать сессию

Для этого необходимо создать сессию в модуле запросов и выполнить следующие действия.

Пройдитесь по прокси-серверу
Передайте прокси и сессию в функцию sending_request

с requests.Session() как session:
   for proxy in proxies:
        send_request(session, proxy)

Вы получите список прокси-серверов, как показано ниже.

Это некоторые прокси, и список можно продолжить, но все они не работают.

Необходимость прокси-серверов

Каждому предприятию необходимо знать пять важнейших корпоративных причин использования прокси-серверов, перечисленных ниже.

Анонимное выполнение конфиденциальных заданий

Прокси хорошо известны своей способностью анонимизировать веб-трафик. Но большинство людей не понимают их важности в бизнес-индустрии. Прокси-серверы позволяют сотрудникам служб безопасности и репортерам защитить себя, компании, источники, клиентов и партнеров.

Вы также можете использовать прокси для защиты разработок, текущих исследований и других видов деятельности компании. Предположим, ваша компания использует прокси и потенциального шпиона для отслеживания веб-трафика, чтобы определить, как развивается ваш бизнес. В этом случае он не сможет легко отследить ваших сотрудников.

Повышение уровня корпоративной и институциональной безопасности

Вы знаете, что утечка данных дорого обходится как с точки зрения общественного имиджа, так и с точки зрения денежных потерь. Поэтому компании беспокоятся о хакерах. Но прокси-серверы могут помочь вам, поскольку они снижают вероятность утечки данных. Они добавляют дополнительный уровень безопасности между вашими серверами и внешним трафиком. Прокси-серверы также выступают в роли буфера, поскольку сталкиваются с Интернетом и передают запросы от компьютеров за пределами сети.

Если хакеры получат доступ к вашим прокси-серверам, им все равно будет сложно добраться до сервера, на котором установлено веб-программное обеспечение, хранящее данные.

Контроль использования Интернета сотрудниками

Экономия полосы пропускания и повышение скорости

Некоторые люди считают, что прокси-серверы снижают скорость интернета из-за большого объема работы, которую они выполняют в фоновом режиме. Но это не всегда так. Прокси-серверы можно использовать для экономии пропускной способности и увеличения скорости:

Кэширование веб-страниц и файлов, к которым обращаются несколько пользователей
Сжатие трафика
Удаление рекламы с веб-сайтов

Какие прокси-серверы использовать?

Вы можете подумать, что существует единственный тип прокси, который обеспечивает все преимущества для бизнеса, такие как:

Предотвращение утечек данных
Установление конкурентоспособных цен
Сбор ценных данных в социальных сетях
Построение эффективной SEO-стратегии

В действительности существует множество типов прокси-серверов, и выбор того или иного зависит от ваших требований или условий использования.

Ниже приведены наиболее распространенные типы прокси-серверов.

Прокси-серверы для центров обработки данных

Прокси-серверы для центров обработки данных - самые распространенные прокси-серверы, используемые предприятиями по всему миру. Центры обработки данных производят и управляют этими прокси. Вы можете использовать эти прокси, если вам нужно повысить безопасность вашей системы, поскольку они дешевы и просты в приобретении. Но некоторые сайты запрещают их использование, поскольку ассоциируют их с деятельностью ботов.

Жилые доверенности

Жилые прокси связаны с физическими местами жительства и используют IP-адреса реальных людей, предоставляемые интернет-провайдерами (ISP). Когда вы используете их для подключения к веб-сайту, вы выглядите как обычный пользователь. Таким образом, вероятность того, что вас обнаружат и запретят, снижается. Используя прокси-серверы по месту жительства, вы можете собирать большое количество веб-данных и добиваться повышенной анонимности и безопасности.

Заключение

До сих пор мы говорили о том, что прокси действует как ретранслятор между клиентом и серверной машиной. Когда вы запрашиваете информацию, ваш компьютер отправляет этот запрос прокси-серверу, который затем пересылает информацию на целевой компьютер, используя другой IP-адрес. Таким образом, ваш IP-адрес остается конфиденциальным. Далее вы можете использовать прокси с помощью модуля requests в Python и выполнять различные действия в зависимости от ваших потребностей. Если вам нужен статический IP со скоростью прокси для дата-центров и высокой анонимностью прокси для жилых домов, то вам подойдут статические прокси, так как IP-адрес остается неизменным при каждом новом запросе. Напротив, вращающиеся прокси обеспечивают преимущества при тестировании и скраппинге.

По: ProxyScrape