Люди могут легко собирать и скрести информацию из различных источников, таких как Facebook, Reddit и Twitter. Скрапер - это специализированный инструмент, который точно и быстро извлекает данные с веб-страницы. API для скраппинга помогают скраперам избежать запрета на использование антискрейперских технологий, которые устанавливают веб-сайты. Однако использование API обходится дороже, чем использование прокси-инструмента, управляемого самостоятельно.
У Reddit есть API под названием Python Reddit API Wrapper, сокращенно PRAW, для сбора данных. В этом блоге я покажу вам, как скреативить Reddit с помощью Python. Но перед этим вам нужно знать, зачем вам нужно скрести Reddit.
Если говорить о дизайне Reddit, то он разбит на несколько сообществ, известных как "сабреддиты". В Интернете можно найти любой сабреддит по интересующей вас теме. Социальные исследователи проводят анализ, делают выводы и реализуют планы действий, когда извлекают обсуждения на Reddit по определенной теме.
Из Reddit можно извлечь множество данных, например:
Вы можете соскрести с Reddit любую информацию, имеющую отношение к вашему бизнесу, поскольку это необходимо для следующих целей:
Например,
Для извлечения общедоступных данных с сайта Reddit используются веб-скреперы (компьютерные программы). Использование скреперов Reddit необходимо из-за ограничений, с которыми вы сталкиваетесь при использовании официального API Reddit. Однако если вы используете веб-скрепер, который не использует Reddit API для извлечения данных с Reddit, вы нарушите условия использования Reddit. Но это не означает, что веб-скраппинг незаконен.
Чтобы скраппинг прошел без проблем, вам придется обойти системы защиты от скраппинга, установленные Reddit. Наиболее распространенные методы защиты от скраппинга, используемые Reddit, следующие:
Вы можете решить проблему отслеживания IP-адресов с помощью прокси-серверов и ротации IP-адресов. С другой стороны, вы можете решить проблему капчи, используя решения для капчи, такие как 2Captcha.
Существует пять способов скрести Reddit, и они следующие:
Давайте посмотрим, как можно скрапировать Reddit с помощью Reddit API с помощью следующих шагов.
Сначала мы импортируем встроенные модули Pandas, например, datetime, и два сторонних модуля, PRAW и Pandas, как показано ниже:
импортировать praw
import pandas as pd
import datetime as dtПолучить доступ к данным Reddit можно с помощью Praw, что расшифровывается как Python Reddit API Wrapper. Сначала вам нужно подключиться к Reddit, вызвав функцию praw.Reddit и сохранив ее в переменной. После этого нужно передать функции следующие аргументы.
reddit = praw.Reddit(client_id='PERSONAL_USE_SCRIPT_14_CHARS', \
client_secret='SECRET_KEY_27_CHARS', \
user_agent='YOUR_APP_NAME', \
имя пользователя='YOUR_REDDIT_USER_NAME',\
пароль='YOUR_REDDIT_LOGIN_PASSWORD')subreddit = reddit.subreddit('Nootropics')Каждый субреддит имеет пять различных способов организации тем, созданных участниками Reddit:
Вы можете захватить наиболее популярные темы:
top_subreddit = subreddit.top()Вы получите объект в виде списка, содержащий 100 лучших работ в r/Nootropics. Однако лимит запросов на Reddit составляет 1000, поэтому вы можете контролировать размер выборки, передав ограничение в .top as:
top_subreddit = subreddit.top(limit=600)Вы можете скрести любые данные. Тем не менее, мы будем собирать нижеприведенную информацию о темах:
Для этого мы сохраним наши данные в словаре, а затем используем цикл for, как показано ниже.
topics_dict = { "title":[], \
"score":[], \
"id":[], "url":[], \
"created": [], \
"body":[]}Теперь мы можем получить данные из Reddit API. Мы добавим информацию в наш словарь, итерируя наш объект top_subreddit.
for submission in top_subreddit:
topics_dict["id"].append(submission.id)
topics_dict["title"].append(submission.title)
topics_dict["score"].append(submission.score)
topics_dict["created"].append(submission.created)
topics_dict["body"].append(submission.selftext)Теперь мы поместим наши данные в Pandas Dataframes, поскольку словари Python не так легко читать.
topics_data = pd.DataFrame(topics_dict)В Pandas очень легко создавать файлы данных в различных форматах, поэтому мы используем следующие строки кода для экспорта наших данных в CSV-файл.
topics_data.to_csv('FILENAME.csv', index=False)Вы знаете, что Reddit не слишком строгий сайт, когда дело доходит до ограничений на использование прокси. Но вас могут поймать и наказать, если вы автоматизируете свои действия на Reddit без использования прокси.
Итак, давайте рассмотрим некоторые из лучших прокси для Reddit, которые делятся на две категории:
Ниже перечислены лучшие прокси-серверы для жилых домов и центров обработки данных для Reddit.
ProxyScrape Компания предоставляет своим пользователям три вида услуг, а именно..,
Прокси-серверы нужны, когда вы работаете с автоматическими инструментами на Reddit. Это связано с тем, что Reddit - очень чувствительный сайт, который легко обнаруживает автоматические действия и блокирует ваш IP от доступа к платформе. Поэтому, если вы автоматизируете некоторые задачи, такие как голосования, посты, вступление/невступление в группы и управление несколькими аккаунтами, вам определенно нужно использовать прокси-серверы, чтобы избежать плохих результатов.
Вы можете использовать ручной скраппинг, если ваши требования к скраппингу Reddit невелики. Но если требования велики, вам придется воспользоваться автоматизированными методологиями, такими как инструменты для веб-скрапинга и пользовательские скрипты. Веб-скреперы оказываются экономичными и эффективными с точки зрения затрат и ресурсов, если ваши ежедневные потребности в скрейпинге находятся в пределах нескольких миллионов сообщений.
Итак, давайте рассмотрим некоторые из лучших скреперов Reddit как лучшее решение для соскабливания больших объемов данных Reddit.