Веб-скрепинг, регулярные выражения и визуализация данных - и все это на Python

Веб-скрепинг можно определить как метод сбора и реструктуризации данных с веб-сайтов. Его также можно определить как программный подход к автоматизированному получению данных с веб-сайта. Например, вы хотите извлечь идентификаторы электронной почты всех людей, прокомментировавших пост в Facebook. Это можно сделать двумя способами. Во-первых, вы можете навести курсор на строку адреса электронной почты любого человека. Затем вы можете скопировать и вставить его в файл. Этот метод известен как ручной скраппинг. Но что делать, если вам нужно собрать 2000 идентификаторов электронной почты? С помощью инструмента веб-скреппинга вы можете извлечь все идентификаторы электронной почты за 30 секунд, а не за 3 часа, как при ручном скреппинге.

Для извлечения информации с веб-сайтов можно использовать инструменты веб-скреппинга. Для этого достаточно уметь нажимать на кнопки, а знания программирования не требуются. Эти инструменты экономичны и позволяют сэкономить время и средства. Вы можете отсканировать миллионы страниц в соответствии с вашими потребностями, не беспокоясь о пропускной способности сети. На некоторых сайтах установлены антиботы, которые препятствуют сбору данных. Но хорошие инструменты для веб-скрапинга имеют встроенные функции, позволяющие обойти эти инструменты и обеспечить беспрепятственный сбор данных.

запросы на импорт

r = requests.get('http://www.cleveland.com/metro/index.ssf/2017/12/case_western_reserve_university_president_barbara_snyders_base_salary_and_bonus_pay_tops_among_private_colleges_in_ohio.html')

c = r.content

Вам необходимо импортировать библиотеку BeautifulSoup, поскольку она позволяет легко соскабливать информацию с веб-страниц.

из bs4 import BeautifulSoup

Вам нужно создать объект BeautifulSoup из содержимого и разобрать его с помощью нескольких методов.

суп = BeautifulSoup(c)
print(soup.get_text())

На выходе (это только часть) вы получите примерно следующее.

main_content = soup.find('div', attrs = {'class': 'entry-content'})

content = main_content.find('ul').text
print(content)

Мы извлекли текст таблицы в виде строки. Но информация будет очень полезной, если мы извлечем определенные части текстовой строки. Чтобы решить эту задачу, нам нужно перейти к регулярным выражениям.

Предположим, мы хотим извлечь из текстовой таблицы следующую информацию.

Вы можете извлечь эти три части информации, выполнив следующие действия.

импорт re
шаблон_зарплаты = re.compile(r'\$.+')
зарплаты = salary_pattern.findall(content)

Повторите ту же процедуру для извлечения названий колледжей. Составьте шаблон и извлеките названия. 

school_pattern = re.compile(r'(?:,|,\s)([A-Z]{1}.*?)(?:\s\(|:|,)')
schools = school_pattern.findall(content)
print(schools)
print(salaries)

Повторите ту же процедуру для извлечения имен президентов. Составьте шаблон и извлеките нужные имена. 

name_pattern = re.compile(r'^([A-Z]{1}.+?)(?:,)', flags = re.M)
names = name_pattern.findall(content)
print(names)

Зарплаты выглядят беспорядочно и не поддаются пониманию. Поэтому для преобразования строковых зарплат в числа мы используем понимание списка в Python. Для достижения желаемых результатов мы будем использовать нарезку строк, разделение и соединение, а также понимание списка.

зарплата = ['$876 001', '$543 903', '$2453 896']
[int(''.join(s[1:].split(',')) for s in salaries]

На выходе получаем следующее:

Визуализация данных помогает понять их наглядно, чтобы выявить тенденции, закономерности и корреляции. Вы можете преобразовать большой объем данных в графики, диаграммы и другие визуальные образы, чтобы выявить отклонения и получить ценные сведения.

Мы можем использовать matplotlib для визуализации данных, как показано ниже.

Импортируйте необходимые библиотеки, как показано ниже.

import pandas as pd
import matplotlib.pyplot as plt

Создайте фрейм данных pandas, содержащий школы, имена и зарплаты. Например, школы можно преобразовать в кадр данных следующим образом:

df_school = pd.DataFrame(schools)
print(df_school)

Выходные данные:

Аналогичным образом можно поступить с зарплатами и именами.

Для визуализации данных мы можем построить гистограмму, как показано ниже.

df.plot(kind='barh', x = 'President', y = 'salary')

На выходе получаем следующее:

Веб-скрепинг помогает компаниям извлекать полезную информацию о рынке и отраслях, чтобы предлагать услуги, основанные на данных, и принимать решения, основанные на данных. Прокси-серверы необходимы для эффективного сбора данных с различных веб-сайтов по следующим причинам.

Знаете ли вы, сколько прокси необходимо для получения всех вышеперечисленных преимуществ? Вы можете рассчитать необходимое количество прокси, используя эту формулу:

Количество запросов на доступ зависит от следующих параметров.

С другой стороны, скорость переползания ограничивается количеством запросов, которые пользователь делает за определенный промежуток времени. Некоторые сайты разрешают ограниченное количество запросов для одного пользователя, чтобы разграничить автоматические и человеческие запросы. 

Вы можете использовать прокси в Python, выполнив следующие действия.

запросы на импорт

proxy = 'http://114.121.248.251:8080'
url = 'https://ipecho.net/plain'

page = requests.get(url,
                    proxies={"http": proxy, "https": proxy})

печать(страница.текст)

На выходе получаем следующее: