LinkedIn provides the perfect social networking platform for professionals with 660 million users out of 303 million active monthly users. So If you haven’t already created a LinkedIn account, do it today. You can rub elbows with industry giants. In this article, we’ll talk about how to scrape emails from LinkedIn accounts. Often you may
LinkedIn - идеальная социальная сеть для профессионалов: 660 миллионов пользователей из 303 миллионов активных ежемесячных пользователей. Так что если вы еще не создали аккаунт в LinkedIn, сделайте это прямо сейчас. Вы сможете пообщаться с гигантами индустрии.
В этой статье мы расскажем о том, как соскребать электронные письма с аккаунтов LinkedIn. Часто вам могут понадобиться адреса электронной почты для процессов найма, которые часто использует ваша компания, или для ненавязчивых рекламных кампаний.
Однако большинство пользователей скрывают свои адреса электронной почты из соображений конфиденциальности. LinkedIn также предоставляет механизмы для маскировки таких адресов электронной почты от посторонних глаз. Поэтому в таких обстоятельствах единственный способ получить доступ к адресам электронной почты - это скраппинг.
Итак, без лишних слов, давайте узнаем, как вы можете осуществлять скраппинг электронной почты с помощью LinkedIn. Но сначала давайте выясним, зачем вам нужен скраппинг из LinkedIn.
Как уже говорилось во вступительном абзаце, он может понадобиться вам в целях подбора персонала или маркетинга. Если говорить немного подробнее, то профиль пользователя в LinkedIn содержит имена, адреса электронной почты, компетентные навыки, профессиональный опыт, квалификацию и т. д. С другой стороны, профили компаний содержат информацию о вакансиях, количестве сотрудников, текущих работниках и другие важные данные.
Таким образом, LinkedIn обладает огромным количеством информации, которая будет чрезвычайно полезна для людей.
Некоторые пользователи могут использовать ботов и краулеров для сбора электронных писем и создания списка адресов электронной почты. Затем они продают эти списки маркетологам и другим группам, которые очень заинтересованы в этих данных.
При всем этом необходимо учитывать и этические аспекты скраппинга электронной почты. Обычно это считается неэтичным, даже если намерения не являются злонамеренными. Тем не менее, эффективность использования электронной почты LinkedIn для построения профессиональных отношений нельзя не признать.
Поэтому в следующем разделе мы рассмотрим законность сбора электронных писем с точки зрения LinkedIn и приведем пример.
Чтобы вы поняли суть вопроса, ответ - категорическое "нет". Документация LinkedIn "Запрещенное программное обеспечение и расширения" строго запрещает использование краулеров, ботов, роботов, скриптов и любых других дополнений или плагинов для сканирования сайта LinkedIn. Чтобы получить представление об этом, вы можете прочитать об использовании скрапов в LinkedIn по приведенной выше ссылке.
LinkedIn соблюдает большинство этих правил, чтобы защитить конфиденциальность своих пользователей. Однако в некоторых из этих законов о борьбе со скрапингом есть серые зоны. Я говорю так потому, что некоторое время назад LinkedIn подала в суд на 100 анонимных скреперов за то, что они скребли данные с LinkedIn. Но до сих пор по этому делу не вынесено никакого вердикта. Это также связано с тем, что LinkedIn не смогла отличить хороший скраппинг от разрушительного.
Описанный выше случай привел к появлению критических вопросов в области скраппинга. Однако они выходят за рамки этой статьи. Итак, я пытаюсь объяснить, что если вы собираетесь скрапить данные из LinkedIn, вы должны знать, что им это не нравится. Поэтому вы должны делать это правильно, о чем вы узнаете в следующих разделах.
Для того чтобы правильно соскребать электронные письма, необходимо учитывать несколько факторов. Вот некоторые из этих важнейших факторов:
Поэтому в следующем разделе мы рассмотрим наиболее безопасный и законный метод извлечения адресов электронной почты из LinkedIn.
Это самый безопасный и легальный способ извлечения писем из LinkedIn.
Прежде чем рассказать вам о шагах по ручному экспорту, предупредим вас об этом методе: в LinkedIn появилась новая настройка конфиденциальности, которая позволяет только привилегированный доступ к идентификаторам электронной почты пользователя. По умолчанию LinkedIn установила для нее значение "сильная конфиденциальность". Однако вы можете изменить эту настройку на "слабую". Тем самым вы отдаете себя на милость хакеров, которые могут использовать ваш адрес электронной почты для вредоносных действий.
Таким образом, с помощью этого метода вы сможете загрузить адреса электронной почты только ваших прямых контактов. Кроме того, вы ограничены в скачивании писем тех, кто изменил свои настройки конфиденциальности по умолчанию на "слабые".
Ниже перечислены шаги, которые необходимо выполнить для загрузки писем вручную:
Затем вы получите электронное письмо, в котором будет ссылка, по которой можно получить запрошенные вами данные.
Как вы видели выше, используя ручной метод, вы получите лишь несколько результатов. Поэтому вам необходимо использовать альтернативный метод в виде инструментов автоматизации. Эти инструменты автоматизации представляют собой приложения для краулинга, предназначенные только для LinkedIn. Давайте познакомимся с некоторыми из них.
PhantomBuster - также называется скребком профиля LinkedIn и представляет собой облачное приложение. HR-менеджеры и рекрутеры часто используют его для извлечения ценных данных, таких как адреса электронной почты потенциальных кандидатов или сотрудников. Если целевые профили являются "прямыми связями", вы сможете легко извлечь информацию. Однако для "косвенных связей" извлечение электронной почты становится сложной задачей. Более подробную информацию об этом инструменте вы можете найти здесь.
Octoparse -это очень умный инструмент для сбора данных, поскольку он использует всего три шага. Сначала он находит данные, выбирает их, а затем экспортирует. Он предоставляет несколько вариантов сохранения данных: в CSV, XLSX или на различные платформы с помощью API-ключа. С его помощью вы можете использовать прокси-серверы для маскировки своих IP-адресов или автоматическую ротацию IP-адресов, чтобы избежать запрета LinkedIn. Читайте дальше, чтобы узнать о Octoparse больше.
SalesQL - этот инструмент является бесплатным и представляет собой расширение для браузера Google Chrome. Поэтому вы можете легко добавить его в свой браузер Chrome. Торговые представители и рекрутеры часто используют этот инструмент для извлечения электронных писем из LinkedIn. Независимо от того, является ли связь первоклассной или нет, вы можете извлечь ее. Вы можете экспортировать контакты в файлы CSV/Excel, ATS (HR-программы) или CRM. Пожалуйста, не стесняйтесь получить дополнительную информацию о SalesQL здесь.
Для того чтобы получить данные от некоторых из вышеперечисленных инструментов, вам будет полезно знать, как задать эти параметры:
Нитки
Потоки - это количество открытых в данный момент соединений, которые вы используете для сбора данных с LinkedIn или любого другого сайта. Чем больше количество потоков, тем быстрее происходит процесс соскабливания. Однако LinkedIn быстро отметит вас.
Поэтому, хотя многие скреперы устанавливают по 10 прокси на поток, лучшим вариантом будет использование одного потока на прокси. Если вы будете использовать больше, LinkedIn заподозрит, что в конечном итоге вы можете оказаться в суде, хотя это может замедлить процесс скраппинга.
Тайм-ауты
Таймауты - это количество времени, которое требуется серверу для ответа на прокси, прежде чем прокси начнет новый запрос. Многие скреперы устанавливают таймауты на 1 или 2 секунды. Тогда результаты будут подавляющими. Однако мы не рекомендуем этого делать, и всегда нужно устанавливать таймауты на более высокий уровень, скажем, 20-30 секунд. Это даст серверу солидную паузу перед приемом нового запроса.
В этом последнем разделе вы узнаете, как соскрести частный профиль. Однако соскабливание частных профилей для поиска электронной почты и других деталей вызовет юридические проблемы для LinkedIn. Это связано с тем, что когда вы создаете аккаунт LinkedIn, LinkedIn обещает защищать ваши данные и не раскрывать их третьим лицам.
Вы можете скрести чьи-то данные, включая адреса электронной почты, в неразрушающих целях. Например, вы ищете работу и ищете внештатных технических писателей в определенном городе. С другой стороны, вы можете использовать данные для исследований. Итак, давайте узнаем, как скрапить частные профили.
Идеальным способом сбора информации из частных профилей является создание учетной записи пользователя. Тогда вы сможете подключиться к максимальному количеству контактов. Однако стоит помнить, что эта учетная запись не предназначена для связи с людьми. Вместо этого используйте его как точку входа в LinkedIn для целей скраппинга.
Я рекомендую использовать для этой цели Octoparse. Он позволяет войти в LinkedIn под своей учетной записью и применить соответствующие поисковые запросы. Затем вы можете выполнять поиск с помощью функции перетаскивания, показывая при этом страницу LinkedIn, на которой вы находитесь.
После создания учетной записи и когда вы будете готовы к поиску с помощью Octoparse, вам нужно определиться с тем, что искать. Тогда Octoparse точно найдет то, что вам нужно. Однако вы можете собрать только доступную информацию, не связанную с контактами, включая адреса электронной почты.
LinkedIn, скорее всего, заблокирует вас вышеописанным способом, если вы не будете соблюдать правила тайм-аутов и потоков.
Кроме того, убедитесь, что при создании учетной записи вы используете прокси-сервер и один и тот же IP-адрес при поиске через Octoparse. Это необходимо потому, что вы представляетесь LinkedIn как человек, поскольку большинство людей не заходят на LinkedIn с разных IP-адресов за доли секунды. Поэтому, если вы используете прокси-сервер для создания учетной записи, используйте тот же прокси-сервер и при сканировании LinkedIn.
Теперь дело за тем, какие прокси использовать и сколько прокси использовать.
Какие прокси-серверы следует использовать для скраппинга в LinkedIn?
Идеальными прокси для скраппинга LinkedIn являются элитные прокси. Это связано с тем, что элитные прокси обеспечивают более высокую анонимность и безопасные настройки заголовков, чем другие типы прокси.
Прежде чем приступать к скраппингу, вы должны хорошо знать, что LinkedIn не любит скраппинг и серьезно относится к виновным. Это означает, что вы должны использовать специальные прокси Elite и частные прокси Elite. Общие или бесплатные прокси просто не подходят для этой цели.
Количество доверенных лиц
Количество прокси будет зависеть от размера, который вы будете скреативить. Как упоминалось выше, при использовании одного прокси на аккаунт рекомендуется использовать 50 аккаунтов и 50 прокси.
Если вы хотите иметь больше прокси на аккаунт, что мы не рекомендуем, используйте где-то 100-150. Затем часто ротируйте их, чтобы LinkedIn не поймал и не забанил их.
С другой стороны, если у вас меньше прокси, LinkedIn, скорее всего, запретит их. Поэтому, чтобы определить оптимальный показатель, вы должны как можно больше экспериментировать с LinkedIn. Это также поможет вам определить, не внесены ли какие-либо из ваших прокси в черный список LinkedIn.
После прочтения этой статьи, мы надеемся, вы получите полное представление о том, как можно скреативить электронную почту через LinkedIn. Самый простой и очевидный способ - использовать ручной метод. Однако это не принесет большого количества результатов. Поэтому наиболее очевидным выбором будет использование автоматизированного инструмента вместе с элитными прокси.
Желаем удачи в извлечении писем из LinkedIn с помощью описанных здесь методов.