Анкеты для академических исследований

Академические исследования предполагают сбор большого количества данных из различных источников, независимо от того, является ли ваше исследование количественным или качественным. Из-за всеобъемлющего характера этих онлайн-данных академическим исследователям приходится прибегать к технологиям для их извлечения. Одним из таких автоматизированных методов, который мы рассмотрим в этой статье, является веб-скрепинг. Однако веб

Академические исследования предполагают сбор большого количества данных из различных источников, независимо от того, является ли ваше исследование количественным или качественным. Из-за всеобъемлющего характера этих онлайн-данных академические исследователи вынуждены полагаться на технологии для их извлечения.

Одним из таких автоматизированных методов, который мы рассмотрим в этой статье, является веб-скрепинг. Однако один только веб-скрепинг не принесет результатов. Вам придется полагаться на прокси-серверы, а также руководствоваться этическими соображениями.

Но сначала мы изучим природу этих данных. 

Основные характеристики онлайн-данных для академических исследований

Для академических исследований данные в Интернете состоят из структурированных, неструктурированных и полуструктурированных количественных и качественных данных. Они разбросаны по всему Интернету в блогах, твитах, электронных письмах, базах данных, веб-страницах, HTML-таблицах, фотографиях, видео и т. д.

При извлечении таких больших объемов данных из Интернета часто приходится решать несколько технических задач. Эти проблемы обусловлены объемом, разнообразием, достоверностью и скоростью передачи данных. Давайте рассмотрим каждую из этих переменных:

Объем - объем данных измеряется в зеттабайтах (миллиардах гигабайт), так как они представляют собой большие объемы.

Во-вторых, хранилища или базы данных, в которых хранятся эти данные, имеют различные форматы и опираются на множество технологических и нормативных стандартов. 

Скорость - в-третьих, данные, представленные в Интернете, динамичны, поскольку генерируются с невероятной скоростью.

Достоверность - последней характеристикой данных, доступных для исследования, является достоверность данных. Поскольку данные взаимодействуют в сети анонимно в силу своей свободной и открытой природы, ни один исследователь не сможет подтвердить, что требуемые данные доступны в сети в достаточном объеме, что подтверждает их качество.

Из-за вышеперечисленных факторов академическим исследователям было бы нецелесообразно начинать сбор данных вручную. Поэтому наиболее распространенной практикой сбора данных для исследований является веб-скрепинг. Мы рассмотрим это в следующем разделе.

Как веб-скрапинг может помочь вам в научных исследованиях?

Итак, веб-скрепинг - это автоматическое извлечение веб-данных из таких источников, как научные журналы, исследовательские форумы, научные статьи, базы данных и другие источники, которые необходимы вам для академических исследований с целью дальнейшего анализа.

Веб-скреппинг состоит из следующих этапов:

Анализ веб-сайтов

Это процесс исследования базовой структуры объекта, в котором хранятся данные. Таким объектом может быть веб-сайт или хранилище, например база данных. Цель этого исследования - понять, как хранятся нужные вам данные. Для этого необходимо понимать строительные блоки, из которых состоит веб-архитектура: HTML, CSS, XML и т. д. для языков разметки и MySQL для веб-баз данных.

Веб-ползание

Создание веб-сайтов - это создание автоматизированных скриптов с использованием языков программирования высокого уровня, таких как Python, для просмотра веб-страниц с целью извлечения нужных данных. У вас есть возможность создать скрипт с нуля или приобрести уже готовый.

Python содержит такие библиотеки, как Scrapy и Beautiful Soap Library , для автоматического сбора и разбора данных. Подробнее о веб-скраппинге и скраппинге читайте в этой статье.

Организация данных

После того как инструмент для сбора информации соберет необходимые данные с веб-сайта или хранилища, их нужно очистить, предварительно обработать и организовать для дальнейшего анализа. Таким образом, для экономии времени может потребоваться программный подход. И снова языки программирования, такие как Python, содержат библиотеки обработки естественного языка (NLP), которые помогут вам организовать и очистить данные. 

К этому моменту вы уже должны были понять, что автоматизировать весь процесс скрапбукинга довольно сложно. Он требует определенного контроля со стороны человека. 

Теперь вы получили представление обо всем процессе веб-скрепинга. Настало время рассмотреть некоторые этические аспекты веб-скрепинга, поскольку вы должны знать, что можно и чего нельзя делать при скрепинге.  

Этические аспекты веб-скреппинга для академических исследований

Если у вас есть автоматические инструменты для сбора информации, значит ли это, что вы можете скрести все, что угодно? В том числе данные исследований, которые находятся за страницей входа или закрытым форумом?

Хотя в законодательстве существуют серые зоны, связанные с веб-скреппингом, следует отметить, что неэтично скрести данные, к которым обычный пользователь не имеет доступа, о чем мы поговорим ниже.

В конце концов, веб-скреппинг может нанести непреднамеренный вред, например, владельцам веб-сайта. Этот вред и опасность трудно предсказать и определить.

Вот некоторые из вероятных пагубных последствий веб-скреппинга:

Индивидуальная конфиденциальность

Исследовательский проект, основанный на сборе данных с веб-сайта, может случайно поставить под угрозу конфиденциальность людей, участвующих в деятельности веб-сайта. Например, сравнивая данные, собранные на сайте, с другими онлайн и офлайн-ресурсами, исследователь непреднамеренно раскрывает, кто создал эти данные.

Конфиденциальность и коммерческая тайна организации

Как и люди имеют право на неприкосновенность частной жизни, так и организации имеют право сохранять конфиденциальность определенных частей своей деятельности. 

С другой стороны, автоматический скраппинг может легко раскрыть коммерческую тайну или конфиденциальную информацию об организации, которой принадлежит сайт. Например, подсчитав количество объявлений о найме на сайте по подбору персонала, умный пользователь сможет примерно определить доходы компании. Такой сценарий может привести к подрыву репутации компании и даже к финансовым потерям.

Снижение ценности организации

Если вы зайдете на сайт без доступа к его фронтенду или интерфейсу, вы не сможете ознакомиться с маркетинговыми кампаниями, которые сайт использует для получения прибыли. Аналогичным образом, проект веб-скреппинга может привести к созданию продукта, который клиенты вряд ли купят у реального владельца продукта. Это опять же приведет к финансовым потерям для организации, снизив ее стоимость.

Скраппинг данных социальных сетей для академических исследований

Социальные сети - один из самых распространенных источников для получения различных данных для исследований. Это объясняется наличием различной информации - от социального поведения до политических новостей. Однако с этической точки зрения собрать все данные не так просто, как может показаться.

Одна из причин - социальные сети содержат множество персональных данных. Эти данные также защищены различными правовыми нормами. Кроме того, этические нормы научного сообщества предписывают вам защищать конфиденциальность пользователей. Это означает, что вы должны любой ценой избежать вреда от общения с реальными людьми, о которых говорится в вашем исследовании.

На самом деле, вы не можете видеть ни одного из испытуемых, связанных с вашим исследованием, в их частной среде. Это, безусловно, относится к доступу к их профилям на Facebook, стене или личным сообщениям, к которым у вас нет доступа. 

Очевидно, что при проведении количественных исследований вы не нанесете личного вреда человеку из-за утечки данных. Поэтому при проведении качественных исследований следует помнить о раскрытии личной информации, приводя в качестве доказательства сообщения пользователей.

Оптимальным решением будет использование техники псевдонимизации, которая позволяет исследовать данные и отслеживать действия субъекта без ущерба для его конфиденциальности.

Как прокси-серверы могут помочь этичному скраппингу в академических исследованиях

Прокси могут сыграть огромную роль, когда речь идет о сборе данных для академических исследований. Существуют гигантские массивы данных из различных источников, из которых можно выбирать, и ограничения усложняют исследования. Прокси могут помочь вам преодолеть многие из этих препятствий. Давайте узнаем, как это сделать.

Обход геоограничений по местоположению - некоторые журналы и научные работы ограничивают доступ для пользователей из определенных стран. Используя прокси-серверы, вы можете обойти это ограничение, поскольку они маскируют ваш IP-адрес. Кроме того, вы можете выбрать прокси из разных точек земного шара, чтобы прокси не раскрывали ваше местоположение.

Автоматизируйте процесс сбора данных. Как вы уже поняли из предыдущего раздела, веб-скреперы могут соскребать огромное количество данных. Однако они не смогут обойти ограничения, накладываемые веб-сайтами, такие как капча. Прокси-серверы могут помочь вам преодолеть эти ограничения и помочь скреперам собрать большую часть данных.

Обеспечивает безопасность и анонимность. Когда вы занимаетесь исследовательскими проектами для организаций, вы можете стать жертвой хакеров. Это связано с тем, что хакеры могут перехватить ваше соединение и украсть конфиденциальные данные. Однако, находясь за прокси-сервером, вы будете анонимны, так как ваш IP-адрес будет скрыт. Поэтому хакер не сможет украсть ваши данные.

Какой тип прокси-серверов наиболее подходящий?

Вы можете использовать прокси-серверы для центров обработки данных или для жилых домов, чтобы замаскировать свой IP-адрес среди доступных прокси-серверов. 

С помощью прокси-серверов Residential вы сможете использовать пул IP-адресов из нескольких стран, о чем мы уже говорили выше.

Более того, если вы используете пул прокси-серверов, вы можете чередовать их, чтобы целевой веб-сайт выглядел как разные источники доступа к нему. Так вы с наименьшей вероятностью получите блокировку по IP-адресу.

Кроме того, некоторые исследовательские сайты отображают разную информацию для пользователей из разных стран. Поэтому еще одно преимущество вращающихся прокси заключается в том, что вы можете менять свое местоположение и проверять, меняются ли данные с помощью этих разных прокси. Это гарантирует, что ваше исследование будет всесторонним и эффективным, полученным из нескольких источников из разных стран. 

Прокси в журналистике данных

Когда журналисты занимаются сбором данных из журналов, большинство из них беспокоятся о том, чтобы идентифицировать себя. Некоторые журналисты считают, что при сборе данных с определенных сайтов необходимо идентифицировать себя. Это аналогично тому, как если бы вы представились кому-то перед интервью.

Так что если вы журналист, который предпочитает идентифицировать себя, вы должны написать в HTTP-заголовке примечание, содержащее ваше имя, и вы - журналист. Вы также можете оставить свой номер телефона, если вдруг веб-мастер захочет с вами связаться.

Если же вы журналист, который не хочет раскрывать себя при сборе данных для статьи, вы можете собирать данные анонимно с помощью прокси-серверов. Однако при этом вам придется придерживаться лучших этических норм и следовать правилам сайта, как мы уже говорили выше. Этот сценарий похож на проведение интервью под прикрытием, когда объект не знает, что вы его опрашиваете. 

Заключение

Мы надеемся, что у вас есть понимание процесса соскабливания данных для академических исследований. При соскабливании данных существуют этические нормы, которым вы должны следовать, не причиняя непреднамеренного вреда владельцам сайтов.

Прокси-серверы могут стать вашим спасителем в таких обстоятельствах, а также преодолеть ограничения, упомянутые в этой статье.

Мы надеемся, что вам понравится читать эту статью и вы будете применять методы, упомянутые в ней, для соскабливания исследовательских данных для своих исследований.