В настоящее время многие компании при принятии решений зависят от большого количества данных, полученных через Интернет с помощью веб-скреппинга. Однако веб-скреппинг часто сталкивается с рядом проблем, и одна из них - это ловушки-медовые точки.
С другой стороны, Honeypots - это жизненно важный актив для обеспечения кибербезопасности вашей организации.
Итак, в этой статье мы сделаем обзор медовых точек, а затем перейдем к тому, как избежать ловушек медовых точек при веб-скреппинге.
Honeypots в сетевой безопасности - это система-обманка, созданная по аналогии с легитимной взломанной системой. Ее основная задача - приманить киберпреступников, чтобы они потратили время и силы на использование преднамеренных уязвимостей компьютерной системы. Затем она оповещает вашу внутреннюю команду кибербезопасности о попытках злоумышленников скомпрометировать систему.
Такая бдительность позволит вашей команде безопасности исследовать реальные атаки с помощью honeypots, чтобы устранить уязвимости и отвлечь злоумышленников от нанесения вреда легитимной системе.
Поскольку honeypots идентичны реальной компьютерной системе с прикладным программным обеспечением и данными, чтобы обмануть киберпреступников, они намеренно разрабатываются с лазейками в системе безопасности. Ярким примером могут служить некоторые уязвимые порты, оставленные открытыми, чтобы заманить злоумышленников в honeypot, а не в реальную систему.
Кроме того, еще одним сценарием использования honeypot может быть имитация страницы платежного шлюза в Интернете, которая является идеальной мишенью для злоумышленников для шпионажа за номерами кредитных карт. Как только киберпреступник попадает на такую страницу, ваша команда безопасности может оценить его поведение и отследить его перемещения, чтобы сделать легитимный платежный шлюз более безопасным.
Судя по работе honeypots, вы можете считать их ценным инструментом, который помогает выявить уязвимые места в системе безопасности вашей организации и обнаружить новые угрозы. Кроме того, вы сможете проанализировать тенденции злоумышленников и внедрить механизмы защиты от таких угроз.
Honeypots можно классифицировать по уровню развертывания и вовлеченности. По степени развертывания их можно разделить на следующие категории:
Затем, исходя из уровня вовлеченности, honeypots можно классифицировать следующим образом:
До сих пор вы знали, что медовая точка - это одна виртуальная машина в сети. В отличие от этого, honeynets - это несколько honeypots, объединенных в сеть, как показано на диаграмме ниже. Одной honeypot недостаточно для отслеживания подозрительного трафика, поступающего в более обширную сеть.
Сети подключены к остальной сети через шлюз "honeywall", который отслеживает трафик, поступающий в сеть, и направляет его на узлы honeypot.
С помощью honeynet ваша команда безопасности может исследовать масштабные угрозы кибербезопасности, такие как распределенные атаки типа "отказ в обслуживании" (DDOS) и программы-вымогатели. Затем команда безопасности может принять соответствующие меры предосторожности, чтобы оттеснить злоумышленников от реальной системы.
Honeynets защищают всю вашу сеть от входящего и исходящего подозрительного трафика и являются частью обширной сети вторжения.
Теперь вы можете предположить, что с наличием honeypots ваша сеть полностью защищена. Однако на самом деле это не так, поскольку honeypots имеют ряд недостатков и не заменяют ни один механизм безопасности.
Медовые точки не могут обнаружить все существующие угрозы безопасности - если конкретная угроза не проникла через лазейки в медовой точке, это не значит, что она не проникнет в легитимную систему. С другой стороны, хакер-эксперт определит, что honeypot нелегитимен, и атакует другие сетевые системы, оставляя honeypot нетронутым.
Злоумышленник также может совершать спуф-атаки, чтобы отвлечь ваше внимание от реального эксплойта в производственной среде.
Хуже того, более изобретательный хакер может использовать honeypot как способ проникновения в вашу производственную среду. Это очевидная причина, по которой honeypots не могут заменить другие механизмы безопасности, такие как брандмауэры. Так как honeypot может стать стартовой площадкой для атаки на остальную систему, вы должны принять соответствующие меры предосторожности по отношению к каждому honeypot в сети.
Чтобы избежать нелегального веб-скраппинга, который подразумевает наличие лишь нескольких скреперов, соскребающих информацию, защищенную авторским правом, существуют ловушки honeypot. К сожалению, из-за такого небольшого количества скреперов легальным скреперам тоже приходится иногда расплачиваться. Это происходит потому, что медовые точки не в состоянии отличить легитимных скреперов от нелегитимных.
Веб-страницы содержат ссылки, доступ к которым имеют только краулеры. Поэтому, когда краулер считывает данные с этих ссылок, веб-сайт обнаруживает активность краулера. Таким образом, сайт с ловушками honeypot может легко отследить и обнаружить вашу деятельность по скраппингу, поскольку скраппинг с таких сайтов является незаконным. В результате ваш IP, скорее всего, будет заблокирован, и, следовательно, вы не сможете получить нужные данные.
Чтобы приманить скреперов, некоторые сайты с "медовыми" ссылками используют свойство CSS display равным none. Поэтому вы должны убедиться, что ваш краулер переходит только по видимым ссылкам. Кроме того, чтобы избежать блокировок, лучше всего следовать правилам и рекомендациям сайта, с которого вы скребёте.
Несмотря на то, что у honeypots есть определенные риски, преимущества, как показано в разделе "Ограничения", безусловно, перевешивают их. Поэтому honeypots - это важный механизм, который необходимо иметь при рассмотрении инвестиций в безопасность вашей организации. С другой стороны, убедитесь, что оценкой безопасности и honeypots занимаются профессионалы с опытом работы.