Значительную долю современных киберугроз составляют атаки, в ходе которых злоумышленник присылает потенциальной жертве ссылку, при переходе по которой может происходить заражение компьютера или учёта ценной информации.

Для борьбы с такого типа угрозами современные системы защиты используют множество различных технологий по детектированию вредоносных URL адресов. В данном кейсе предлагается рассмотреть применение технологий машинного обучения для этой задачи. Подходы машинного обучения отлично дополняют технологии основанные на списках блокировки и эвристических правилах.

Любая задача машинного обучения начинается с набора данных. В данном кейсе собран набор данных с разметкой на 2 класса (вредоносные и безвредные) из различных открытых источников, в том числе с использованием технологий случайной генерации доменных имен.

Скачать данные

Пароль для скачивания файлов - g2LmWVBfvEJT9eRUQdpzbqdC

В качестве решения задачи вы должны подготовить модель машинного обучения и оценить метрику ее качества. В качестве метрики следует использовать площадь под ROC-кривой (ROC-AUC).

Ваше решение должно быть по метрике ROC-AUC лучше случайного классификатора. Т.е. ROC-AUC на тестовой выборке должен быть больше 0.5.


Советы:

· решение удобней всего оформить в виде jupyter notebook. Для этого можно воспользоваться онлайн-инструментом https://colab.research.google.com;
· подумайте, как вы будете разделять данные для обучения и тестирования модели;
· URL можно рассматривать как текст, то также стоит уделить внимание специальным символам и проверить идеи по ручному и автоматическому извлечению признаков.