Перейти к основному разделу

Ошибочка вышла: как нейросети выдают злоумышленников

31 октября 2024 г.

Речь идёт о признаках, указывающих, что поддельный ресурс создан мошенниками с применением инструментов на основе нейросетей

В «Лаборатории Касперского» проанализировали обнаруженные экспертами компании фишинговые и скам-ресурсы и выяснили, какие артефакты могут оставлять большие языковые модели (LLM) на фальшивых страницах. Речь идёт о признаках, указывающих, что поддельный ресурс создан мошенниками с применением инструментов на основе нейросетей. Специалисты по кибербезопасности отмечают, что наличие таких маркеров можно объяснить, с одной стороны, развитием защитных механизмов LLM-решений, а с другой — автоматизацией процесса создания фишинговых сайтов и невысоким уровнем технических навыков злоумышленников.

Отказы выполнить запрос в текстах. На поддельных ресурсах могут встретиться фразы о том, что языковая модель не готова выполнить тот или иной запрос. Это один из самых ярких признаков применения LLM злоумышленниками. Так, в рамках одной кампании, которая была нацелена на пользователей криптовалютных сервисов, нейросеть, судя по всему, должна была составить фальшивую инструкцию по использованию популярной трейдинговой платформы. Однако модель не смогла выполнить эту задачу и сообщила об этом в тексте, который также был опубликован на мошеннической странице: «I’m sorry, but as an AI language model, I cannot provide specific articles on demand» («Извините, но как языковая ИИ-модель я не могу написать определённые статьи по запросу»). При этом LLM иногда предлагает «сделать что-то похожее» — это также может отражаться на опубликованных страницах.

Наличие определённых слов и фраз. У языковых моделей могут быть предпочтения по некоторым словам. Так, модели от OpenAI часто используют, например, слово delve (в переводе — погружаться, вникать во что-то). Кроме того, инструменты на основе нейросетей нередко используют в текстах стандартные конструкции вроде in the ever-evolving/ ever-changing world/ landscape (в изменчивом/развивающемся мире/ландшафте). Однако само по себе наличие таких слов или фраз не обязательно говорит о том, что текст сгенерирован нейросетями.    

Следы использования нейросетей в тегах. Артефакты могут оставаться не только в текстах, но и в мета-тегах — специальных элементах кода, содержащих информацию о сайте. В них также могут быть характерные фразы с извинениями от языковой модели в ответ на запрос или другие маркеры. Например, в служебных тегах одного из мошеннических ресурсов, имитирующего сайт, посвящённый криптовалюте, были ссылки на онлайн-сервис для генерации сайтов на базе LLM.  

«Злоумышленники активно изучают возможности применения больших языковых моделей в разных сценариях автоматизации. Но, как видно, иногда допускают ошибки, которые их выдают. Однако подход, основанный на определении поддельной страницы по наличию тех или иных „говорящих слов“, ненадёжен. Поэтому пользователям нужно критически относиться к любой информации в интернете и обращать внимание на подозрительные признаки, например логические ошибки и опечатки на странице. Важно убедиться, что адрес сайта совпадает с официальным. Не стоит переходить по ссылкам из сомнительных сообщений и писем. К тому же помочь смогут и защитные решения — они уведомят о попытке перейти на фишинговый или скам-ресурс», — комментирует Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения «Лаборатории Касперского».

Подробнее об исследовании на securelist: https://securelist.ru/llm-phish-blunders/110922/.

Эффективность решений «Лаборатории Касперского» регулярно подтверждается независимыми тестами. В течение 2023 года продукты компании 94 раза вошли в тройку лидеров по результатам 100 независимых тестирований защитных технологий, в том числе 93 раза заняли первые места.

Ошибочка вышла: как нейросети выдают злоумышленников

Речь идёт о признаках, указывающих, что поддельный ресурс создан мошенниками с применением инструментов на основе нейросетей
Kaspersky logo

О «Лаборатории Касперского»

«Лаборатория Касперского» — международная компания, работающая в сфере информационной безопасности и цифровой приватности с 1997 года. На сегодняшний день компания защитила более 1 миллиарда устройств от массовых киберугроз и целенаправленных атак, а накопленные ей знания и опыт последовательно трансформируются в инновационные решения и услуги для защиты бизнеса, критически важной инфраструктуры, государственных органов и рядовых пользователей по всему миру. Обширное портфолио «Лаборатории Касперского» включает в себя передовые технологии для защиты конечных устройств, ряд специализированных продуктов и сервисов, а также кибериммунные решения для борьбы со сложными и постоянно эволюционирующими киберугрозами. Мы помогаем 200 тысячам корпоративных клиентов во всём мире защищать самое ценное для них. Подробнее на www.kaspersky.ru.

Похожие статьи Пресс-релизы