Машинное обучение как инструмент мошенника

Новые технологии, конечно, меняют мир. А вот человеческая психика при этом не меняется. Так что умельцы используют и технологические новинки, и «уязвимости» человеческого мозга для незаконного обогащения. Красочный пример — история о том, как мошенники с помощью машинного обучения имитировали голос генерального директора международной компании, чтобы заставить руководителя дочернего предприятия перевести деньги на левые счета.

Что случилось?

Детали атаки неизвестны, однако Wall Streat Journal со ссылкой на страховую фирму Euler Hermes Group SA описывает инцидент следующим образом:

1. Руководителю британской энергетической компании позвонил его непосредственный начальник из немецкого головного офиса. Он попросил в течение часа перевести 220 000 евро на счет вымышленного венгерского поставщика.
2. Британец перевел требуемую сумму.
3. Злоумышленники позвонили еще раз и сообщили, что головная компания переводит средства для возмещения этих расходов.
4. Позже в тот же день поступил новый звонок от «директора», который попросил провести еще один платеж.
5. Поскольку средства из головного офиса так и не поступили, а звонили мошенники с австрийского номера, а не с немецкого, руководитель британского отделения заподозрил неладное и не стал переводить деньги.

Как это было проделано?

Страховщики рассматривают две версии. Либо злоумышленники перелопатили огромное количество записей голоса директора немецкой фирмы и вручную смонтировали из обрезков реплики, либо (что более вероятно) натравили на записи алгоритмы машинного обучения. Первый способ трудоемок и ненадежен — смонтировать связанное предложение из отдельных слов без уловимых ухом недочетов крайне сложно. А по словам британца, речь была абсолютно нормальной, с однозначно узнаваемым тембром голоса и легким немецким акцентом. Так что основной подозреваемый — машина. Но успешной атака стала не столько из-за применения новых технологий, сколько благодаря когнитивному искажению — подчинению авторитету.

Разбор полетов с точки зрения психологии

Социальные психологи неоднократно ставили эксперименты, показывающие, что разумные, опытные люди порой готовы беспрекословно подчиняться авторитету. Даже в том случае, если это противоречит их собственным убеждениям, здравому смыслу или соображениям безопасности.

Лучше всего такой эксперимент описан в книге Филипа Зимбардо «Эффект Люцифера (Почему хорошие люди превращаются в злодеев)». Если очень коротко – медсестрам по телефону звонил врач и просил вколоть пациенту дозу лекарства, вдвое превышающую максимально допустимую. 21 из 22 медсестер начали наполнять шприц, как только им поступило указание. Простой опрос показал, что почти каждая вторая медсестра хотя бы раз выполнила указание врача, которое, по ее мнению, могло нанести вред пациенту. Эти послушные медсестры считали, что, следуя сомнительным указаниям, они несут меньше ответственности, чем врач, имеющий «законные полномочия» — право назначать лечение пациенту.

Психолог Стэнли Милгрэм объясняет беспрекословность подчинения авторитету также теорией субъектности, суть которой состоит в том, что когда человек воспринимает себя как инструмент для исполнения воли другого, то он не чувствует себя ответственным за свои поступки.

И что в итоге делать?

Теперь нужно помнить, что вы не можете со 100% уверенностью знать, с кем вы говорите по телефону. Особенно если ваш собеседник — фигура публичная и запись его голоса (интервью, доклады, выступления) доступна широкой публике. Да, пока это редкий случай, но со временем такие инциденты будут происходить все чаще.

Еще важнее понимать, что вы можете пойти на поводу у злоумышленников, выполняя, казалось бы, распоряжение начальства. Подчиняться руководству, разумеется, нормально. Вредит это только тогда, когда сотрудник по каким-то причинам боится или не хочет подвергать сомнению странное или нелогичное решение начальника.

Руководителям мы можем посоветовать только не поощрять бездумное следование приказам. Стараться не отдавать распоряжений, не объясняя их смысла. Тогда сотрудник с большей вероятностью задумается, получив необычный приказ без логического обоснования.

С технической же точки зрения мы рекомендуем:

• Четко прописать процедуру перевода финансовых средств, чтобы даже у высокопоставленных сотрудников не было возможности бесконтрольно в одиночку перевести их на сторонние счета. Переводы крупных сумм должны авторизоваться несколькими менеджерами.
• Обучить сотрудников основам кибербезопасности и научить скептически относиться к неожиданным приказам. В этом помогут наши программы по повышению осведомленности об угрозах.