Социальные рейтинги: ваш пост могут использовать против вас

Трудно представить жизнь без соцсетей. В них люди общаются, делятся творчеством и обсуждают последние новости. А еще с их помощью вас могут оценивать: достаточно ли вы надежны, чтобы выплатить кредит? Подходите ли вы на ту или иную должность?

Оценка потенциала человека на основе его прошлых действий, круга общения и прочих факторов называется социальным рейтингом. Он похож на рейтинг, которым пользуются банки, изучающие вашу кредитную историю, прежде чем выдать деньги, но может включать гораздо более разнообразную информацию.

Социальные рейтинги уже используют во многих странах. Например, в США, в Нью-Йорке страховщикам официально разрешено принимать решения относительно стоимости полисов, анализируя данные из соцсетей.

В Китае разрабатывают систему социальных рейтингов государственного масштаба — в Интернете полно статей, в которых об этом рассказывается в духе антиутопии вроде «1984». Правда, существует и другое мнение: подобные системы не только не страшны, но даже полезны, ведь они позволяют сделать жизнь безопаснее. Давайте разберемся, готовы ли люди и технологии к таким проектам.

Социальные рейтинги: что думают люди

Чтобы узнать, как пользователи относятся к социальным рейтингам, мы опросили более 10 тысяч человек по всему миру. И вот что мы выяснили.

О социальных рейтингах слышало чуть меньше половины опрошенных (46%). В Азии это явление более известно: в Китае, где рейтинги вводят на государственном уровне, о них знает 71% респондентов, а в Австрии и Германии — только 13%. При этом почти половина (45%) респондентов признались, что им сложно понять, как рассчитываются эти рейтинги. А в жизни с ними сталкивался лишь каждый пятый (21%) — хотя не исключено, что часть людей просто не знает, что отказ в кредите или аренде был как-то связан с социальным рейтингом.

Тем не менее с идеей, лежащей в основе социальных рейтингов, многие в целом согласны. Так, 70% участников опроса считает, что за некоторые поступки справедливо и правильно ограничивать людям доступ к общественным ресурсам — транспорту, образованию, аренде недвижимости и так далее.

К примеру, ради повышения безопасности почти половина опрошенных готова позволить государству мониторить социальные сети, а двое из пяти поделятся своими данными с бизнесом в обмен на скидки и дополнительные привилегии. И только около 20% опрошенных отметили, что интерес частных и государственных организаций к приватной информации их не радует.

Социальные рейтинги: что насчет технологий?

Многие из опрошенных нами людей готовы поддержать идею социальных рейтингов, вероятно, полагая, что она будет в общем и среднем выдавать справедливую и непредвзятую оценку. Увы, при имеющихся технологиях это, скорее всего, окажется не так.

Во-первых, в текущей реализации рейтингов сложно отслеживать ошибки. В ее основе лежат нейронные сети, о принципах работы которых мало знают не только участники нашего опроса, но и разработчики, не говоря уже о тех, кто пользуется такой системой. Понижая или повышая чей-то рейтинг, нейросеть не объясняет, на основании каких именно данных она пришла к этому решению. В результате организации приходится слепо доверять ей: машина сказала, что вам нельзя давать кредит, — значит, нельзя. Даже если на самом деле вы порядочный человек с хорошим и легальным доходом.

В медицине и компьютерной безопасности это называется «ложноположительное срабатывание». Это значит, что медицинский тест ошибочно определил заболевание, которого на самом деле у пациента нет, или защитное решение по ошибке пометило чистый файл как зараженный.

Если говорить о близких нам антивирусах, то уровень ложных срабатываний значительно варьируется от одного продукта к другому. Некоторые решения выдают неверные вердикты существенно чаще среднего, другие — реже (у наших продуктов при этом минимальный уровень ложных срабатываний). Так что, во-первых, все зависит от конкретной реализации. А во-вторых, полностью исключать вероятность ошибки все равно нельзя. В случае рейтингов, влияющих на человеческие права и даже судьбы, цена такой ошибки может быть очень велика.

Помимо того, что система может ошибаться из-за несовершенства алгоритмов или данных, на основе которых принимается решение, ее также можно намеренно взломать. Если говорить о социальных рейтингах на государственном уровне, то наши эксперты выделили три типа возможных атак на них.

1. Атаки на устройства, собирающие данные

Чтобы оценить, насколько высокий рейтинг следует присвоить конкретному человеку, системе нужно очень много информации о нем. Она получает эту информацию не только из соцсетей, но и с множества всевозможных камер и датчиков — так называемого Интернета вещей. Эти устройства, как правило, уязвимы и постоянно подвергаются атакам. Только за первую половину 2019 года мы обнаружили 105 миллионов попыток их взломать.

2. Атаки на программную реализацию

Чтобы присвоить социальный рейтинг, системе недостаточно собрать информацию, ее нужно еще обработать и интерпретировать. Механизм, который этим занимается, тоже может оказаться уязвимым — как к заражению вредоносным кодом, так и к довольно нестандартным атакам.

Например, злоумышленник может надеть очки с разноцветными линзами — и человек его без проблем узнает, а умная камера примет за кого-то совершенно другого. И все действия, которые он совершит, система запишет на чужой счет.

3. Атаки на логику системы

Наконец, злоумышленник может вычислить некоторые действия, повышающие или понижающие рейтинг. Если многократно повторить эти действия, рейтинг изменится до неузнаваемости. Так, эксплуатируя пробелы и недоработки в правилах, по которым работает система, можно накрутить рейтинг себе — или наоборот, испортить его кому-то другому.

Как подготовиться к социальным рейтингам

В общем, система социальных рейтингов может оказаться далеко не такой непредвзятой и справедливой, как того бы хотелось. Тем не менее такие системы уже используют в отдельных сферах, и скорее всего, со временем их будут внедрять шире. Полностью оградить себя от их ошибок, к сожалению, не получится. Однако можно попытаться минимизировать возможные риски.

• Трижды подумайте, прежде чем запостить в социальных сетях двусмысленные фотографии с вечеринки или другую информацию, которая может вас скомпрометировать. Некоторые вещи лучше оставить для себя. Как минимум — не публиковать в открытом доступе.
• Защищайте свои аккаунты, чтобы злоумышленники не смогли их взломать и использовать против вас. Придумывайте сложные уникальные пароли, подключайте двухфакторную аутентификацию — и не вводите свои учетные данные где попало.
• Позаботьтесь о своей приватности. Чтобы банк не отказал вам в кредите из-за того, что вы, скажем, активно ищете работу, защищайтесь от сбора данных в Интернете. Это не только можно, но и нужно делать. Как именно — мы рассказали в отдельном посте.