Как читать тесты антивирусов

Мы уважаем право пользователя на выбор любого надежного антивируса. Именно поэтому «Лаборатория Касперского» принимает участие практически во всех признанных индустрией независимых тестированиях – ведь именно на них приходится ориентироваться, когда дело доходит до сравнения защитных решений. Но важно понимать, что стоит за каждым значком «Одобрено» и «Сертифицировано».

Каждый кулик свое болото хвалит. Поэтому, выбирая между несколькими уважаемыми и популярными защитными решениями, разумный пользователь не только изучает аргументы и обещания каждого производителя, но и обращается к независимой экспертизе. Существует множество специализированных компаний, которые целые дни занимаются именно этим – тестируют различные антивирусы, сетевые экраны, системы проактивной защиты и все прочие компоненты, которые сегодня входят в полноценный защитный боекомплект частного пользователя или компании. Каждая тестовая лаборатория имеет свою систему оценок и свою методику, поэтому важно понимать, чего стоит каждая из «медалей» и на что можно рассчитывать, выбрав защитное решение «медалиста». Мы очень коротко расскажем о том, что стоит за наградой некоторых самых известных лабораторий: AV-Comparatives, AV-TEST, Dennis Technology Labs, Virus Bulletin.

Главный тест

Важнейшая вещь, которую оценивают в лабораториях (и что проблематично повторить обычному пользователю у себя дома), – качество защиты от вредоносных программ (по-простому – вирусов). Для этого используют два основных подхода («жизненный» и «классический») и их комбинацию.

Сегодня многие эксперты считают, что более важным для пользователя является «жизненный» тест, в котором на защищенном антивирусом компьютере открывают вредоносные/зараженные веб-сайты и почтовые вложения, проводя учет, какой процент угроз был обнаружен и заблокирован до вторжения в систему. Преимуществом метода является то, что им проверяются все защитные технологии продукта (а их сейчас великое множество) и используются только самые свежие и актуальные угрозы.
У «классического» теста есть несколько разновидностей, но в целом он проводится так – антивирусный сканер «натравливают» на папку, в которой среди многих тысяч файлов «запрятана» коллекция из нескольких сотен или тысяч актуальных вредоносных приложений разного вида. Антивирус в идеале должен поймать 100% вредоносных файлов. Второй важный параметр, который можно оценить одновременно, – процент ложных срабатываний. На «чистые» файлы из папки антивирус ругаться не должен, поэтому в идеале это 0%.

Важные дополнения

Самый надежный в мире антивирус не может гарантировать 100% защиту, потому что мало просто хорошо обнаруживать вирусы – нужно уметь хорошо лечить зараженный компьютер, например если оказалось, что зараза пробралась на машину раньше. Это немаловажно, ведь, по статистике «Лаборатории Касперского», в 5% случаев антивирус устанавливается на уже зараженный компьютер. А бывают еще и пользовательские ошибки, в результате которых вирус пробирается на машину…
Ну и кроме того, очень желательно, чтобы антивирус не тормозил систему и не беспокоил пользователя частыми запросами и предупреждениями о действиях приложений, это раздражает человека и в конечном счете снижает эффективность защиты, так как к ее окошкам перестают присматриваться.

AV-Comparatives

Лаборатория AV-Comparatives старается выставить комплексную оценку антивирусам, проводя отдельные тесты самых важных функций: защита в «жизненных» сценариях использования, обнаружение зараженных файлов («классический тест»), скорость работы и многие другие. Раз в год на основании всех проведенных тестов выдаются награды «Продукт года», а также золото, серебро и бронза в каждом из типов тестов. Но ждать окончания года обычно не хочется, поэтому, чтобы составить целостное и актуальное впечатление о продукте, придется просмотреть результаты 2–5 разных тестов. Наиболее интересны как раз тест «жизненный» и оценка производительности. Ложные срабатывания снижают оценку в первом из них. Лучшие решения получают награду «Advanced+», не столь совершенные – «Advanced», ну а троечникам и двоечникам достаются значки «Standard» и «Tested».  По «жизненному» тесту ежемесячно публикуются промежуточные сведения, какие из существующих в Сети угроз смог заблокировать каждый популярный антивирус. Уровень защиты «в районе плинтуса» – это блокировка примерно 90% угроз, ее обеспечивает встроенный в Windows механизм Windows Defender или Microsoft Security Essentials. Лидеры рынка ведут отчаянную борьбу за доли процента в интервале 95–100%. В свежайшем тесте Kaspersky Internet Security заблокировала 100% угроз.

AV-TEST

До недавнего времени сертификация AV-TEST, проводимая раз в два месяца, включала тестирования в трех категориях: защита, лечение и удобство пользования (Protection, Repair, Usability). По каждой из трех категорий выставлялась оценка от 1 до 6, сертификат получало решение, набравшее суммарно минимум 11 баллов.
Но в этом году тесты переделали, и теперь заслужить сертификат гораздо легче, чем раньше. Если в наградах 2012 года и ранее учитывались такие факторы, как процент обнаружения, процент излечения, процент ложных срабатываний и степень замедления компьютера, то в нынешнем году из оценки убрали лечение и снизили порог для получения сертификата до 10 баллов, поэтому сертифицированный антивирус 2013 года может оказаться неспособным вылечить уже зараженную систему. «Антивирус Касперского» заслуживал сертификаты и ежегодные награды AV-TEST раньше, и теперь это будет еще легче, но аналогичные «медальки» теперь можно будет увидеть на посредственных антивирусах «студенческого» уровня. О причинах такого упрощения сертификации можно почитать в блоге Евгения Касперского.

Dennis Technology Labs

Английская тестовая лаборатория под техническим руководством Саймона Эдвардса долгое время специализировалась на поверке качества антивирусов в «жизненных» ситуациях («real world test»). Dennis Labs выпускает ежеквартальные отчёты для разных категорий продуктов – для домашних пользователей, среднего и малого бизнеса и крупных компаний.

Особого внимания заслуживает методология сертификации, созданная в соответствии с рекомендациями международной ассоциации AMTSO. Формула расчёта результата кроме способностей антивирусов обнаруживать угрозы, также принимает во внимание функцию лечения и наличие ложных срабатываний. Итоговый счёт калькулируется в соответствии с показателями продукта в различных категориях с различными весовыми коэффициентами и в целом достаточно точно отражает качество антивируса для защиты компьютеров в реальных «боевых» условиях.
Недавно тестовая лаборатория начала диверсификацию компетенции и открыла тестирование других направлений. Например, в конце 2012 г. Dennis Labs начала тестировать такую важную функцию корпоративных антивирусов, как контроль над приложениями.

Virus Bulletin

Один из старейших и авторитетнейших ресурсов по антивирусной тематике, выходивший в виде журнала c 1989 года, осуществляет собственные тестирования антивирусов с раздачей сертификатов VB100. Их получают только решения, обнаружившие 100% зараженных образцов в тестовой выборке при 0% ложных срабатываний.  Тестирование ведется по классической, а не жизненной методике: продукты прогоняются через небольшое число актуальных на момент тестирования угроз, поэтому достичь показателя 100% вполне по силам качественному продукту. Например, апрельские итоги показывают, что этого результата достигли 29 из 67 протестированных защитных решений. К сожалению, сертификация VB100 никак не учитывает производительность и качество лечения, поэтому полноценная оценка продукта по ней невозможна.
Есть и другая особенность, которая требует от пользователя умения правильно читать результаты тестов. Дело в том, что пользоваться логотипом VB100 может продукт, получивший хотя бы одну награду. Например, можно сертифицироваться в самом простом тесте и дальше использовать логотип во всех маркетинговых материалах. Поэтому мы рекомендуем смотреть всю историю тестов продукта, благо удобная таблица сводных результатов позволяет буквально одним взглядом окинуть итоги последних тестирований.

Другие тесты

Мы упомянули только четыре популярные лаборатории, тестирующие антивирусы, но тем же самым занимаются многие другие, и это не считая журнальных тестирований и прочих источников сравнительной информации. По качеству и полноте эти тесты очень разнятся – ведь, как мы видим, даже лидеры не всегда стремятся к высочайшим стандартам качества. Поэтому, если какой-то тест и его итоги вас заинтересовали, не поленитесь почитать, каким образом он был организован. Все ли лидеры антивирусного рынка приняли участие? Насколько велика тестовая база чистых и зараженных файлов? Все ли важные факторы качества антивируса учтены в оценке? И наконец, за какой результат полагается высшая награда? Если золотую медаль получили больше десятка решений, значит, ее просто давали слишком легко.