Новая тестовая методология: что-то пошло не так

Как мы уже неоднократно писали, «Лаборатория Касперского» только приветствует разнообразие методологий различных тестов для анализа защитных продуктов. В конце концов, они не просто показывают, какие решения более эффективны, — они также вносят свой косвенный вклад в развитие и улучшение продуктов. Особенно когда речь идет о всесторонних исследованиях, с применением тестовых сценариев, близких к поведению реального пользователя.

Именно поэтому мы были крайне рады узнать о том, что компания NSS Labs разработала новую методологию для сравнительного анализа корпоративных защитных решений, которые могут выявлять, предотвращать и постоянно отслеживать появление новых угроз на рабочих станциях. В терминологии NSS Labs такие решения называются Advanced Endpoint Protection (AEP) solutions.

В середине февраля NSS Labs представила результаты своего пилотного тестирования по новой методологии. В нем принимали участие 13 продуктов, соответствующих описанию AEP-решений, в том числе и актуальная версия Kaspersky Endpoint Security для бизнеса, показавшая достаточно неплохие результаты. Однако полученный нами отчет вызывает достаточно серьезные вопросы. В основном потому, что, несмотря на наличие детальной методологии, мы не смогли повторить большую часть экспериментов и получить те же результаты. Фактически мы со своей стороны смогли подтвердить у Kaspersky Endpoint Security для бизнеса только две неудачи — все остальные тестовые сценарии проходятся нашим продуктом успешно. Расстраивает также и то, что у нас не было достаточно времени для того, чтобы обсудить с аналитиками NSS Labs результаты до публикации отчета (а это вообще нормальная практика — ошибаться могут не только продукты). Впрочем, такая спешка, скорее всего, объясняется необходимостью публикации результатов на конференции RSA.

Мы продолжаем обсуждать с NSS Labs ее методологию и разбираться в том, что же пошло не так. Пока же мы склоняемся к мнению, что ее метод тестирования находится в стадии бета-версии и нуждается в некоторой доработке. Однако мы уверены, что в конце концов проблемы будут решены и мы сможем опираться на еще одно авторитетное исследование защитных решений.

А вообще мы не устаем повторять выводы, сделанные в одном из наших предыдущих постов: к каждому исследованию необходимо подходить с долей здорового скепсиса, а решения принимать по совокупности результатов многих исследований.