RoboHornet: в поисках идеального теста для браузеров

Компания Google запустила проект RoboHornet, позволяющий тестировать производительность браузеров.

Ситуация вокруг существующих тестов для браузеров довольно неоднозначная. С одной стороны их достаточно много (например, популярные V8 Bench, Peacekeeper, Kraken и т.д.), с другой они часто критикуются на предмет своей искусственности и «синтетичности»: тестируются только отдельные аспекты работы браузера, да и сами тесты ничего общего с реальными веб-страницами и приложениями не имеют. Однако постепенно ситуацию пытаются исправить. На один из таких шагов пошла компания Google, представив новый тест RoboHornet.

Несколько дней назад проект был опубликован на сервисе Github под лицензией Apache. Выбор платформы сделан не случайно: предполагается активное вовлечение известных web-разработчиков для участия в проекте. Набор тестов не будет постоянным, в него будут вносить правки, добавлять и исключать различные подтесты. Простые пользователи будут голосовать за те или иные компоненты.

Цель RoboHornet — измерение различных показателей браузера, а не какого-то одного (например, JavaScript), причем, показателей, активно использующихся в реальных проектах. За счет динамизма в развитии теста, производители браузеров не смогут подгонять свой продукт под лучший результат. Напротив, они смогут обратить внимание на то, что им необходимо «подтянуть» в своих программах. На данное время измеряются следующие компоненты: скорость отображения страниц, работа с LocalStorage, DOM, SVG, Canvas, JavaScript и т.д.

Уже сейчас в проекте участвуют разработчики из Google, Facebook, проектов jQuery, Sencha, HTML5 Boilerplate и т.д. Из-за использования в тестах реальных кодов из популярных веб-приложений, после прохождения можно посмотреть результаты работы браузера в данных приложениях/фреймворках (например, Handlebars, YUI, Ember и прочие).

RoboHornet находится сейчас на стадии альфа-версии разработки и имеет официальную страницу (на которой вы можете протестировать свой интернет-обозреватель). В качестве опорной точки было принято решение создать т.н. «индекс RoboHornet», который равен 100 баллам и является средним результатом всех финальных версий популярных браузеров, запущенных на MacBook Pro (Intel Core i7 4 ядра 2.2GHz, 4GB оперативной памяти, AMD Radeon HD 6750M с 512Мб GDDR5).

Критика RoboHornet со стороны Microsoft

Как это часто бывает, после запуска проекта не обошлось без критики. На сей раз критические замечания пришли со стороны компании Microsoft, чей браузер Internet Explorer 10 показывает довольно хорошие результаты на операционной системе Windows 8. Однако, по словам менеджеров, инженеры компании посмотрели внутрь проекта и поняли, что он также ничего общего с реальными веб-страницами не имеет.

После этого, в компании сделали свою версию теста, работающего в контексте «реальной ситуации». Под реальной ситуацией понимается присутствие на странице таких современных возможностей как CSS3 Animations, Transforms, Text Shadows, WOFF шрифты, поддержка Unicode, Touch и т.д. Разработчики запустили сайт, внешне похожий на заставку из фильма «Матрица», в рамках которого выполняется набор тестов от Google. Менеджеры Microsoft акцентируют внимание на том, что в таком случае, Chrome в ходе проведения эксперимента часто начинает подвисать и подтормаживать выполнение анимации, в то же время Internet Explorer 10 справляется со всем без особых трудностей.

Переработанный тест доступен на странице IE Test Drive, содержащей различные эксперименты для проверки в браузерах.