MediaStream Processing — работа с аудио и видео потоками в браузере

Mozilla работает над MediaStream Processing для работы с аудио и видео потоками в режиме реального времени.

Стандарт, конечно же, еще находится в самом начале разработки. Он вводит JavaScript API, через которые будет возможна работа с аудио и видео потоками данных в реальном времени. Для демонстрации возможностей была создана специальная экспериментальная сборка Firefox. Также запущены несколько демо, с демонстрацией работы возможностей функций.

Данные демо показывают, как указанное API может быть использовано для выполнения таких задач, как отображение визуальной звуковой дорожки в видео, которое проигрывается в данный момент. Помимо простого отображение, возможно использование дополнительных функций. Например, переключатель кроссфейд между двумя потоками. Или динамическая настройка и программная генерация аудио-потоков. Или отображение звукового потока на графике.

MediaStream API отлична от предыдущего Audio API. Оно направлено на лучшее взаимодействие с существующими веб-стандартами. Например, оно опирается на MediaStream интерфейс в WebRTC спецификации. Оно также позволяет юзерам воспользоваться Web Workers для операций над данными и будет работать с getUserMedia, что даст поддержку управления потоками от микрофонов и веб-камер в режиме реального времени.

Текущая реализация спецификации фокусируется на воспроизведении аудио. Поддержка видео манипуляции будут добавлены в будущем, когда необходимые API графики окажутся доступны для функционирования через Web Workers. По словам разработчиков, MediaStream возможности обработки видео будут полезны, например, для распознавания QR-кода или осуществления дополненной реальности в веб-приложениях.

О времени, когда данные возможности появятся в стабильных версиях Firefox — говорить пока рано. Разработка может занять некоторое время. Ведь этого нет еще и в ночных сборках. Да и самой спецификации еще нет в финальном варианте. Однако, этого стоит подождать, особенно если представить, какие богатые возможности разработчикам и конечным пользователям могут подарить разрабатываемые функции.

Метки:Стандарты