С годами возможности Интернета по представлению, созданию и управлению аудио-, видео- и другими медиаданными росли все более быстрыми темпами. Сегодня доступно большое количество API, а также элементы HTML, интерфейсы DOM и другие функции, которые позволяют не только выполнять эти задачи, но и использовать медиа в тандеме с другими технологиями, чтобы делать действительно замечательные вещи. В этой статье перечислены различные API со ссылками на документацию, которая может оказаться полезной для их освоения.

Рекомендации HTML В этих статьях рассматриваются функции HTML для разработчиков мультимедиа.

<audio> Элемент <audio>используется для воспроизведения звука в веб-контексте. Их можно использовать невидимо в качестве места назначения для более сложных медиафайлов или с видимыми элементами управления для управляемого пользователем воспроизведения аудиофайлов. Доступен из JavaScript как HTMLAudioElementобъекты.

<video> Элемент <video>является конечной точкой для видеоконтента в веб-контексте. Его можно использовать для представления видеофайлов или в качестве места назначения для потокового видеоконтента. <video>также может использоваться как способ связать API-интерфейсы мультимедиа с другими технологиями HTML и DOM, в том числе <canvas>(например, для захвата кадров и манипулирования ими). Доступен из JavaScript как HTMLVideoElementобъекты.

<track> Элемент HTML <track>может быть помещен в элемент <audio>или <video>для предоставления ссылки на субтитр или дорожку субтитров в формате WebVTT , которые будут использоваться при воспроизведении мультимедиа. Доступен из JavaScript как HTMLTrackElementобъекты.

<source> Элемент HTML <source>используется внутри элемента <audio>или <video>для указания исходного мультимедиа для представления. Можно использовать несколько источников для предоставления мультимедиа в разных форматах, размерах или разрешениях. Доступен из JavaScript как HTMLSourceElementобъекты.

API API возможностей мультимедиа API Media Capabilities позволяет определить возможности кодирования и декодирования устройства, на котором работает ваше приложение или сайт. Это позволяет в режиме реального времени принимать решения о том, какие форматы использовать и когда.

Захват мультимедиа и потоки API Справочник по API, который позволяет передавать, записывать и манипулировать мультимедиа как локально, так и по сети. Это включает в себя использование локальных камер и микрофонов для захвата видео, аудио и неподвижных изображений.

API сеанса мультимедиа Media Session API позволяет настраивать мультимедийные уведомления. Он делает это, предоставляя метаданные для отображения пользовательским агентом для мультимедиа, которое воспроизводит ваше веб-приложение. Он также предоставляет обработчики действий, которые браузер может использовать для доступа к мультимедийным клавишам платформы, таким как аппаратные клавиши на клавиатурах, гарнитурах, пультах дистанционного управления и программные клавиши, находящиеся в областях уведомлений и на экранах блокировки мобильных устройств.

API записи MediaStream API MediaStream Recording позволяет захватывать медиапотоки для обработки или фильтрации данных или записи их на диск.

API веб-аудио API веб-аудио позволяет генерировать, фильтровать и обрабатывать звуковые данные как в режиме реального времени, так и на предварительно записанном материале, а затем отправлять этот звук в место назначения, например в элемент, медиапоток или на <audio>диск.

WebRTC WebRTC (веб-коммуникация в реальном времени) позволяет передавать потоковое аудио и видео в реальном времени, а также передавать произвольные данные между двумя одноранговыми узлами через Интернет без посредника.

Гиды Использование аудио и видео в HTML Руководство по использованию HTML <audio>и <video>элементов.

Доступные мультимедиа В этом руководстве мы расскажем, как веб-дизайнеры и разработчики могут создавать контент, доступный для людей с разными способностями. Это варьируется от использования altатрибута в <img>элементах до заголовков и пометки мультимедиа для программ чтения с экрана.

Руководство по типам и форматам мультимедиа в Интернете Руководство по типам файлов и кодекам, доступным для изображений, аудио и видео в Интернете. Это включает в себя рекомендации о том, какие форматы использовать для того или иного контента, лучшие практики, в том числе о том, как обеспечить резервные копии и как расставить приоритеты для типов мультимедиа, а также включает общую информацию о поддержке браузера для каждого контейнера мультимедиа и кодека.

Потоковое аудио и видео Руководство, в котором рассказывается о потоковой передаче аудио и видео, а также о методах и технологиях, которые вы можете использовать для обеспечения наилучшего качества и/или производительности ваших потоков.

Руководство по автовоспроизведению для мультимедийных и веб-аудио API Неожиданное автоматическое воспроизведение мультимедиа или аудио может стать неприятным сюрпризом для пользователей. Хотя автозапуск служит определенной цели, его следует использовать осторожно. Чтобы предоставить пользователям контроль над этим, многие браузеры теперь предоставляют формы блокировки автозапуска. Эта статья представляет собой руководство по автозапуску с советами о том, когда и как его использовать, а также о том, как работать с браузерами, чтобы корректно обрабатывать блокировку автозапуска.

Основы пространственизации веб-аудио В 3D-средах, которые могут представлять собой 3D-сцены, отображаемые на экране, или опыт смешанной реальности с использованием гарнитуры, важно, чтобы звук воспроизводился так, чтобы он звучал так, как будто он исходит из направления его источника. В этом руководстве рассказывается, как это сделать.

Другие темы Связанные темы, которые могут представлять интерес, поскольку их можно использовать в тандеме с мультимедийными API интересными способами.

API холста Canvas API позволяет рисовать в <canvas>, манипулируя и изменяя содержимое изображения. Это можно использовать с мультимедиа разными способами, в том числе путем установки <canvas>элемента в качестве места назначения для воспроизведения видео или захвата камеры, чтобы вы могли захватывать видеокадры и управлять ими.

WebGL WebGL предоставляет совместимый с OpenGL ES API поверх существующего Canvas API, что позволяет создавать мощную трехмерную графику в Интернете. Через холст это можно использовать для добавления 3D-изображений к медиаконтенту.

WebXR WebXR, пришедший на смену устаревшему WebVR API, представляет собой технологию, обеспечивающую поддержку создания контента виртуальной реальности (VR) и дополненной реальности (AR). Контент смешанной реальности можно затем отображать на экране устройства или с помощью очков или гарнитуры.

ВебVR Устаревший Web Virtual Reality API поддерживает устройства виртуальной реальности (VR), такие как Oculus Rift или HTC Vive, что позволяет разработчикам преобразовывать положение и движение пользователя в движение внутри 3D-сцены, которая затем представляется на устройстве. WebVR был заменен на WebXR и скоро будет удален из браузеров.