Media Kit简介Media Kit媒体服务用于开发音视频播放或录制的各类功能。在Media Kit的开发指导中将详细介绍音视频多个模块的开发方式指导开发者如何使用系统提供的音视频API实现对应功能。比如使用SoundPool实现简单的提示音当设备接收到新消息时会发出短促的“滴滴”声使用AVPlayer实现音乐播放器循环播放一首音乐。Media Kit提供的模块有AVPlayer播放音视频SoundPool播放短音频AVRecorder录制音视频AVScreenCapture录制屏幕AVMetadataExtractor获取音视频元数据AVImageGenerator获取视频缩略图AVTranscoder视频转码亮点/特征使用轻量媒体引擎使用较少的系统资源线程、内存可支持音视频播放/录制支持pipeline灵活拼装支持插件化扩展source/demuxer/codec。支持HDR视频系统数据结构与接口支持hdr vivid的采集与播放方便三方应用在业务中使用系统的HDR能力为用户带来更炫彩的体验。支持音频池针对开发中常用的短促音效播放场景如相机快门音效、系统通知音效等应用可调用SoundPool实现一次加载多次低时延播放。开发说明本开发指导仅针对音视频播放或录制本身由media模块提供相关能力不涉及UI界面、图形处理、媒体存储或其他相关领域功能。在开发音乐、视频播放功能之前建议了解流媒体播放的相关概念包括但不限于播放过程网络协议 容器格式 音视频编解码 图形/音频渲染网络协议比如HLS、HTTP-FLV、HTTP/HTTPS容器格式比如mp4、mkv、mpeg-ts编码格式比如h264/h265详细流媒体开发流程请参考流媒体播放开发指导。AVPlayerAVPlayer主要工作是将Audio/Video媒体资源比如mp4/mp3/mkv/mpeg-ts等转码为可供渲染的图像和可听见的音频模拟信号并通过输出设备进行播放。AVPlayer提供功能完善一体化播放能力应用只需要提供流媒体来源不负责数据解析和解码就可达成播放效果。音频播放当使用AVPlayer开发音乐应用播放音频时AVPlayer与外部模块的交互关系如图所示。音乐类应用通过调用JS接口层提供的AVPlayer接口实现相应功能时框架层会通过播放服务Player Framework将资源解析成音频数据流PCM音频数据流经过软件解码后输出至音频服务Audio Framework由音频服务输出至音频驱动渲染实现音频播放功能。完整的音频播放需要应用、Player Framework、Audio Framework、音频HDI共同实现。上图中数字标注表示需要数据与外部模块的传递。音乐应用将媒体资源传递给AVPlayer接口。Player Framework将音频PCM数据流输出给Audio Framework再由Audio Framework输出给音频HDI。视频播放当使用AVPlayer开发视频应用播放视频时AVPlayer与外部模块的交互关系如图所示。应用通过调用JS接口层提供的AVPlayer接口实现相应功能时框架层会通过播放服务Player Framework解析成单独的音频数据流和视频数据流音频数据流经过软件解码后输出至音频服务Audio Framework再至硬件接口层的音频HDI实现音频播放功能。视频数据流经过硬件推荐/软件解码后输出至图形渲染服务Graphic Framework再输出至硬件接口层的显示HDI完成图形渲染。完整的视频播放需要应用、XComponent、Player Framework、Graphic Framework、Audio Framework、显示HDI和音频HDI共同实现。图中的数字标注表示需要数据与外部模块的传递。应用从XComponent组件获取窗口SurfaceID获取方式参考XComponent。应用把媒体资源、SurfaceID传递给AVPlayer接口。Player Framework把视频ES数据流输出给解码HDI解码获得视频帧NV12/NV21/RGBA。Player Framework把音频PCM数据流输出给Audio FrameworkAudio Framework输出给音频HDI。Player Framework把视频帧NV12/NV21/RGBA输出给Graphic FrameworkGraphic Framework输出给显示HDI。支持的格式与协议推荐使用以下主流的播放格式音视频容器、音视频编码属于内容创作者所掌握的专业领域不建议应用开发者自制码流进行测试以免产生无法播放、卡顿、花屏等兼容性问题。若发生此类问题不会影响系统退出播放即可。支持的协议如下协议类型协议描述本地点播协议格式支持file descriptor禁止file path网络点播协议格式支持http/https/hls/dash网络直播协议格式支持hls/http-flv支持的音频播放格式如下音频容器规格规格描述m4a音频格式AACaac音频格式AACmp3音频格式MP3ogg音频格式VORBISwav音频格式PCMflac音频格式FLACamr音频格式AMRape音频格式APE说明视频播放支持的视频格式分为必选规格和可选规格。必选规格为所有厂商均支持的视频格式。对于可选规格厂商将基于实际情况决定是否实现。建议开发者做对应的兼容处理保证应用功能全平台兼容。视频格式是否必选规格H26510是H264是支持的视频播放格式和主流分辨率如下视频容器规格规格描述分辨率mp4视频格式H26510/H264音频格式AAC/MP3主流分辨率如4K/1080P/720P/480P/270Pmkv视频格式H26510/H264音频格式AAC/MP3主流分辨率如4K/1080P/720P/480P/270Pts视频格式H26510/H264音频格式AAC/MP3主流分辨率如4K/1080P/720P/480P/270P支持的字幕格式如下字幕容器规格支持的协议支持的加载方式srt本地点播fd/网络点播http/https/hls/dash外挂字幕vtt本地点播fd/网络点播http/https/hls/dash外挂字幕webvtt网络点播dash协议内置字幕说明当dash协议存在内置字幕时不支持添加外挂字幕。SoundPoolSoundPool主要工作是将音频媒体资源比如mp3/m4a/wav等转码为音频模拟信号并通过输出设备进行播放。SoundPool提供短音频的播放能力应用只需要提供音频资源来源不负责数据解析和解码就可达成播放效果。当使用SoundPool开发应用播放音频时SoundPool与外部模块的交互关系如图所示。音乐类应用通过调用JS接口层提供的SoundPool接口实现相应功能时框架层会通过播放服务Player Framework将资源解析成音频数据流PCM音频数据流经过软件解码后输出至音频服务Audio Framework由音频服务输出至音频驱动渲染实现音频播放功能。完整的音频播放需要应用、Player Framework、Audio Framework、音频HDI共同实现。图中的数字标注表示需要数据与外部模块的传递。音乐应用将媒体资源传递给SoundPool接口。Player Framework将音频PCM数据流输出给Audio Framework再由Audio Framework输出给音频HDI。支持的格式与协议推荐使用以下主流的播放格式音视频容器、音频编码属于内容创作者所掌握的专业领域不建议应用开发者自制码流进行测试以免产生无法播放、卡顿等兼容性问题。若发生此类问题不会影响系统退出播放即可。支持的协议如下协议类型协议描述本地点播协议格式支持file descriptor禁止file path支持的音频播放格式如下音频容器规格规格描述m4a音频格式AACaac音频格式AACmp3音频格式MP3ogg音频格式VORBISwav音频格式PCMAVRecorderAVRecorder主要工作是捕获音频信号接收视频信号完成音视频编码并保存到文件中帮助开发者轻松实现音视频录制功能包括开始录制、暂停录制、恢复录制、停止录制、释放资源等功能控制。它允许调用者指定录制的编码格式、封装格式、文件路径等参数。当使用AVRecorder开发应用录制视频时AVRecorder与外部模块的交互关系如图所示。音频录制应用通过调用JS接口层提供的AVRecorder接口实现音频录制时框架层会通过录制服务Player Framework调用音频服务Audio Framework通过音频HDI捕获音频数据通过软件编码封装后保存至文件中实现音频录制功能。视频录制应用通过调用JS接口层提供的AVRecorder接口实现视频录制时先通过Camera接口调用相机服务Camera Framework通过视频HDI捕获图像数据送至框架层的录制服务录制服务将图像数据通过视频编码HDI编码再将编码后的图像数据封装至文件中实现视频录制功能。通过音视频录制组合可分别实现纯音频录制、纯视频录制、音视频录制。图中的数字标注表示需要数据与外部模块的传递。应用通过AVRecorder接口从录制服务获取SurfaceID。应用将SurfaceID设置给相机服务相机服务可以通过SurfaceID获取到Surface。相机服务通过视频HDI捕获图像数据送至框架层的录制服务。相机服务通过Surface将视频数据传递给录制服务。录制服务通过视频编码HDI模块将视频数据编码。录制服务将音频参数设置给音频服务并从音频服务获取到音频数据。支持的格式支持的音频源如下音频源类型说明mic系统麦克风作为音频源输入。支持的视频源如下视频源类型说明surface_yuv输入surface中携带的是raw data。surface_es输入surface中携带的是ES data。支持的音视频编码格式如下音视频编码格式说明audio/mp4a-latm音频/mp4a-latm类型。video/hevc视频/hevc类型。video/avc视频/avc类型。audio/mpeg音频/mpeg类型。audio/g711mu音频/g711-mulaw类型。audio/3gpp音频/amr-nb类型。audio/amr-wb音频/amr-wb类型。支持的输出文件格式如下输出文件格式说明mp4视频的容器格式MP4。m4a音频的容器格式M4A。mp3音频的容器格式MP3。wav音频的容器格式WAV。amr音频的容器格式AMR。AVScreenCaptureAVScreenCapture主要工作是捕获音频信号、视频信号并通过音视频编码将屏幕信息保存到文件中帮助开发者轻松实现屏幕录制功能主要包括录屏存文件和录屏取码流两套接口它允许调用者指定屏幕录制的编码格式、封装格式和文件路径等参数。当使用AVScreenCapture开发应用录制屏幕时AVScreenCapture与外部模块的交互关系如图所示。音频录制应用通过调用JS/Native接口层提供的AVScreenCapture接口实现音频录制时框架层会通过录屏框架调用音频服务Audio Framework通过音频捕获音频数据通过软件编码封装后保存至文件中实现音频录制功能。屏幕录制应用通过调用JS/Native接口层提供的AVScreenCapture接口实现屏幕录制时框架层会通过录屏框架调用图形图像服务通过视频捕获屏幕数据通过软件编码封装后保存至文件中实现屏幕录制功能。支持的格式支持的音频源如下音频源类型说明MIC系统麦克风作为音频源输入。ALL_PLAYBACK系统内录使用作为音频源输入。支持的视频源如下视频源类型说明SURFACE_RGBA输出Buffer是rgba data。支持的音频编码格式如下音频编码格式说明AAC_LCAAC_LC类型。支持的视频编码格式如下视频编码格式说明H264H264类型。支持的输出文件格式如下输出文件格式说明mp4视频的容器格式MP4。m4a纯音频的容器格式M4A。AVMetadataExtractorAVMetadataExtractor 主要用于获取音视频元数据。通过使用 AVMetadataExtractor开发者可以从原始媒体资源中提取出丰富的元数据信息。以音频资源为例我们可以获取到关于该音频的标题、艺术家、专辑名称、时长等详细信息。视频资源的元数据获取流程与音频类似由于视频没有专辑封面所以无法获取视频资源的专辑封面。获取音频资源的元数据的全流程包含创建AVMetadataExtractor设置资源获取元数据获取专辑封面可选销毁资源。支持的格式支持的音视频源参考媒体数据解析。AVImageGeneratorAVImageGenerator 主要用于获取视频缩略图。通过使用 AVImageGenerator开发者可以实现从原始媒体资源中获取视频指定时间的视频帧。支持的格式支持的视频源参考视频解码。AVTranscoderAVTranscoder主要用于将已压缩编码的视频文件按照指定参数转换为另一种格式的视频。支持的格式当前版本AVTranscoder提供以下转码服务支持修改源视频文件的编码参数格式、码率和封装格式。源视频的音视频编码和封装格式为系统AVCodec支持的解码和解封装格式目标视频的音视频编码和封装格式为系统AVCodec支持的编码和封装格式。支持的源视频格式当前转码支持的源视频格式依赖于系统解码器和解封装支持的格式详细情况请参考AVCodec支持的格式。支持的目标视频格式封装格式视频编码类型音频编码类型mp4AVCH.264AAC支持的轨道数不支持字幕轨。若原视频存在字幕轨转码后字幕轨将被丢弃。仅支持输出一条视频轨。若原视频存在多条视频轨默认选择第一条视频轨进行转码。仅支持输出一条音频轨。若原视频存在多条音频轨默认选择第一条音频轨进行转码。