android视频采集

❶ Android音视频【十三】OpenSL ES介绍&基于OpenSL ES实现音频采集

Android音视频开发中，通常使用AudioRecord进行音频采集，但OpenSL ES提供了C/C++性能优势，避免了Java层的复杂性和性能消耗。本文着重介绍如何在JNI层通过OpenSL ES进行音频采集。OpenSL ES，作为无授权、跨平台的音频加速API，旨在提升嵌入式设备应用的音频处理性能。它支持C语言接口，运行于native层，允许直接处理PCM数据，降低数据传输和通信成本。

与Android的关系是，Android实现的OpenSL ES基于OpenSL 1.0.1，扩展了一些功能。在使用时需注意Android特有的API限制。OpenSL ES支持16000Hz采样率的单通道PCM数据采集和播放，且兼容多种配置，但不支持所有平台。相较于Java API，OpenSL ES能提供更灵活的控制和深度优化，但对设备版本有要求，不支持MIDI和加密内容播放。

在实际开发中，首先在AndroidManifest.xml中添加录音权限，然后在项目中链接OpenSLES库。OpenSL ES的开发基于Objects和Interfaces概念，通过创建和管理对象来实现音频功能。创建SLEngineItf对象后，设置输入输出配置，创建录音器并开始录音，通过SLRecordItf接口控制录音状态。采集到的音频数据通过回调函数处理，并在完成后释放资源。

一个简单的示例展示了如何在JNI层使用OpenSL ES进行录音，并提供了测试方法。通过学习OpenSL ES，开发者可以构建高效、低延迟的音频应用。相关学习资源可进一步深化理解。更多详情可参考Android中文官网，以及GitHub项目。

❷ Android WebRTC 音频采集扬声器声音

webrtc 默认情况下，采集的视频和音频，大部分采集的是麦克风和摄像头的内容，

但有的时候，需要采集屏幕的内容和扬声器的声音，并将其发送出去。

关于屏幕的采集不做陈述，github上的例子很多，本文主要讲隐颂解如何采集扬声器的声音。

对于Android系统来说，漏裂如果你要进行录制扬声器的声音，是需要系统权限的。
所以，如果你没有系统权限的话，（也就是system用户），那本文是无法实现的。

具体实现步骤：

1.

在 AndroidManifest.xml 中

android:sharedUserId="android.uid.system" //用户权限

<uses-permission android:name="android.permission.CAPTURE_AUDIO_OUTPUT" />

2.

在创建peerconnection的时候，需灶搜郑要添加setAudioDeviceMole(admbuilder.createAudioDeviceDole());

admbuilder 默认情况下使用麦克风的声音，所以我们把麦克风的声音修改掉:

admbuilder.setAudioSource( MediaRecorder.AudioSource.REMOTE_SUBMIX);

这里的扬声器就是MediaRecorder.AudioSource.REMOTE_SUBMIX。