APP如何配合Drift相机实现双向通话功能
一、简介
本指南提供了一个简单的关于如何集成Drift X系列摄像机与应用程序/云服务以实现双向通信过程的测试样例。它详细说明了设置过程以及成功实施所需的技术规格。
Drift X系列摄像机支持两种方式播放远程服务器的音频， 一种是通过RTSP协议播放远程服务器的音频流，如图（一）， 一种是通过下载远程服务器的音频文件并播放，如图 （二）。 一般来说，对要求连续性，实时性强的语音通话使用RTSP音频流方式，而另一种播放语音文件的方式是针对目前较火的Chat-GPT4 AI引擎，可以输入文本/图像信息，输出文本信息，再文本信息转换音频文件，然后发送消息（可通过websocket)或发HTTP命令控制Drift相机播放音频流或音频文件， 通常广域网内可以创建websocket发送消息通知相机播放RTSP音频流或音频文件。而局域网内可以通过HTTP命令来控制相机播放RTSP音频流或音频文件。
图 (一)
图 （二）
二、音视频参数
1、视频格式
视频流以H.264格式，可以通过API调整分辨率和比特率。
2、音频格式
音频流以AAC格式，双声道，采样率必须为16KHz.
Drift X系列摄像机提供RTSP音视频流用于远端预览，它还可以从远端RTSP服务器播放音频流或音频文件，通过这些功能，您可以从手机应用程序或云服务创建您的视频通话或相关的AI应用程序。
三、集成Drift摄像机到应用程序
有关如何将Drift 摄像机集成到您的应用程序中的详细说明，请参考标题为“如何将Drift摄像机集成到您的应用程序中”的文档，可在 https://www.driftsee.com/newsinfo/5580230.html 查阅。此文档包括以下信息：
- 为您的摄像机配置Wi-Fi连接
- 获取摄像机的IP地址
- 从摄像机获取实时视频和音频流
- HTTP 远程控制相机的API列表
四、通过RTSP协议播放远程服务器的音频流
DRIFT摄像机提供了两种方式配置RTSP音频流的ULR地址，一种是通过脚本文件"fmcam.conf"（位于摄像机存储卡的根目录下），一种是通过HTTP命令。
4.1 通过脚本指定音频流的URL地址来配置摄像机从RTSP服务器拉取音频流
运行一个提供AAC格式音频流的RTSP服务器，双声道，16kHz采样率。RTSP服务器将生成一个音频流URL地址，例如 rtsp://rtsp_srever IP/stream name。您可以将此URL地址写入摄像机的 fmcam.conf 脚本文件。
其中rtsp_url为远端RTSP Server的音频流地址。
当APP预览摄像机的RTSP音视频流时， 如果脚本有指定rtsp_url地址，相机会按指定的rtsp_ur地址自动拉取RTSP Server的音频流并播放来实现双向的语音通话， 建议相机配耳机播放。
4.2 通过发送HTTP API命令来控制摄像机从RTSP服务器拉取音频流
1）使用rtsp_url配置摄像机
http://192.168.5.181/cgi-bin/foream_remote_control?rtsp_url=rtsp://192.168.5.53/audio_test_file.aac
2） 使用rtsp_url配置摄像机并命令其播放音频流
http://192.168.5.181/cgi-bin/foream_remote_control?start_rtsp=rtsp://192.168.5.53/audio_test_file.aac
3） 配置摄像机停止播放音频流
http://192.168.5.181/cgi-bin/foream_remote_control?stop_rtsp
注意：在上述示例中，我们假设摄像机IP为192.168.5.181，使用这些命令时应写入您自己的摄像机IP。
五、 通过播放远程服务器的音频文件来实现双向语音交互
Drift 相机支持播放符合AAC编码，双声道，16K采样率的音频文件。我们提供两条HTTP命令来供用户测试使用。
1) 播放相机本地音频文件
将音频文件（例如：audio_test_file.aac）放置在相机的Micro SD卡的根目录中。发如下命令让相机播放音频文件。
http://192.168.5.181/cgi-bin/foream_remote_control?play_audio_file=/tmp/SD0/audio_test_file.aac
其中参数"/tmp/SD0/"表示相机的SD卡根目录
示例音频下载地址：
http://www.driftlife.co/download/audio_test_file.aac
2) 从播放网络上的音频文件
http://192.168.5.181/cgi-bin/foream_remote_control?play_audio_url=http://www.driftlife.co/download/audio_test_file.aac&file_size=23316
其中参数，一个是音频文件的下载URL，另一个是音频文件的大小。
相机收到该命令，会先下载文件到相机的内存中，再解码播放音频。
六、如何在Windows系统中搭建RTSP服务器
1）下载live555MediaServer，VLC播放器软件以及测试音频
live555MediaServer 百度云盘链接
https://pan.baidu.com/s/1WhPwsxOlYF22QwXv29KmLQ 提取码: s362， 下载可得到Windows版本的"live555MediaServer.exe"
VLC 官网地址：
http://www.videolan.org/vlc/，下载对应系统版本即可
测试音频文件
“audio_test_file.aac” (AAC, 双声道，16KHz)
下载链接：http://www.driftlife.co/download/audio_test_file.aac
把下载下来的”audio_test_file.aac“文件，放到"live555MediaServer.exe"同级目录下用来做测试。
2） 查看PC的无线IP地址
3） 启动RTSP服务器
(1) 双击打开live555MediaServer.exe， 确保如下URL地址显示的IP地址为你的无线IP地址，确保你的PC与你的相机使用同一个无线路由器，并保证在同一个网段内。
注：请确认上面红色框的URL地址是否带端口号8554, 有的电脑上没有端口号，比如下图
有端口号的请使用端口号，没有端口号就使用没有端口号的URL地址。
（2）使用VLC软件播放音频文件 （启动PC的RTSP Server播放音频文件）
打开VLC软件，媒体->打开网络串流->输入网络URL->播放，即可播放成功
其中“rtsp://192.168.5.52/audio_16K.aac”即相机从局域网中拉取对方音频流的rtsp地址, 写到上面提到的脚本文件”fmcam.conf”中, 如：
(3) 使用VLC软件拉取相机端音视频流
”192.168.5.15”是RTSP服务器的无线网络的IP地址， 那相机开机连上同一路由器后，则相机的IP地址为设置的静态IP为 “192.168.5.88”, 那相机端的RTSP流地址为”rtsp://192.168.5.88/live”, 再启动新的VLC窗口播放相机的RTSP流：
打开VLC软件，媒体->打开网络串流->输入网络URL ->播放，则可拉取到相机的音视频流。
因为电脑开启了RTSP Server，如果拉取相机端的RTSP流成功（相机的LCD屏幕转红色，相机指示灯闪红灯），则相机会播放电脑端的RTSP Server的语音。
所以PC上应该同时运行两个VLC窗口：
如果相机无法播放相机的视频流，请确认在PC中是否能正常ping相机的ip地址
七、相机固件下载地址
1、 X3（具有RTSP双向通话功能）固件v3117下载地址：
https://cn.node1.download.driftlife.co/eb62b3bf806c4863b98b1d968bf4bc60?attname=X3.zip&sign=4ef649c01d87f97cf635f4cc025c5a60&t=66c2e103
2、 GHOST XL Pro（具有RTSP双向通话功能）固件v3034下载地址：
https://cn.node1.download.driftlife.co/7120e6a9f9b84cddb995b05e900b58d0?attname=GHOST_XL_Pro.zip&sign=88f5546f4b879d6e0da42f66ed21b2c4&t=66c2e199
