亿迅AI智能视频双录解决方案是嘛

亿迅AI智能视频双录解决方案

1.1项目背景

随着5G络的快速建设、AI智能技术和视频通讯技术的快速发展，多种技术融合带来新的解决方案，服务与更多的金融业务场景。本方案借助小程序视频平台，与AI智能双录平台实现无缝融合，实现AI虚拟机器人智能双录系统，提高用户体验、降低人工成本。

1.2方案概述

本方案采用AI智能技术、虚拟人技术、视频通讯技术的无缝融合，提供AI智能虚拟人双录解决方案，通过4G/5G通讯链路服务于车贷用户。

1) ASR语音识别技术:通过ASR识别用户回答的问题；

2) TTS文本转语音技术：通过TTS播报业务流程话术；

3) 业务流程配置管理：可动态配置业务流程，相关业务中话术的参数自定义等；

4) 视频客服通讯平台：提供实时的双向视频交互服务能力平台则运算放大器破坏、虚拟人视频技术、实时双录功能；

5) 虚拟人与视频客服平台融合技术：虚拟人与用户进行视频的技术融合，虚拟人音话同步，”提供真实的用户体验；

6) 小程序接入关：提供小程序视频与视频客服平台通讯接入能力；

7) 人脸识别技术：实时识别用户人脸，保证业务办理过程中为用户本人单独办理；

8) 小程序SDK:提供Highlevel的SDKAPI，简单易用的与小程序快速集成；

9) 业务流程管理：智能业务流程管理，根据业务场景

1.3 技术架构图

2. 需求分析

2.1. 业务场景描述

用户通过小程序办理车贷业务视频审核录制，接通AI视频客服后，通过人脸识别技术进行身份核实，通过TTS技术与ASR技术的整合，回答审核过程中的问题，直到业务办理完成。业务办理过程全程录音、录像，并保留业务办理数据，提交业务系统进行人工审核或智能审核。

2.2. 关键功能

人脸识别，当用户人脸与办单用户人脸不一致时，提示用户非本人（照片1:1比对，比对源由小程序提供）

人脸确认，当用户人脸不在画面中时提示用户需保持人脸在画面中央（照片1:1比对功能，确保人脸在画面中）上述功能点存在小程序上架风险（见4.1）

视频通话及视频录像支持Logo水印、时间水印。（见4.2.1）

视频支持480P清晰度（见4.2.1）

视频录制，支持录制虚拟人像及用户画面（见4.2.2）

支持虚拟人像背景更换（见4.2.3）

视频质检：每30S抓取人脸并发送人脸识别供应商进行比对，若不一致则提示需保持人脸一致（见4.2.4）

支持位置获取并展示在页面（见4.2.5）

中断后支持弹窗通知，弹窗选择退出或自动退出（见4.2.6小程序优化异常处理模块）

视频录制完成后，放置到指定位置，支持下载和调用（见4.3.1订单管理）

支持话术配置及话术内支持变量参数（见4.3.3）

客户回答语义转化肯定和否定的特定参数值（面签配置管理模块需增加语音语义转换模块）

同一笔订单如录制第一次失败，第二次失败，第三次成功，则第一次和第二次录制的文件保存X天，支持调用查看，订单管理支持一笔订单对应多个录像问题。

3. 远程视频面签系统架构设计

3.1. 系统设计原则

稳定性原则：产品成熟稳定，系统应有健全的安全防范措施，对于关键应用或模块实现设备冗余，应用集群、数据库集群，系统应能在正常和高峰业务处理中稳定运行，提供连续可靠的服务。实现流量控制、差错处理、重发机制、超时控制，以满足大数据量和大交易量下实时联机交易要求，批量数据处理和联机交易处理间不互相影响，保障系统7*24小时正常运行，保证系统运行的连续性和稳定性。

安全性原则：系统应采用完善的安全保密机制，保证各种数据不被破坏、非法访问和恶意修改，保证客户和银行交易数据的正确性、完整性、一致性、安全性。

实用性原则：系统必须保证其实用性，切实符合本行的建设要求，全面满足业务需求。系统应具有友好的用户界面，操作简便、高效。

易于维护性原则：系统设计应便于维护，遵循模块化、组件化、参数化的原则，易于改造和扩展，可灵活设置，方便维护和管理。系统能够提供全面的系统管理和维护平台，便于技术人员维护。

交易监控原则：为便于技术维护人员掌握系统交易运行情况。监控应清晰明了，提供操作日志和交易日志等可审计数据的存储、查询，便于技术维护人员进行系统维护，应提供完备自动的日志备份和清理机制。

数据标准化原则：系统建设应符合数据管理的工业标准、金融行业规范，符合人民银行和银保监7. 实验进程的自动控制会各类监管标准要求。

开放性原则：软硬件平台和数据库系统应具备开放性，系统提供丰富的外部接口。

效率性原则：系统的建设应具备业务和技术上有前瞻性，系统设计架构合理，处理效率高，资源占用率低，避免过多的数据冗余。不仅能满足现阶段业务需求，也要充分考虑满足未来年的业务发展需要，具备一定的创新引领能力。

可扩展原则：系统设计应当具备良好的扩展能力，包括处理能力的扩展和数据接入的扩展性，系统开发遵循组件化、模块化、参数化、高内聚、松耦合的设计原则，保证软件系统架构易于改造和扩展，提高软件的复用性、可维护性和开发效率，以适应我行未来发展中对系统性能或功能提升的要求。

对新业务的前瞻性：AI小程序视频虚拟面签解决方案提供的功能能完全符合现有需求，不增加与需求无关的冗余功能，同时还保证在未来几年内，随着业务的创新，系统可以适应需求的变化，只需扩展相应的功能模块或并发许可即可满足未来业务的升级。

可升级为人工视频客服服务平台，为本行提供AI智能双录及人工视频客服服务能力，鉴于利旧性原则，系统应具备现有服务环境扩展新的服务组件即可满足未来的业务需求。

未来可和语音平台实现统一路由、统一报表、统一排队等功能，节省行内建设成本。

3.1.1. 小程序

3.2. AI视频面签系统络架构

系统络架构图

3.3. 远程视频面签系统性能

3.3.1. 系统并发量

系统投入使用后，一期支持10并发用户接入，系统要保证支持10用户并发情况下系统的稳定运行，不能饱和拥塞；系统设计能力支持32用户单机接入能力。

3.3.2. 络性能要求

1）具备智能抗丢包能力，络延时短，确保客户在联通、移动、电信等运营商络下业务办理的流畅，画面不卡顿；

2）正常络环境下，AI视频开画时间 3秒；

3）小程序络延时小于1000ms，保障业务办理的流畅性；

4）接通成功率大于95%；

5）视频清晰度支持360P-720P；

6）满足客户国内以及国外主要地区发起互动视频的能力，视频画面清晰流畅不卡顿；

7）系统所有统计分析功能的响应时间不超过3秒。

4. AI视频面签小程序SDK主要功能

4.1. 人脸识别

用户在视频面签时实时采集人脸照片，调用人脸识别接口动态对比身份证照片和人脸照片，确认是否为用户本人使用本人身份证办理业务。

4.2. AI视频面签小程序SDK

视频面签小程序SDK提供能力如下：

1) 发起视频呼叫：接通AI虚拟视频客服，办理面签业务。

2) 结束视频呼叫：结束AI虚拟视频客服对话，完成或终止业务办理。

3) 显示地位位置：实时动态获取的地位位置信息，提供精确的位置信息，并上传业务系统。

4）视频通话中抓取人脸照片

4.2.1. AI视频面签智能问答

视频支持480P清晰度

虚拟人视频质量支持480P及以上，可根据络波动自动调整视频分辨率。

支持视频合成时带水印，用户办理业务时，视频显示Logo水印及时间戳水印。

视频录像水印支持：视频录像合成后的录像文件，支持预制水印与录像合成，支持时间戳水印及地理位置信息。录像中需包含文本或图片水印，水印可在服务器端配置管理。

4.2.2. 视频录制

用户办理业务的过程全程录音录像，生成单一的MP4录像文件。

1) 用户视频、音频

2) AI虚拟人视频、音频

3) 用户小程序UI：用户位置信息

4) 用户小程序UI：用户中时间戳信息

5) 用户小程序UI：企业logo及背景。

6) 支持虚拟人像背景更换

4.2.3. 支持虚拟人像背景更换

虚拟人像背景支持虚拟背景技术，可自定义背景图片，可在服务器端配置更换背景图片

4.2.4. 视频质检

业务场景：用户在办理业务录制过程中，为保证用户的人脸始终在视频窗口内，可以全程录制用户的人像，记录在录像中，需要使用人脸识别，判断用户的人脸是否在视频窗口内，如用户人脸离开视频窗口，则给出提示。

视频动态人脸质检：每30S抓取人脸并发送人脸识别供应商进行比对，若不一致则提示用户请保持。

4.2.5. 位置信息展示

小程序实时获取用户当前位置信息，并显示在视频通话页面中，位置信息上传业务系统进行记录。

4.2.6. 其他功能

中断后支持弹窗通知，弹窗选择退出或自动退出

业务办理过程中，如遇到中断（用户回复不符合业务流程），则弹窗提醒立即手动结束，或倒计时自动结束。

4.3. AI视频面签业务配置模块功能

4.3.1. AI面签订单管理

AI视频平台与行里业务系统集成对接，每笔呼叫携带随路数据，上传业务系统，生产相应的订单业务工单，业务工单关联对应的录像录音文件。

同一笔订单如录制第一次失败，第二次失败，第三次成功，则第一次和第二次录制的文件保存X天，支持调用查看，订单管理支持一笔订单对应多个录像问题。

4.3.2. 录像管理

AI视频平台提供录像管理功能，支持录像下载、录像播放、录像与业务系统关联。

用户在办理业务过程中，每笔业务的录像文件可关联业务流水号，在业务系统中暖可记录每笔双录业务的录像下载地址，可关联录像文件，支持在业务系统中录像播放、支持录像下载。支持功能如下：

1) 录像管理

2) 录像下载

3) 播放

4) 生成录音MP3文件

5) 生成录像MP4文件

6) 录像水印叠加，支持预制图片水印、视频交互中的时间戳水印、地理位置水印。

4.3.3. 话术配置及话术内支持变量参数

系统统支持话术自定义管理配置，可以根据业务场景配置不同的业务场景话术。AI视频平台提供话术配置管理方法，可以按照业务需求，灵活配置对应的话术，及跟进接入用户的信息、业务工单，播放对应的变量参数。

后期可结合NLP语音语义理解服务，提供智能业务场景处理。

5. AI视频面签系统关键指标

定制音库：仅需要2小时录音样本

方言口音：粤语、湖南话、维吾尔语、藏语、四川、东北等

Mos评分在3.8以上，离线效果在3.5以上。

文本处理正确率在95%以上，平均响应时长小于 3s/50字

需支持智能断句匹配标点，置信息度

需支持数字、日期、时间等实体识别，支持词语属性标记和词 句时间戳

文法格式智能转换包括号码、车牌、日期、时间以及量词的规整，如 五点三十 引擎会识别规整为 5:30

自定义虚拟人像：支持自定义虚拟人像，提供虚拟人像录制方式。

音唇同步：虚拟人像讲话时嘴型与TTS播报的语音保持同步。

支持多层级SDK客户可基于不同的层级的API与业务系统集成且可以深度定制开发：

1） Business Scenario API 简单易用，适合需要快速上线，不需要了解音视频通讯原理及深度开发的客户；

2） 协议层API : 提供协议控制、呼叫控制及业务控制API ，用户可基于此类API 深度定制业务流程；

3） MediaEngine API: 音视频控制API，客户可基于API控制音视频流、自定义音视频控制，与AI 相整合；

4） 音视频编码 API ：控制音视频码率、分辨率、帧率、音频采样率等；

音视频编码

音频编码: G711, G722, G723, G729, AMR NW/SW, SILK NW/WB, OPUS， ISAC, GSM, ILBC

视频编码 : H263, H264, H264 AVC/SVC, H.265 AVC/SVC, VP9

分辨率: QCIF, CIF, QVGA,VGA, 352P, 480P, 720P, 1080P, 4K

音频引擎: AEC(echo cancellation), AGC (Auto Gain Control), PLC, Jitter Buffer， CNG， VAD， NS

视频引擎: Video encoding and decoding , Packet loss Recovery High level API

传输算法: FEC, Net Checker

传输协议: SIP/IMS, MRCP V2, RTP/RTCP/SRTP