爬越企服-爬越算法备案代办

快速导航

联系客服

客服橙子

  • 微信二维码

  • 13360330306

  • cz@payue.com

算法备案

代办互联网信息服务算法备案、深度合成备案填报,电话13360330306,微信同号

京东数字人形象合成算法原理分析报告

  •  更新时间:2024/08/13
  •  点击量:73
  •  分享

一、引言

随着电商行业的蓬勃发展,直播带货已成为一种重要的销售模式。然而,传统真人主播受限于时间、成本及个体差异等因素,难以满足全天候、高效能的直播需求。在此背景下,京东数字人形象合成算法应运而生,以其独特的技术优势,为电商直播带货带来了革命性的变革。本报告将从算法的基本原理、运行机制、应用场景及目的意图等方面,对京东数字人形象合成算法进行全面剖析。

二、算法基本原理

京东数字人形象合成算法集成了语音合成、唇动预测、人脸生成及图像合成等多项先进技术,旨在生成具有高度真实感和互动性的虚拟主播形象。该算法通过处理直播文本文案,首先利用语音合成技术将其转化为自然流畅的语音输出;随后,基于唇动预测技术,根据语音内容生成对应的唇形表情参数和人脸3D几何网格;再通过人脸生成技术,将3D人脸网格在2D平面上进行UV展开并合成高保真的人脸图像;最后,利用图像合成技术,将生成的人脸图像精准地贴合到预设的人像模板中,形成完整的虚拟主播形象。此外,算法还内置了合规性检查机制,确保生成内容符合法律法规要求,对于违规内容将及时采取拦截、消除等处置措施。

三、算法运行机制

京东数字人形象合成算法的运行机制高效且精细,具体流程如下:

  1. 语音合成:接收直播文本文案作为输入,通过深度学习模型将其转化为逼真的语音输出,确保语音的自然度和流畅性。

  2. 唇动预测:基于语音内容,利用唇动预测模型计算出对应的唇形表情参数和人脸3D几何网格。这一过程要求高度的同步性和准确性,以确保唇形与语音内容的高度匹配。

  3. 人脸生成:将3D人脸网格在2D平面上进行UV展开,并应用先进的图像生成技术合成高清、逼真的人脸图像。此步骤注重人脸细节的还原和表情的自然表现。

  4. 图像合成:将生成的人脸图像与预设的人像模板进行精准融合,形成完整的虚拟主播形象。同时,通过图像处理技术优化图像质量,确保最终输出的视频流或离线视频的高品质。

  5. 实时播放与存储:以40毫秒为一帧的速度进行实时合成,将生成的虚拟主播形象以视频流的形式播放给用户观看;同时,支持将合成视频存储为离线文件,供后续使用或分析。

四、算法应用场景

京东数字人形象合成算法在电商直播带货场景中展现出巨大的应用潜力。《言犀数字人AIGC内容平台》作为该算法的主要应用载体,成功帮助商家实现了虚拟数字人代替真人主播进行7*24小时不间断的商品介绍。这一创新模式不仅填补了真人主播下播后的空白时间,还显著提高了直播间的成交转换率,降低了商家的直播运营成本。同时,虚拟数字人的应用还丰富了直播内容的多样性,增强了用户的观看体验和购物兴趣。

五、算法目的意图

京东数字人形象合成算法的核心目的在于通过技术手段解决电商直播带货中的痛点问题,具体体现在以下几个方面:

  1. 填补空白时间:利用虚拟数字人实现24小时不间断直播,有效填补了真人主播下播后的空白时间,确保直播间始终有内容可看。

  2. 提高成交转换率:通过生成高度真实感和互动性的虚拟主播形象,提升用户的观看体验和购买意愿,从而提高直播间的成交转换率。

  3. 降低运营成本:相比真人主播,虚拟数字人无需支付薪酬、无需休息、不受地域限制,大大降低了商家的直播运营成本。

综上所述,京东数字人形象合成算法以其独特的技术优势和广泛的应用前景,在电商直播带货领域展现出了强大的竞争力和市场价值。随着技术的不断进步和应用场景的持续拓展,该算法有望在未来发挥更加重要的作用,推动电商行业的进一步发展和繁荣。


拟公示算法机制机理内容

 

 

算法名称

京东数字人形象合成算法

 

 

 

 

 

 

算法基本原理

京东数字人形象合成算法应用于电商直播带货场景, 主要通过语 音合成、唇动预测、人脸生成、图像合成等技术, 生成虚拟主播 的形象和声音, 按照给定的文案进行商品介绍,提高直播间成交 转化率。该算法生成的数字人形象会打上“虚拟主播”显式标识, 且发现用户上传的内容违反法律法规等有关规定时, 将依法及时

采取拦截、消除等处置措施。

 

 

 

 

 

 

 

 

 

算法运行机制

京东数字人形象合成算法主要包括语音合成、唇动预测、人脸生 成、图像合成技术。首先通过语音合成技术将直播文本文案生成 语音,然后基于唇动预测技术得到唇形表情参数和人脸 3D 几何 网格,再用人脸生成技术将人脸 3D 几何网格在 2D 平台的 UV  开合成人脸图像, 最后利用图像合成技术将人脸图像贴回到人像 模板中, 得到人物图像。以上过程以 40 毫秒为一帧进行合成,  合成后的人物形象以视频流的形式播放给用户或者存储为离线

合成视频。

 

 

 

算法应用场景

《言犀数字人 AIGC 内容平台》使用京东数字人形象合成算法应 用于电商直播带货场景, 帮助商家通过虚拟数字人代替真人主播

进行 7*24 小时商品介绍,提升店铺 GMV(商品交易总额)转化。

算法目的意图

填补真人主播下播后的空白时间、提高直播间成交转换率, 减低

 


 


商家直播运营成本。