搜狗分身-面向自然交互的多模態(tài)人機交互解決方案

案例背景:
未來人機交互的方式已成為行業(yè)研究探索的熱點，毫無疑問，自然交互是最重要的目標，而多模態(tài)人機交互則是實現(xiàn)自然交互的非常關(guān)鍵的技術(shù)，如何實現(xiàn)多模態(tài)的識別、理解、表達都遇到很大的挑戰(zhàn)，本次報告希望能夠分享搜狗在多模態(tài)人機交互上的思考，特別在如何實現(xiàn)多模態(tài)融合識別以及表達上的工作。

解決思路:
我們的研究重點主要放在如下三項技術(shù)的研究，目前行業(yè)都屬于探索階段，搜狗率先實現(xiàn)了實用化落地，在落地過程中結(jié)合產(chǎn)品需求設(shè)計算法和工程，非常關(guān)鍵：
1. 多模態(tài)識別技術(shù)
2. 多模態(tài)表達技術(shù)
3. 面向自然交互的數(shù)字人技術(shù)

成果：
我們實現(xiàn)了語音+唇語的多模態(tài)識別技術(shù)，在高噪情況下識別錯誤率可以下降40%以上，同時我們在數(shù)字人技術(shù)上實現(xiàn)了重大突破，發(fā)布了搜狗分身，真正實現(xiàn)了數(shù)字人的生產(chǎn)和驅(qū)動，最終能夠?qū)崿F(xiàn)自然交互式的人與數(shù)字人的交流對話。