時間：2021-12-04 08:11:31 瀏覽：0 來源：創(chuàng)始人
1、我們介紹了唇語女孩江南夢靠讀唇成為清華博士的故事，引起了強烈反響，也有小伙伴質疑這種康復模式不科學。
2、聽障患者在言語康復過程中到底該不該學習讀唇語呢。
3、唇讀對聽障患者的影響到底是怎樣的。
4、是否會造成聽覺能力進一步弱化呢。
5、2019北京國際聽力學大會上北京大學第一醫(yī)院耳鼻喉頭頸外科魏朝剛主任，詳細介紹了唇讀對聽障人群言語識別能力的影響。
6、小編整理了以下要點，或可作為參考。
7、多數(shù)聽損患者有不同程度唇讀能力。
8、一種感知模態(tài)的剝奪可以刺激另一種代償性的感知模態(tài)增強，比如長時間的耳聾可以導致對視覺信息的較大依賴。
9、這就是我們所說的感知代償理論。
10、聾人會表現(xiàn)出自發(fā)的感知代償，因為他們在日常生活中很大程度上依賴著唇讀。
11、臨床發(fā)現(xiàn)絕大多數(shù)聽力損失者有不同程度的唇讀能力。
1、對413名聽力損失者調查顯示，日常遇到的言語聲大多數(shù)來自于另一個人而且絕大多數(shù)情況下能看到對方的面部（包括唇部運動），因此聽覺和視覺信息的結合是大多數(shù)聽力損失人群言語理解的基礎。
2、魏朝剛主任認為，視覺信息對聽力損失者幫助作用很大，對正常聽力的人群在噪聲環(huán)境下也有這種幫助作用。
3、唇讀如何影響聽損患者言語識別率。
4、北京大學第一醫(yī)院對103例學齡及以上語前聾兒童進行測試，觀察不同程度聽力損失者在三種聆聽情況下的言語識別率的變化。
5、單獨聽覺信息(auditory-only，AO)。
6、單獨視覺信息(visual-only，VO)。
7、聽覺聯(lián)合視覺信息(auditory-visual，AV)。
8、根據(jù)受試者的基線聽力水平，分為以下4組：。
1、無法完成噪聲下言語測試者。
2、10.0dB≤SNR50＜15.0dB。
3、5.0dB≤SNR50＜10.0dB。
4、SNR50＜5.0dB。
5、結果表明不同聽力水平者單獨聽覺信息識別情況下言語識別率無顯著性差異，但不同聽力損失程度的受試者均能利用唇讀信息在言語識別上獲益。
6、唇讀作為幫助聽力損失者接受日常交流信息的重要輔助手段，其識別能力隨著受試者的年齡、唇讀經(jīng)驗、助聽器佩戴的時間和人工耳蝸植入時間的增加而增加。
7、聽力損失程度不是唇讀技能發(fā)展的充要條件，但與低頻聽力損失有弱相關，聽覺輔助（HA、CI）后，有助于提高唇讀語音技能。
8、聽覺輔助干預的時機、家庭聽覺語言交流環(huán)境均有助于提高唇讀技能。
9、唇讀是否影響聽損患者的聽覺能力。
1、對于聽力損失患者，視覺信息的確可以補充聽覺信息，采用視聽結合模式是可以提高言語識別率的。
2、在噪聲環(huán)境中，視覺信息，甚至成為占主導地位的信息源。
3、唇讀對聽覺障礙者極為重要，當音量較低或噪音較大時尤其如此。
4、看話人通過觀察說話人的口唇發(fā)音動作、肌肉活動及面部表情，形成連續(xù)的視知覺，并與頭腦中儲存的詞語表象比較和聯(lián)系，進而理解說話者的內容。
5、在不同情況下，噪聲環(huán)境變化時，聽力損失程度更重時，記憶、認知能力（老年）下降時，發(fā)揮作用的占比就會增大。
6、視覺語言信息可以使聽話者把注意力集中到一個特定人的聲音，而“屏蔽”掉其它聲音信息源。
7、日常交流時使用唇讀信息后，并不能影響聽力損失者的聽覺能力，即不存在唇讀對聽覺的“擠占效應”。
1、參加2018AI開發(fā)者大會，請點擊↑↑↑。
2、NasserM.Nasrabadi。
3、唇語識別并非更近才出現(xiàn)的技術，早在2003年，Intel就開發(fā)了唇語識別軟件（AVSR），開發(fā)者得以能夠研發(fā)可以進行唇語識別的計算機。
4、2016年的唇語識別技術就已經(jīng)可以支持17500個詞，新聞測試集識別準確率達到了50%以上。
5、大家一定很好奇唇語識別系統(tǒng)要怎么實現(xiàn)。
6、等人實現(xiàn)了使用3D卷積神經(jīng)網(wǎng)絡的交叉視聽識別技術進行唇語識別，并將代碼托管到GitHub上開源：。
7、https://github.com/astorfi/lip-reading-。
8、接下來就為大家介紹如何使用3D卷積神經(jīng)網(wǎng)絡的交叉視聽識別技術進行唇語識別，完整的論文可參閱：。
1、https://.ieee.org/document/8063416。
2、下面是進行唇語識別的簡單實現(xiàn)方法。
3、用戶需要按照格式準備輸入數(shù)據(jù)。
4、該項目使用耦合3D卷積神經(jīng)網(wǎng)絡實現(xiàn)了視聽匹配（audio-）。
5、唇語識別就是這個項目的具體應用之一。
6、當音頻損壞時，視聽語音識別（Audio-，AVR）被認為是完成語音識別任務的另一種解決方案，同時，它也是一種在多人場景中用于驗證講話人的視覺識別方法。
7、AVR系統(tǒng)的方法是利用從某種模態(tài)中提取的信息，通過填補缺失的信息來提高另一種模態(tài)的識別能力。
8、這項工作的關鍵問題是找出音頻和視頻流之間的對應關系。
9、我們提出了一種耦合3D卷積神經(jīng)網(wǎng)絡架構，該架構可以將兩種模式映射到一個表示空間中，并使用學到的多模態(tài)特征來判斷視聽流間的對應關系。
1、▌如何利用3D卷積神經(jīng)網(wǎng)絡。
2、我們提出的該架構將結合時態(tài)信息和空間信息，來有效地發(fā)現(xiàn)不同模態(tài)的時態(tài)信息之間的相關性。
3、我們的方法使用相對較小的網(wǎng)絡架構和更小的數(shù)據(jù)集，并在性能上優(yōu)于現(xiàn)有的視聽匹配方法，而現(xiàn)有方法主要使用CNN來表示特征。
4、我們還證明了有效的對選擇（）方法可以顯著提高性能。
5、其余部分的實現(xiàn)包含基于話語的特征提取的數(shù)據(jù)集。
6、就唇語識別來講，必須將視頻作為輸入。
7、使用cd命令進入相應的目錄：。
8、運行上述腳本，通過保存每個幀的嘴部區(qū)域來提取唇部動作，并在畫框圈出嘴部區(qū)域來創(chuàng)建新的視頻，以便進行更好的可視化。
9、所需的arguments由以下Python腳本定義，.py文件中已定義該腳本：。
10、一些已定義的參數(shù)有其默認值，它們并不需要進一步的操作。
1、視頻通過后期處理，使其幀率相等，均為30f/s。
2、使用dlib庫跟蹤視頻中的人臉和提取嘴部區(qū)域。
3、所有嘴部區(qū)域都調整為相同的大小，并拼接起來形成輸入特征數(shù)據(jù)集。
4、數(shù)據(jù)集并不包含任何音頻文件。
5、使用FFmpeg框架從視頻中提取音頻文件。
6、數(shù)據(jù)處理管道如下圖所示：。
7、我們所提出的架構使用兩個不相同的卷積網(wǎng)絡（ConvNet），輸入是一對語音和視頻流。
8、網(wǎng)絡輸入是一對特征，表示從0.3秒的視頻中提取的唇部動作和語音特征。
9、主要任務是確定音頻流是否與唇部運動視頻在所需的流持續(xù)時間內相對應。
10、在接下來的兩個小節(jié)中，我們將分別講解語音和視覺流的輸入。
11、語音網(wǎng)絡（SpeechNet）。
12、在時間軸上，時間特征是非重疊的20ms窗口，用來生成局部的頻譜特征。
1、語音特征輸入以圖像數(shù)據(jù)立方體的形式表示，對應于頻譜圖，以及MFEC特征的一階導數(shù)和二階導數(shù)。
2、這三個通道對應于圖像深度。
3、3秒的視頻剪輯中，可以導出15個時態(tài)特征集（每個都形成40個MFEC特征），這些特征集形成了語音特征立方體。
4、一個音頻流的輸入特征維數(shù)為15x40x3。
5、語音特征使用SpeechPy包進行提取。
6、要了解輸入管道是如何工作的，請參閱：。
7、code/speech_input/input_feature.py。
8、視覺網(wǎng)絡（VisualNet）。
9、在這項工作中使用的每個視頻剪輯的幀率是30f/s。
10、9個連續(xù)的圖像幀形成0.3秒的視頻流。
11、網(wǎng)絡的視頻流的輸入是大小為9x60x100的立方體，其中9是表示時態(tài)信息的幀數(shù)。
1、每個通道是嘴部區(qū)域的60x100灰度圖像。
2、該架構是一個耦合3D卷積神經(jīng)網(wǎng)絡，其中必須訓練具有不同權重的兩個網(wǎng)絡。
3、在視覺網(wǎng)絡中，唇部運動的空間信息和時態(tài)信息相結合，以此來利用時間相關性。
4、在音頻網(wǎng)絡中，提取的能量特征作為空間維度，堆疊的音頻幀構成了時間維度。
5、在我們提出的3D卷積神經(jīng)網(wǎng)絡架構中，卷積運算是在連續(xù)的時間幀上對兩個視聽流執(zhí)行的。
6、用cd命令進入專用目錄：。
7、必須執(zhí)行train.py文件：。
8、對于評估階段，必須執(zhí)行類似腳本：。
9、下面的結果表明了該方法對收斂準確度和收斂速度的影響。
10、更好的結果，也就是更右邊的結果，屬于我們提出的方法。
11、所提出的在線對選擇方法的效果如上圖所示。
12、希望大家可以到Github上找到源碼，開始練起。
相關閱讀Copyright ? 2021 伊尚網(wǎng)版權所有，未經(jīng)授權請勿轉載。
伊尚網(wǎng)是一個專業(yè)整形信息平臺，本站部分內容與圖片來自網(wǎng)絡轉載，如涉及版權等問題，請及時告知，我們會盡快處理。冀ICP備18025944號-4
