深圳市城市更新办法实施细则课件

音響信号処理特論

音響信号処理の基礎

－雑音抑圧など－奈良先端科学技術大学院大学情報科学研究科音情報処理学講座猿渡洋（2011年6月17日）音響信号処理特論

音響信号処理の基礎

－雑音抑圧など－（2音声とは？音声信号の特徴人間の口から発せられる言語構造をもつ信号基本周波数：男性平均125Hz女性平均250Hzスペクトル構造：長時間平均的には800Hzまではほぼ平坦，800Hz以上は-10dB/octの傾斜をもつ比較的低周波数帯域にエネルギーが集中する信号音声とは？音声信号の特徴比較的低周波数帯域にエネルギーが集実環境における音声処理我々が耳にすることができる音声信号は…口から発せられた原音声信号は，空気を媒体として伝達され，耳（マイクロホン）に到達する．伝送の際に様々な変形が加わる．実環境における変形要因加法性変形：環境騒音，妨害話者乗法性変形：室内残響（室内伝達関数），受音系装置の音響歪その他の変形：実環境における発話状態変化（Lombard効果）実環境における音声処理我々が耳にすることができる音声信号は…乗法性変形反射による残響歪実環境における変形要因原音声信号雑音加法性変形雑音等の干渉？我々が実際に受け取ることのできる信号は…乗法性変形実環境における変形要因原音声信号雑音加法性変形？我加法性変形雑音の特性尺度：信号対雑音電力比（SN比）種類：計算機雑音，自動車雑音，話し声，音楽…実環境における雑音のレベル静かなオフィス：45～50dBA広いオフィス：60～70dBA走行自動車内：65～75dBAジェット機コクピット：90dBA以上加法性変形雑音の特性加法性変形(cont’d)1m離れた場所での音声信号のレベルは…普通の強さで発声される会話音声（男性）：66dB普通の強さで発声される会話音声（女性）：63dB実環境でのSNR静かなオフィス：30～25dBA広いオフィス：15～5dBA走行自動車内：10～0dBAジェット機コクピット：-15dBA以下一般に75dB以上のレベルで発声されることはまれ常に実環境では雑音を意識しておく必要あり加法性変形(cont’d)1m離れた場所での音声信号のレ乗法性変形残響による空間伝達特性尺度１：残響時間（音を停止してからエネルギーが-60dB減少するまでの時間）尺度２：波形歪（源波形からの変形を雑音とみなすSNR)尺度３：スペクトル歪（振幅スペクトル上でのSNR）実環境における残響時間例自動車内：80～100msec通常室内（小）：300msec以上会議室:700msec以上コンサートホール：2000msec以上一般に、部屋の各壁の吸音率が小さく体積が大きい部屋ほど残響時間が長く、音声への影響が大きいスペクトル変形スペクトル変形＋波形変形乗法性変形残響による空間伝達特性一般に、部屋の各壁の吸音率がその他の変形（発話状態変化）Lombard効果ひどい雑音，過度の残響などにより，発話者から発声される音声自身が変形してしまう現象具体的な変形例第一ホルマントの上昇第二ホルマントの下降スペクトルの傾きの変化母音継続長が長くなるその他の変形（発話状態変化）Lombard効果実環境における変形音声例原音声加法性変形白色雑音SNR20dB白色雑音SNR0dB有色雑音SNR0dB乗法性変形壁による一次反射のみ残響時間400msec残響時間900msec残響時間2500msec加法性＆乗法性変形白色雑音（SNR=20dB）＆残響時間900msec実環境における変形音声例原音声実環境における信号処理加法性変形に対する処理スペクトルサブトラクションウィーナーフィルタ櫛形フィルタノイズキャンセラマイクロホンアレー乗法性変形に対する処理ケプストラム正規化逆フィルタ適応エコーキャンセラMINT法1入力，装置規模小多点入力，装置規模大1入力，装置規模小多点入力，装置規模大実環境における信号処理加法性変形に対する処理1入力，装置規模スペクトルサブトラクション基本原理：雑音が定常であることを利用して，非音声区間の信号より雑音の特徴量を推定しておき，雑音混じりの音声の特徴量から雑音成分を取り除く．NoisySpeechSilenceDetectionNoiseEstimationSt-DFTAnalysisαAmplitudePhaseSt-IDFTOutputSpeechスペクトルサブトラクション基本原理：NoisySpeechスペクトルサブトラクション(cont’d)具体的な信号処理：時刻ｔでの雑音混じり信号を，真の音声信号を，雑音信号をとする．その時観測される信号は以下で与えられる．窓の位置をmで表した短時間フーリエ分析により上の関係は周波数領域にて以下のように書ける

スペクトルサブトラクション(cont’d)具体的な信号処理スペクトルサブトラクション(cont’d)本方法では以下のようにして信号推定を行う．雑音信号を定常と仮定し，振幅スペクトルは入力 から推定雑音を減算したものとする．位相に関しては，入力信号のものを使用する．この方法により推定される出力信号は…

ここでは：非音声区間で推定した雑音：減算調節パラメータ一般には2程度，は1or2スペクトルサブトラクション(cont’d)本方法では以下のスペクトルサブトラクション(cont’d)本方法における利点は…構造が単純．定常雑音であれば抑圧効果大．本方法における問題点・課題は…雑音抑圧によりミュージカルトーンが発声音声・非音声をどのように区別するか．非定常な雑音にどのように対処するか．減算調節パラメータをどのように決定するか．スペクトルサブトラクション(cont’d)本方法における利スペクトルサブトラクション例原音声雑音付加音声（SNR=0dB,白色雑音）回復処理音声スペクトルサブトラクション例原音声櫛形フィルタ基本原理：音声が周期的な波形（周波数領域ではハーモニクス構造を持つ）であることを利用して，音声の基本周波数F0を推定しておき，雑音混じりの音声信号に対してｎF0成分（ｎは整数）のみを強調するハーモニクス構造フィルタを構成する．F0→ｆ音声雑音観測信号周波数特性×F0→ｆ櫛形フィルタ＝F0→ｆ出力信号櫛形フィルタ基本原理：F0→ｆ音声雑音観測信号周波数特性×F櫛形フィルタ(cont’d)本方法における利点は…音声のハーモニクス構造を陽に利用．非定常な雑音にもある程度対応可能．本方法における問題点・課題は…基本周波数を雑音中にどう推定するか．「櫛の形」をどのように調節するか．ハーモニクス構造を持たない子音の回復．櫛形フィルタ(cont’d)本方法における利点は…ノイズキャンセラ基本原理：２本のマイクロホン（主マイクと参照マイク)を用意する．主マイクでは音声と雑音が観測され，参照マイクでは雑音のみが観測できると仮定する．同時刻の雑音を参照マイクで受音して，主マイクでの雑音混じり音声より差し引く．この際に，参照マイクから主マイクへの伝達特性を適応的に同定する適応フィルタが使用される．ノイズキャンセラ基本原理：ノイズキャンセラ(cont’d)構成図：AdaptiveFilterOutputSpeechSpeechNoisePrimaryMicrophoneReferenceMicrophoneとは伝達経路が異なることに注意ノイズキャンセラ(cont’d)構成図：AdaptiveOノイズキャンセラ(cont’d)具体的な信号処理：主マイク信号を，音声信号成分を，雑音信号をとすると以下が成り立つ．参照マイクでの雑音信号に適切なフィルタをかけ主マイク信号から減算し，誤差を算出．ノイズキャンセラ(cont’d)具体的な信号処理：ノイズキャンセラ(cont’d)音声信号と雑音信号，において相関が無いと仮定すると，誤差のパワーは以下で与えられる．このをに関して最小化することにより，最適フィルタ係数が以下のように得られる．ノイズキャンセラ(cont’d)音声信号と雑音信号ノイズキャンセラ(cont’d)式（1）を用いて最適なフィルタ係数を求めるには，音声信号が無い時間にのみを観測してを推定しておく必要がある．そこで，LMS（LeastMeanSquare）法によって準最適なフィルタ係数を逐次推定する．まず

のに関する瞬時勾配は→実際上は困難である場合も多いノイズキャンセラ(cont’d)式（1）を用いて最適なフィノイズキャンセラ(cont’d)LMS法では式（2）の瞬時勾配を誤差期待値の代用とする．よって最急降下法が適用でき，以下の更新式を得る．ここでは，回目の反復における値であることを表し，はステップサイズパラメータである．式（1）に比べて，式（3）で推定されるものは，多少揺らぎながらも真値に収束することが知られている．ノイズキャンセラ(cont’d)LMS法では式（2）の瞬時ノイズキャンセラ(cont’d)本方法における利点は…適応的に雑音をほぼ完全に消去できる．式（3）を使えば非定常・移動雑音にもある程度対応可能．本方法における問題点・課題は…式（1）を用いる場合は無音区間推定が必要式（3）では収束性が問題となる参照マイクの配置に大きく依存ノイズキャンセラ(cont’d)本方法における利点は…マイクロホンアレー基本原理：２本のマイクロホンシステムをさらに拡張→多点受音処理系を構成複数のマイクロホンを並べたものをマイクロホンアレーと呼ぶ。空間選択性を持ち，音声源の方位から到来する信号のみ強調し雑音源を抑圧することが可能指向特性（空間に対してアレーが形成する利得の分布）によって，その性能を評価・図示できる．マイクロホンアレー基本原理：マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響アレー装置From“ArraySignalProcessing”,D.Johnson両耳による音源方位の同定（生物自身が持つアレー）音源のある方位に聞き耳を立てるディジタル信号処理技術の進歩とともに発展マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響マイクロホンアレーの構造基本構造：・多数のマイク素子を規則的に配列・各素子の後段にフィルタを接続・各素子でのフィルタ出力を総和素子配列形態，フィルタ特性を変化させることにより性能可変FilterFilterFilterΣMicrophoneArrayOutputNoiseSpeechマイクロホンアレーの構造基本構造：・多数のマイク素子を規則的マイクロホンアレーの種類加算型アレー：目的信号の到来方位に鋭い指向特性を形成例：DelayandSum（遅延和）アレー

FilterandSumアレー等減算型アレー：雑音の到来方位に指向特性の死角を形成例：死角制御型ビームフォーマ適応型ビームフォーマサイドローブキャンセラ等構造単純性能対装置規模が優秀マイクロホンアレーの種類加算型アレー：構造単純性能対装置加算型アレー基本原理：目的信号を同相化し，その到来方位（これを目的方位;lookdirectionという）に「メインローブ」と呼ばれる鋭い指向性を形成する．目的方位以外には，できるだけ低い利得を形成し，雑音の混入を防ぐ．この目的方位以外に形成される利得パターンのことを「サイドローブ」という．θ目的音サイドローブを低くすれば雑音を抑圧可能メインローブ加算型アレー基本原理：θ目的音サイドローブを低くすれば雑音を遅延和アレー設計例設計条件：目的方位は0度，一様素子荷重係数を使用素子数8，素子間隔5cmの等間隔直線アレー低い周波数ほど鋭い指向特性が形成困難になる遅延和アレー設計例設計条件：低い周波数ほど鋭い指向特性が形成グレーティングローブによる劣化8kHzにおける指向特性（8素子5cm間隔アレー）メインローブ（0°方向）以外にも大きなローブが形成される．これは「波長に対して素子間隔が広すぎる」ために生じた折り返し歪でありグレーティングローブと呼ばれる．グレーティングローブによる劣化8kHzにおける指向特性（8加算型アレーの性能限界周波数とメインローブ幅低周波数帯域にて狭いメインローブを構成することは困難波長アレー長[°]（一様荷重係数の場合）周波数とグレーティングローブ高周波数帯域においてはグレーティングを避けることは困難素子間隔＜波長/２グレーティングローブを避けるための素子間隔条件高い・低いどちらの周波数帯域でも使用するには…マイク素子を密に（グレーティングローブ対策）かつ大量に（アレー長を増やすため）並べたアレーが必要加算型アレーの性能限界周波数とメインローブ幅低周波数帯域にて加算型アレーによる音声回復例原音声残響が無い場合単一マイクロホン遅延和アレー残響がある場合（残響時間＝400msec）単一マイクロホン遅延和アレー8素子，５cm間隔…音声雑音-50°加算型アレーによる音声回復例原音声8素子，５cm間隔…音声減算型アレー基本原理：各素子出力を雑音方位に関してまず同相化し，その後，全素子の重み和が0になるように加算する．つまり，素子間にて雑音成分を減算していることになる．上記処理は，指向特性上おいて，雑音方位に鋭い「死角」を形成していることを意味する．θ目的音雑音に死角をあてる減算型アレー基本原理：θ目的音雑音に死角をあてる適応型アレー基本原理：雑音の到来方位を事前に知ること無く，「アレー出力を最小にする」という規範のもとで，指向特性を最適化する．これにより，限られたマイク素子においても，効率的に雑音を抑圧可能である．素子荷重係数の最適化には適応フィルタ理論が用いられる．ここでは，目的方位を歪ませないために「目的方位の利得を一定に保つ」という拘束条件のもとでフィルタの最適化を行う．拘束条件付きの最適化問題に帰着適応型アレー基本原理：拘束条件付きの最適化問題に帰着適応型アレーの構造AdaptiveFilterΣMicrophoneArrayOutputNoiseSpeechAdaptiveFilterAdaptiveFilter目的方位の利得は一定に保つ誤差信号→最小適応型アレーの構造AdaptiveΣMicrophoneAr適応型アレーの指向特性例1雑音数が少・残響少の場合雑音に死角を形成することで雑音抑圧→減算型アレーを自動形成θ目的音雑音に死角をあてる適応型アレーの指向特性例1雑音数が少・残響少の場合θ目的音雑適応型アレーの指向特性例2雑音数が少・残響大の場合必ずしも雑音に死角を形成せず，雑音の残響成分と併せてそれらの総和が0になるような指向特性を形成する．θ目的音雑音雑音の残響＋－＋－適応型アレーの指向特性例2雑音数が少・残響大の場合θ目的音雑適応型アレーの指向特性例3雑音数が大・残響大の場合死角形成，残響との打ち消しあい，低サイドローブによる抑圧，などを組み合わせて雑音を除去．θ目的音雑音2雑音1＋－適応型アレーの指向特性例3雑音数が大・残響大の場合θ目的音雑適応型アレーの特徴利点加算・減算型よりも少数のマイク素子にて，効率的に雑音抑圧を行うことが出来る．目的音の存在しない時間が与えられれば，雑音方位を与えなくても環境に応じて雑音を最適に抑圧することが出来る．雑音の残響成分が存在しても，それらの総和を最小化することにより雑音全体を除去．環境にあわせて加算・減算型などの中から最適なものが自動選択・組み合わされる．適応型アレーの特徴利点環境にあわせて加算・減算型などの中から適応型アレーの特徴（cont’d）問題点・課題素子数以上の死角を形成できない．つまり，素子数以上の雑音は抑圧不可能．目的音の無音区間情報が必要．雑音方位が幅を持っている場合や，室内残響の影響が大きい場合には，抑圧性能が劣化する．拘束条件付の最小化問題に帰着→LMSアルゴリズムが使用できないので動的環境変化に対して逐次フィルタ更新不可能Griffith-Jim型適応アレーを用いることにより解決適応型アレーの特徴（cont’d）問題点・課題GriffitGriffith-Jim型適応アレーの構造ΣK-MicrophoneArrayOutputK-1chAdaptiveFilter目的方位信号成分を含まないK-1ch信号誤差信号→最小PhaseCompensation12Σ－＋＋－＋－主パス参照パスGriffith-Jim型適応アレーの構造ΣK-MicropGriffith-Jim型適応アレーの原理1主パスは単純な加算型アレーサイドローブ部分に雑音が混入する．一方，参照パスは…まず，隣あうアレー信号間で減算し，目的音成分を除去しておく（K-1chアレーに変換）．次に，それらをK-1ch適応フィルタに入力し，主パスとの減算を行う．主パス，参照パスの差を誤差信号と見なし，それを最小化するようにLMSアルゴリズムによってフィルタの最適化を行う．Griffith-Jim型適応アレーの原理1主パスは単純な加Griffith-Jim型適応アレーの原理2なぜ拘束条件付き問題にLMSが使えるのか?θ目的音（適応中は無音）サイドローブが雑音を受音するメインローブ主パスθ目的方位には死角主パスとなるべく同じサイドローブを構成参照パス主パスと参照パスの差を単純に最小化目的方位は無歪みのままサイドローブのみ最小化Griffith-Jim型適応アレーの原理2なぜ拘束条件付き適応型アレーによる音声回復例雑音混合音声GJ型適応アレーによる回復音声4素子，4.2cm間隔…音声雑音50°ブザー音適応型アレーによる音声回復例雑音混合音声4素子，4.2cmマイクロホンアレー処理の欠点音源の到来方位推定が必要適応のために無音区間の推定が必要素子位置の変動に対応できない素子誤差を事前に補正しておく必要があるマイクロホンアレーの問題点？マイクロホンアレー処理の欠点マイクロホンアレーの問題点？マイクロホンアレーの問題点（続き）遅延和型：素子係数により指向特性を制御適応型：雑音の到来方向に指向特性を適応θ目的音雑音も同時に拾ってしまうθ目的音を指定雑音のみを観測する時間が必要死角マイクロホンアレーの問題点（続き）遅延和型：素子係数により指ブラインド音源分離の登場BlindSourceSeparation(BSS)複数の音源信号が混合されて観測された場合、観測信号のみから音源信号を推定する技術目的音の方位・無音区間情報が不要マイク素子位置・特性情報も不要マイク特性誤差があっても頑健に動作する独立成分分析（ICA）に基づくBSSJ.Cardoso,1989C.Jutten,1990（高次無相関化）P.Comon,1994（ICAという言葉を定義）A.Belletal.,1995（infomaxによる定式化）ブラインド音源分離の登場BlindSourceSepar独立成分分析（ICA）とは何か？独立な成分の抽出：複数の確率信号が混合された観測系列から，統計的に独立な個々の確率過程を分解抽出する．特徴：独立性は「無相関性」よりも厳しい尺度であり，確率信号同士の確率密度構造が問われる．→情報幾何学と呼ばれる→「独立⇒無相関」であるが、「無相関⇒独立」は必ずしも成り立たない．独立成分分析（ICA）とは何か？独立な成分の抽出：互いに独立既知ICAに基づくBSSとは？Human2Human1Microphone1Microphone2おはようこんにちはObservedsignal1Observedsignal2Source2Source1音源信号を推定互いに独立既知ICAに基づくBSSとは？Human2HuICAに基づくBSSの定式化線形混合過程混合行列音源信号観測信号分離過程分離信号分離行列独立?コスト関数最適化ICAに基づくBSSの定式化線形混合過程混合行列音源信号観測ICA以外のBSS：BinaryMasking(BM)

s1(t)x2(t)x1(t)s2(t)ST-DFTfX1(f,t)fX2(f,t)fY1(f,t)fY2(f,t)パワーの比較ST-IDFTy1(t)y2(t)耳(マイクロホン)に接近している強い音源を，時間-周波数領域で抽出する手法ICA以外のBSS：BinaryMasking(BM)ICA以外のBSS：BinaryMasking(BM)

s1(t)x2(t)x1(t)s2(t)ST-DFTfX1(f,t)fX2(f,t)fY1(f,t)fY2(f,t)パワーの比較ST-IDFTy1(t)y2(t)耳(マイクロホン)に接近している強い音源を，時間-周波数領域で抽出する手法利点パワーの比較のみで高速欠点音源信号間にスペクトルの重なりが無いという

前提条件(スパース性)が必要欠点分離音に歪が生じるICA以外のBSS：BinaryMasking(BM)実験条件q1q2s1(t)s2(t)2.04m2.02m1.50mLoudspeakers(Height:1.17m)Microphones(Height:1.17m)ReverberationTime:200ms4.25m0.58m4.25m0.74mReverberation200msSourcesSpeech/StationaryNoise(3seconds)Samplingfrequency8kHzFilterlengthBinarymask:512taps

ICA:1024tapsSourceDOA(q1,q2)(-60,60),(-60,0),(0,60)InitialfilterNBFsteeredto(-15,15)EvaluationscoreSignaltoNoiseRatio[dB]実験条件q1q2s1(t)s2(t)2.04m2.02m音声＆音声の分離結果Source:(-60゜,60゜)Source:(-60゜,0゜)Source:(0゜,60゜)SignaltoNoiseRatio[dB]BinarymaskHO-ICAHO-ICA+BinarymaskProposedSO-ICAObservedsignal

全て12通り話者組合せの平均値音声＆音声の分離結果Source:(-60゜,60゜)S音声認識による評価（音声＆音声）WordAccuracy[%]BinaryMaskICAICA+BMProposedBSS40455055606570758085音源方位=(-40,30)音源方位=(-40,10)各種従来法提案法提案法各種従来法大語彙音声認識タスクによる評価（JNASデータベース、JULIUS（PTM)による認識、音響モデルはクリーンモデル）本実験においては16kHz サンプリングデータを取り扱った音声認識による評価（音声＆音声）WordAccuracy今後のマイクロホンアレー技術は？そろそろアレーアンテナ理論からの脱却を！音声の波長（数ｍ～数ｃｍ）とアレーサイズ（＜50cm）から考えて、アンテナ理論と同じでうまくいくはずがない。反射がほとんど無いアンテナと、残響だらけの音声残響を無視した理論は淘汰される！？マイクロホンアレー研究における「死の谷」よくあるパターン１．残響無視で机上理論を立てる

「これは素晴らしい理論だ！残響成分は面倒だから誤差ってことにしておこう」２．意図的に残響を無視してシミュレーション実験

「うむうむ、やっぱり従来法よりも優れているな。よし！」３．実機で実験＆公表

「（学会発表にて）残響がない環境では、理論通り従来より優れた性能が出ました。実環境における残響対策は今後の課題です。」４．「で今後はどうしよう…困った！最初から残響を理論に入れておくべきだった。」音声・音響処理では、特に残響を強く意識して理論を立てるべき今後のマイクロホンアレー技術は？そろそろアレーアンテナ理論か今後のマイクロホンアレー技術は？装置誤差を考慮に入れない理論も淘汰される！？コンデンサマイクの素子誤差は予想以上に大きい（通常3dB程度はばらつき、かつ温度・湿度にも過敏）。1素子の場合では問題なく動いていても、素子数が多くなると誤差をもったエレメントから成るシステムは弱い。実際の環境では、手動キャリブレーションはほぼ不可能万能な技術は無い。TPOに合わせた信号処理を！音声通話系と音声認識系では要求されているものが異なるこれからは２つのタイプに分かれていくのでは？１．雑音除去重視、目的音の歪み軽視型（応用音声認識）２．雑音除去軽視、目的音の歪み重視型（応用音声通話）万能さを目指して演算量を増やすよりも、目的に特化して高精度化・リアルタイム化を目指す今後のマイクロホンアレー技術は？装置誤差を考慮に入れない理論音響信号処理特論

音響信号処理の基礎

－雑音抑圧など－奈良先端科学技術大学院大学情報科学研究科音情報処理学講座猿渡洋（2011年6月17日）音響信号処理特論

音響信号処理の基礎

－雑音抑圧など－（2音声とは？音声信号の特徴人間の口から発せられる言語構造をもつ信号基本周波数：男性平均125Hz女性平均250Hzスペクトル構造：長時間平均的には800Hzまではほぼ平坦，800Hz以上は-10dB/octの傾斜をもつ比較的低周波数帯域にエネルギーが集中する信号音声とは？音声信号の特徴比較的低周波数帯域にエネルギーが集実環境における音声処理我々が耳にすることができる音声信号は…口から発せられた原音声信号は，空気を媒体として伝達され，耳（マイクロホン）に到達する．伝送の際に様々な変形が加わる．実環境における変形要因加法性変形：環境騒音，妨害話者乗法性変形：室内残響（室内伝達関数），受音系装置の音響歪その他の変形：実環境における発話状態変化（Lombard効果）実環境における音声処理我々が耳にすることができる音声信号は…乗法性変形反射による残響歪実環境における変形要因原音声信号雑音加法性変形雑音等の干渉？我々が実際に受け取ることのできる信号は…乗法性変形実環境における変形要因原音声信号雑音加法性変形？我加法性変形雑音の特性尺度：信号対雑音電力比（SN比）種類：計算機雑音，自動車雑音，話し声，音楽…実環境における雑音のレベル静かなオフィス：45～50dBA広いオフィス：60～70dBA走行自動車内：65～75dBAジェット機コクピット：90dBA以上加法性変形雑音の特性加法性変形(cont’d)1m離れた場所での音声信号のレベルは…普通の強さで発声される会話音声（男性）：66dB普通の強さで発声される会話音声（女性）：63dB実環境でのSNR静かなオフィス：30～25dBA広いオフィス：15～5dBA走行自動車内：10～0dBAジェット機コクピット：-15dBA以下一般に75dB以上のレベルで発声されることはまれ常に実環境では雑音を意識しておく必要あり加法性変形(cont’d)1m離れた場所での音声信号のレ乗法性変形残響による空間伝達特性尺度１：残響時間（音を停止してからエネルギーが-60dB減少するまでの時間）尺度２：波形歪（源波形からの変形を雑音とみなすSNR)尺度３：スペクトル歪（振幅スペクトル上でのSNR）実環境における残響時間例自動車内：80～100msec通常室内（小）：300msec以上会議室:700msec以上コンサートホール：2000msec以上一般に、部屋の各壁の吸音率が小さく体積が大きい部屋ほど残響時間が長く、音声への影響が大きいスペクトル変形スペクトル変形＋波形変形乗法性変形残響による空間伝達特性一般に、部屋の各壁の吸音率がその他の変形（発話状態変化）Lombard効果ひどい雑音，過度の残響などにより，発話者から発声される音声自身が変形してしまう現象具体的な変形例第一ホルマントの上昇第二ホルマントの下降スペクトルの傾きの変化母音継続長が長くなるその他の変形（発話状態変化）Lombard効果実環境における変形音声例原音声加法性変形白色雑音SNR20dB白色雑音SNR0dB有色雑音SNR0dB乗法性変形壁による一次反射のみ残響時間400msec残響時間900msec残響時間2500msec加法性＆乗法性変形白色雑音（SNR=20dB）＆残響時間900msec実環境における変形音声例原音声実環境における信号処理加法性変形に対する処理スペクトルサブトラクションウィーナーフィルタ櫛形フィルタノイズキャンセラマイクロホンアレー乗法性変形に対する処理ケプストラム正規化逆フィルタ適応エコーキャンセラMINT法1入力，装置規模小多点入力，装置規模大1入力，装置規模小多点入力，装置規模大実環境における信号処理加法性変形に対する処理1入力，装置規模スペクトルサブトラクション基本原理：雑音が定常であることを利用して，非音声区間の信号より雑音の特徴量を推定しておき，雑音混じりの音声の特徴量から雑音成分を取り除く．NoisySpeechSilenceDetectionNoiseEstimationSt-DFTAnalysisαAmplitudePhaseSt-IDFTOutputSpeechスペクトルサブトラクション基本原理：NoisySpeechスペクトルサブトラクション(cont’d)具体的な信号処理：時刻ｔでの雑音混じり信号を，真の音声信号を，雑音信号をとする．その時観測される信号は以下で与えられる．窓の位置をmで表した短時間フーリエ分析により上の関係は周波数領域にて以下のように書ける

スペクトルサブトラクション(cont’d)具体的な信号処理スペクトルサブトラクション(cont’d)本方法では以下のようにして信号推定を行う．雑音信号を定常と仮定し，振幅スペクトルは入力 から推定雑音を減算したものとする．位相に関しては，入力信号のものを使用する．この方法により推定される出力信号は…

ここでは：非音声区間で推定した雑音：減算調節パラメータ一般には2程度，は1or2スペクトルサブトラクション(cont’d)本方法では以下のスペクトルサブトラクション(cont’d)本方法における利点は…構造が単純．定常雑音であれば抑圧効果大．本方法における問題点・課題は…雑音抑圧によりミュージカルトーンが発声音声・非音声をどのように区別するか．非定常な雑音にどのように対処するか．減算調節パラメータをどのように決定するか．スペクトルサブトラクション(cont’d)本方法における利スペクトルサブトラクション例原音声雑音付加音声（SNR=0dB,白色雑音）回復処理音声スペクトルサブトラクション例原音声櫛形フィルタ基本原理：音声が周期的な波形（周波数領域ではハーモニクス構造を持つ）であることを利用して，音声の基本周波数F0を推定しておき，雑音混じりの音声信号に対してｎF0成分（ｎは整数）のみを強調するハーモニクス構造フィルタを構成する．F0→ｆ音声雑音観測信号周波数特性×F0→ｆ櫛形フィルタ＝F0→ｆ出力信号櫛形フィルタ基本原理：F0→ｆ音声雑音観測信号周波数特性×F櫛形フィルタ(cont’d)本方法における利点は…音声のハーモニクス構造を陽に利用．非定常な雑音にもある程度対応可能．本方法における問題点・課題は…基本周波数を雑音中にどう推定するか．「櫛の形」をどのように調節するか．ハーモニクス構造を持たない子音の回復．櫛形フィルタ(cont’d)本方法における利点は…ノイズキャンセラ基本原理：２本のマイクロホン（主マイクと参照マイク)を用意する．主マイクでは音声と雑音が観測され，参照マイクでは雑音のみが観測できると仮定する．同時刻の雑音を参照マイクで受音して，主マイクでの雑音混じり音声より差し引く．この際に，参照マイクから主マイクへの伝達特性を適応的に同定する適応フィルタが使用される．ノイズキャンセラ基本原理：ノイズキャンセラ(cont’d)構成図：AdaptiveFilterOutputSpeechSpeechNoisePrimaryMicrophoneReferenceMicrophoneとは伝達経路が異なることに注意ノイズキャンセラ(cont’d)構成図：AdaptiveOノイズキャンセラ(cont’d)具体的な信号処理：主マイク信号を，音声信号成分を，雑音信号をとすると以下が成り立つ．参照マイクでの雑音信号に適切なフィルタをかけ主マイク信号から減算し，誤差を算出．ノイズキャンセラ(cont’d)具体的な信号処理：ノイズキャンセラ(cont’d)音声信号と雑音信号，において相関が無いと仮定すると，誤差のパワーは以下で与えられる．このをに関して最小化することにより，最適フィルタ係数が以下のように得られる．ノイズキャンセラ(cont’d)音声信号と雑音信号ノイズキャンセラ(cont’d)式（1）を用いて最適なフィルタ係数を求めるには，音声信号が無い時間にのみを観測してを推定しておく必要がある．そこで，LMS（LeastMeanSquare）法によって準最適なフィルタ係数を逐次推定する．まず

のに関する瞬時勾配は→実際上は困難である場合も多いノイズキャンセラ(cont’d)式（1）を用いて最適なフィノイズキャンセラ(cont’d)LMS法では式（2）の瞬時勾配を誤差期待値の代用とする．よって最急降下法が適用でき，以下の更新式を得る．ここでは，回目の反復における値であることを表し，はステップサイズパラメータである．式（1）に比べて，式（3）で推定されるものは，多少揺らぎながらも真値に収束することが知られている．ノイズキャンセラ(cont’d)LMS法では式（2）の瞬時ノイズキャンセラ(cont’d)本方法における利点は…適応的に雑音をほぼ完全に消去できる．式（3）を使えば非定常・移動雑音にもある程度対応可能．本方法における問題点・課題は…式（1）を用いる場合は無音区間推定が必要式（3）では収束性が問題となる参照マイクの配置に大きく依存ノイズキャンセラ(cont’d)本方法における利点は…マイクロホンアレー基本原理：２本のマイクロホンシステムをさらに拡張→多点受音処理系を構成複数のマイクロホンを並べたものをマイクロホンアレーと呼ぶ。空間選択性を持ち，音声源の方位から到来する信号のみ強調し雑音源を抑圧することが可能指向特性（空間に対してアレーが形成する利得の分布）によって，その性能を評価・図示できる．マイクロホンアレー基本原理：マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響アレー装置From“ArraySignalProcessing”,D.Johnson両耳による音源方位の同定（生物自身が持つアレー）音源のある方位に聞き耳を立てるディジタル信号処理技術の進歩とともに発展マイクロホンアレーの歴史第一次大戦中フランス軍が使用した音響マイクロホンアレーの構造基本構造：・多数のマイク素子を規則的に配列・各素子の後段にフィルタを接続・各素子でのフィルタ出力を総和素子配列形態，フィルタ特性を変化させることにより性能可変FilterFilterFilterΣMicrophoneArrayOutputNoiseSpeechマイクロホンアレーの構造基本構造：・多数のマイク素子を規則的マイクロホンアレーの種類加算型アレー：目的信号の到来方位に鋭い指向特性を形成例：DelayandSum（遅延和）アレー

FilterandSumアレー等減算型アレー：雑音の到来方位に指向特性の死角を形成例：死角制御型ビームフォーマ適応型ビームフォーマサイドローブキャンセラ等構造単純性能対装置規模が優秀マイクロホンアレーの種類加算型アレー：構造単純性能対装置加算型アレー基本原理：目的信号を同相化し，その到来方位（これを目的方位;lookdirectionという）に「メインローブ」と呼ばれる鋭い指向性を形成する．目的方位以外には，できるだけ低い利得を形成し，雑音の混入を防ぐ．この目的方位以外に形成される利得パターンのことを「サイドローブ」という．θ目的音サイドローブを低くすれば雑音を抑圧可能メインローブ加算型アレー基本原理：θ目的音サイドローブを低くすれば雑音を遅延和アレー設計例設計条件：目的方位は0度，一様素子荷重係数を使用素子数8，素子間隔5cmの等間隔直線アレー低い周波数ほど鋭い指向特性が形成困難になる遅延和アレー設計例設計条件：低い周波数ほど鋭い指向特性が形成グレーティングローブによる劣化8kHzにおける指向特性（8素子5cm間隔アレー）メインローブ（0°方向）以外にも大きなローブが形成される．これは「波長に対して素子間隔が広すぎる」ために生じた折り返し歪でありグレーティングローブと呼ばれる．グレーティングローブによる劣化8kHzにおける指向特性（8加算型アレーの性能限界周波数とメインローブ幅低周波数帯域にて狭いメインローブを構成することは困難波長アレー長[°]（一様荷重係数の場合）周波数とグレーティングローブ高周波数帯域においてはグレーティングを避けることは困難素子間隔＜波長/２グレーティングローブを避けるための素子間隔条件高い・低いどちらの周波数帯域でも使用するには…マイク素子を密に（グレーティングローブ対策）かつ大量に（アレー長を増やすため）並べたアレーが必要加算型アレーの性能限界周波数とメインローブ幅低周波数帯域にて加算型アレーによる音声回復例原音声残響が無い場合単一マイクロホン遅延和アレー残響がある場合（残響時間＝400msec）単一マイクロホン遅延和アレー8素子，５cm間隔…音声雑音-50°加算型アレーによる音声回復例原音声8素子，５cm間隔…音声減算型アレー基本原理：各素子出力を雑音方位に関してまず同相化し，その後，全素子の重み和が0になるように加算する．つまり，素子間にて雑音成分を減算していることになる．上記処理は，指向特性上おいて，雑音方位に鋭い「死角」を形成していることを意味する．θ目的音雑音に死角をあてる減算型アレー基本原理：θ目的音雑音に死角をあてる適応型アレー基本原理：雑音の到来方位を事前に知ること無く，「アレー出力を最小にする」という規範のもとで，指向特性を最適化する．これにより，限られたマイク素子においても，効率的に雑音を抑圧可能である．素子荷重係数の最適化には適応フィルタ理論が用いられる．ここでは，目的方位を歪ませないために「目的方位の利得を一定に保つ」という拘束条件のもとでフィルタの最適化を行う．拘束条件付きの最適化問題に帰着適応型アレー基本原理：拘束条件付きの最適化問題に帰着適応型アレーの構造AdaptiveFilterΣMicrophoneArrayOutputNoiseSpeechAdaptiveFilterAdaptiveFilter目的方位の利得は一定に保つ誤差信号→最小適応型アレーの構造AdaptiveΣMicrophoneAr適応型アレーの指向特性例1雑音数が少・残響少の場合雑音に死角を形成することで雑音抑圧→減算型アレーを自動形成θ目的音雑音に死角をあてる適応型アレーの指向特性例1雑音数が少・残響少の場合θ目的音雑適応型アレーの指向特性例2雑音数が少・残響大の場合必ずしも雑音に死角を形成せず，雑音の残響成分と併せてそれらの総和が0になるような指向特性を形成する．θ目的音雑音雑音の残響＋－＋－適応型アレーの指向特性例2雑音数が少・残響大の場合θ目的音雑適応型アレーの指向特性例3雑音数が大・残響大の場合死角形成，残響との打ち消しあい，低サイドローブによる抑圧，などを組み合わせて雑音を除去．θ目的音雑音2雑音1＋－適応型アレーの指向特性例3雑音数が大・残響大の場合θ目的音雑適応型アレーの特徴利点加算・減算型よりも少数のマイク素子にて，効率的に雑音抑圧を行うことが出来る．目的音の存在しない時間が与えられれば，雑音方位を与えなくても環境に応じて雑音を最適に抑圧することが出来る．雑音の残響成分が存在しても，それらの総和を最小化することにより雑音全体を除去．環境にあわせて加算・減算型などの中から最適なものが自動選択・組み合わされる．適応型アレーの特徴利点環境にあわせて加算・減算型などの中から適応型アレーの特徴（cont’d）問題点・課題素子数以上の死角を形成できない．つまり，素子数以上の雑音は抑圧不可能．目的音の無音区間情報が必要．雑音方位が幅を持っている場合や，室内残響の影響が大きい場合には，抑圧性能が劣化する．拘束条件付の最小化問題に帰着→LMSアルゴリズムが使用できないので動的環境変化に対して逐次フィルタ更新不可能Griffith-Jim型適応アレーを用いることにより解決適応型アレーの特徴（cont’d）問題点・課題GriffitGriffith-Jim型適応アレーの構造ΣK-MicrophoneArrayOutputK-1chAdaptiveFilter目的方位信号成分を含まないK-1ch信号誤差信号→最小PhaseCompensation12Σ－＋＋－＋－主パス参照パスGriffith-Jim型適応アレーの構造ΣK-MicropGriffith-Jim型適応アレーの原理1主パスは単純な加算型アレーサイドローブ部分に雑音が混入する．一方，参照パスは…まず，隣あうアレー信号間で減算し，目的音成分を除去しておく（K-1chアレーに変換）．次に，それらをK-1ch適応フィルタに入力し，主パスとの減算を行う．主パス，参照パスの差を誤差信号と見なし，それを最小化するようにLMSアルゴリズムによってフィルタの最適化を行う．Griffith-Jim型適応アレーの原理1主パスは単純な加Griffith-Jim型適応アレーの原理2なぜ拘束条件付き問題にLMSが使えるのか?θ目的音（適応中は無音）サイドローブが雑音を受音するメインローブ主パスθ目的方位には死角主パスとなるべく同じサイドローブを構成参照パス主パスと参照パスの差を単純に最小化目的方位は無歪みのままサイドローブのみ最小化Griffith-Jim型適応アレーの原理2なぜ拘束条件付き適応型アレーによる音声回復例雑音混合音声GJ型適応アレーによる回復音声4素子，4.2cm間隔…音声雑音50°ブザー音適応型アレーによる音声回復例雑音混合音声4素子，4.2cmマイクロホンアレー処理の欠点音源の到来方位推定が必要適応のために無音区間の推定が必要素子位置の変動に対応できない素子誤差を事前に補正しておく必要があるマイクロホンアレーの問題点？マイクロホンアレー処理の欠点マイクロホンアレーの問題点？マイクロホンアレーの問題点（続き）遅延和型：素子係数により指向特性を制御適応型：雑音の到来方向に指向特性を適応θ目的音雑音も同時に拾ってしまうθ目的音を指定雑音のみを観測する時間が必要死角マイクロホンアレーの問題点（続き）遅延和型：素子係数により指ブラインド音源分離の登場BlindSourceSeparation(BSS)複数の音源信号が混合されて観測された場合、観測信号のみから音源信号を推定する技術目的音の方位・無音区間情報が不要マイク素子位置・特性情報も不要マイク特性誤差があっても頑健に動作する独立成分分析（ICA）に基づくBSSJ.Cardoso,1989C.Jutten,1990（高次無相関化）P.Comon,1994（ICAという言葉を定義）A.Belletal.,1995（infomaxによる定式化）ブラインド音源分離の登場BlindSourceSepar独立成分分析（ICA）とは何か？独立な成分の抽出：複数の確率信号が混合された観測系列から，統計的に独立な個々の確率過程を分解抽出する．特徴：独立性は「無相関性」よりも厳しい尺度であり，確率信号同士の確率密度構造が問われる．→情報幾何学と呼ばれる→「独立⇒無相関」であるが、「無相関⇒独立」は必ずしも成り立たない．独立成分分析（ICA）とは何か？独立な成分の抽出：互いに独立既知ICAに基づくBSSとは？Human2Human1Microphone1Microphone2おはようこんにちはObservedsignal1Observedsignal2Source2Source1音源信号を推定互いに独立既知ICAに基づくBSSとは？Human2HuICAに基づくBSSの定式化線形混合過程混合行列音源信号観測信号分離過程分離信号分離行列独立?コスト関数最適化ICAに基づくBSSの定式化線形混合過程混合行列音源信号観測ICA以外のBSS：BinaryMasking(BM)

s1(t)x2(t)x1(t)s2(t)ST-D