コンテンツにスキップ

音声合成

出典: フリー教科書『ウィキブックス(Wikibooks)』

音声合成の概要

[編集]

音声合成は入力から音声を合成することを意味する。特にテキストからの音声合成は Text-to-Speech (TTS) と呼ばれている。

Text-to-Speech は障害者のアクセシビリティに重要なため、様々なプログラミング環境に標準搭載されている。

また歌声を合成するもの、音声からの音声合成をするもの(ボイスチェンジャーなど)も存在する。

Text-to-Speech ことはじめ

[編集]

Webブラウザ (Javascript)

[編集]

Google ChromeでJavascriptを試すには、URLバーより右側の三点アイコン→「その他のツール」→「デベロッパー ツール」を開き、そのConsoleタブにJavascript片を入力する。

// Web Speech API: https://developer.mozilla.org/ja/docs/Web/API/Web_Speech_API
let utterance = new SpeechSynthesisUtterance("TTS始めました!")
speechSynthesis.speak(utterance);

シェルスクリプト

[編集]
TEXT="TTS始めました!"
if command -v spd-say >/dev/null 2>&1; then
    # 多くのLinux環境に搭載のSpeech Dispatcher
    spd-say $TEXT
elif command -v say >/dev/null 2>&1; then
    # macOS内蔵コマンド
    say $TEXT
fi

PowerShell

[編集]
Add-Type -AssemblyName System.speech
$ss = New-Object System.Speech.Synthesis.SpeechSynthesizer
$ss.Speak("TTS始めました!")

音声合成の方式

[編集]

音声合成の方式には非機械学習ベースのものと機械学習ベースのものが存在する。

テキストの変換

[編集]

古くはテキストを音素に変換したあとで、その音素を元に音声合成処理を行うというのが一般的となっていた。テキストから音素への変換は例えば以下のような感じとなる:

$ # eSpeak NG の音素への変換例
$ espeak-ng -v ja -x "こんにちはせかい"
k,onnit_s\,ihasek'ai
$ espeak-ng -v en -x "Hello World!"
h@l'oU w'3:ld
$ espeak-ng -v fr -x "Bonjour le monde!"
bO~Z'ur l@- m'O~d
$ # Festival の音素への変換例
$ echo '(begin (set! u (Utterance Text "Hello World!")) (utt.synth u) (print (mapcar item.name (utt.relation.items u '\''Segment))))' | festival --pipe
("pau" "hh" "ax" "l" "ow" "w" "er" "l" "d" "pau")
$ echo '(begin (set! u (Utterance Text "Bonjour le monde!")) (utt.synth u) (print (mapcar item.name (utt.relation.items u '\''Segment))))' | festival --pipe
("pau" "b" "ax" "n" "zh" "uh" "r" "l" "ax" "m" "aa" "n" "d" "pau")

また日本語では日本語アクセント辞書として UniDic (国語研短単位自動解析用辞書)[1]が、日本語アクセント結合処理ツールとして ChaOne が存在し、それらを使用した音声合成システムとして Galatea Talk が存在していた。

$ echo "雨の橋の端で神の箸と飴の紙を拾った" | mecab -d /var/lib/mecab/dic/unidic | sed 's/\t/,/' | cut -d, -f1,11,26,27,28 # 文字,読み,アクセント型 (aType)、アクセント結合型 (aConType)、アクセント修飾型 (aModType)
雨,アメ,"1","C3",""
の,ノ,"","名詞%F1",""
橋,ハシ,"2","C3",""
の,ノ,"","名詞%F1",""
端,ハシ,"0","C3",""
で,デ,"","動詞%F2@0,名詞%F1"
神,カミ,"1","C3",""
の,ノ,"","名詞%F1",""
箸,ハシ,"1","C3",""
と,ト,"","名詞%F1,動詞%F1
飴,アメ,"0","C3",""
の,ノ,"","名詞%F1",""
紙,カミ,"2","C3",""
を,オ,"","動詞%F2@0,名詞%F1
拾っ,ヒロッ,"0","C2",""
た,タ,"","動詞%F2@1,形容詞%F4@-2"
EOS

日本語の結合規則では F1〜F6 が「付属語アクセント結合規則」を、C1〜C5・C10 が「複合名詞アクセント結合規則」を、P1・P2・P4・P6・P13・P14 が「接頭辞アクセント結合規則」を意味しており[2]、ChaOne[2]はこれらの規則に基づいて実際のアクセントへと変換を行っていた。

$  echo "雨の橋の端で神の箸と飴の紙を拾った" | mecab -d /var/lib/mecab/dic/unidic -O "" --node-format='<W1 orth="%f[8]" kana="%f[20]" pron="%f[9]" pos="%f[0]-%f[1]-%f[2]-%f[3]" cType="%f[4]" cForm="%f[5]" orthBase="%f[10]" kanaBase="%f[21]" pronBase="%f[11]" lForm="%f[6]" lemma="%f[7]" form="%f[22]" aType="%f[24]" aConType="%f[25]">%m</W1>\n' --unk-format='' --eos-format='</S>\n' | sed '1i <S>' | ./chaone --encoding "UTF-8" | iconv -f eucjp | grep "<AP" 
  <AP orth="雨の" pron="アメノ" aType="1" silence="NON">
  <AP orth="橋の" pron="ハシノ" aType="2" silence="NON">
  <AP orth="端で" pron="ハシデ" aType="0" silence="NON">
  <AP orth="神の" pron="カミノ" aType="1" silence="NON">
  <AP orth="箸と" pron="ハシト" aType="1" silence="NON">
  <AP orth="飴の" pron="アメノ" aType="0" silence="NON">
  <AP orth="紙を" pron="カミオ" aType="2" silence="NON">
  <AP orth="拾った" pron="ヒロッタ" aType="4" silence="NON">

文節を表す<AP>要素のaType属性は文節のアクセント位置を表すため、この文の読みは「あ↘めの/はし↘の/↘はしで/か↘みの/は↘しと/↘あめの/かみ↘を/ひろった」となる[3]。

これは一見すると良く動いているように思えるが、例えば読み上げる文に平仮名の「あめ」「かみ」「はし」が含まれていた場合、アクセント辞書ベースでは対応できなくなる。そのため近年は音素を介さず、テキストから大規模言語モデル (LLM) を通じて文脈の解釈まで含めたリッチな内部表現へと変換するという手法が広まっている。

波形合成

[編集]

波形合成には波形接続、人間の励振と声道を模した方式(ボコーダー)、ニューラルオーディオコーデックなどが存在する。

波形接続では単純な音素ごとの波形接続だけでなく、複数の音素ごとの波形接続も行われている。波形接続型は単調になりやすいという欠点が存在するものの、歌声合成ソフトウェアでは今でも良く使われている方式となっている。

人間の励振と声道を模した方式では、音源を励振を模した基底音源と声道を模した音声フィルターに分けることで、情報量の圧縮が行われている。これによってTexas Instruments の LPC スピーチチップのような安価な音声合成チップが登場し、子供向けの玩具にも音声合成が搭載されるようになっていった。なお機械学習時代にもこの LPC を模した LPCNet が登場したものの、非効率となって他の方式に置き換えられていった。

ニューラルオーディオコーデックでは音声データを連続的な潜在空間へと圧縮した後に、その潜在空間を残差ベクトル量子化 (RVQ) などによって離散的な音声トークンへと再圧縮することが行われている。これによって大規模言語モデル (LLM) を基として離散的なテキストトークンの代わりに離散的な音声トークンを出力するというLLMベースのTTSモデルが登場した。音声合成で使われたニューラルオーディオコーデックには例えば以下が存在する:

  • Meta (Facebook Research)
    • EnCodec(VALL-Eで使用)
  • Google Research
    • SoundStream(SPEAR-TTSで使用)
  • IBM Research
    • DAC.speech.v1.0(OuteTTS 1.0で使用)

一方、分布から分布への変換の連続時間モデルでは離散的な音声トークンが扱いにくいため、連続的な潜在空間への圧縮に留めたものも使用されている:

  • Meta (Facebook Research)
    • DACVAE(Irodori-TTSで使用)

波形合成パラメータの算出

[編集]

テキストやテキストから変換した音素、内部表現からの波形合成パラメータへの変換にはテーブル引き処理 (LUT) や機械学習が使用されている。

機械学習では前述の通り大規模言語モデル (LLM) を基にして離散的なテキストトークンの代わりに離散的な音声トークンを出力するという手法が登場している。

またテキストから変換した連続的な内部表現の分布を出力音声の基となる潜在空間の分布へ変換するという手法も登場している。分布から分布への変換の連続時間モデルには主に以下の方法が存在する:

  • 拡散モデル (Diffusion)
  • フローマッチング (Flow Matching) - Echo TTS、Irodori-TTS がこの方式を採用している。

脚注

[編集]
  1. ^ Ubuntu であればsudo apt install unidic-mecabでMecab にインストール可能であるが、ChaOne で処理するためには ChaSen 互換 XML 形式での出力が必要となる(例を参照)。
  2. ^ ChaOne 1.3.3 は MIT ライセンスだったという情報もある[1]がソースコードが見つからないため未確認。1.3.0a2時点ではライセンス確認できず: https://ftp.iij.ad.jp/pub/sourceforge.jp/galateatalk/22324/chaone-1.3.0a2.tar.gz
  3. ^ なお実際のGalatea Talkでは文節毎の<AP>要素だけでなく単語毎の<W2>要素も同時に使われていた。