2019年9月29日日曜夜9時にNHK総合で放送された『NHKスペシャル「AIでよみがえる美空ひばり」』を観ました。
30年前の1989年に52歳で亡くなられた歌姫美空ひばりさんの、歌声をAIに学習させて、秋元康さん作詞・プロデュースの新曲『あれから』を歌わせる試みを追う番組でした。
- AIの歌声学習が難航
- 試しにLet It Goを歌わせていた
- ひばりさん特有の語り口を再現
- 姿形、動きの再現
- ファンと秋元康さんに開発中の歌声を聴いてもらう
- AI美空ひばりの歌声
- 『天国からのお客さま』と比較して
- ひとつだけ気になったことがあった
膨大な美空ひばりさんの映像を分析し、ひばりさんの姿形を再現するため、口や目、体の動きなどを分析。
最終的にはAIのひばりさんの歌声が、どこまで再現できるか？が一番の課題になっていました。
AIの歌声学習が難航
このAI美空ひばりの開発で一番難航していたのが歌声学習でした。
この歌声づくりに協力していたのが、歌声合成ソフトボーカロイドを開発したヤマハのエンジニア。
バーチャルアイドル初音ミクを開発した人たちです。
ボーカロイドは、楽譜と歌詞を与えると、コンピューターが歌にしてくれるシステムだそうです。
初音ミクは楽譜通りに人工的な女性の音声で歌ってもらうものですが、今回のAI美空ひばりは、人工的な音声でなく、実在した歌手、本人の声をそのまま再現して、新曲を歌わせるというもの。
生涯で1500曲をレコーディングしている美空ひばりさん。レコード会社から特別に提供してくれたボーカルのみの音源をAIが学習。人間では見つけられないひばりさんの歌声のルールを見つけ出していく。
美空ひばりさんは、低い声から高い声まで4オクターブの声が出たといい、演歌、ジャズ、バラード何でも歌いこなす人だったそうです。
4オクターブ全ての音を拾い集め、さらに一つの音ごとにビブラートがかかったもの、ファルセットなどの裏声、それらを組み合わせて音を作っていくという作業をしていくます。
人間の手作業ではとても時間がかかってしまうところを、今回はディープラーニングというAIが自ら学習を繰り返すというシステムを採用。
歌声データを学習させていきました。
4オクターブの声が出せるなんて、1オクターブ半ぐらいしか出せない音痴の私には、想像も出来ない音域の広さでびっくりしました。
AI美空ひばりを作るうんぬんより、まず美空ひばりという人が、どんだけ偉大な歌手だったかを知らしめる番組になっていました。
試しにLet It Goを歌わせていた
開発から半年で、AIが驚異的なスピードで成長。
エンジニアの方が試しに映画『アナと雪の女王』の『Let It Go』をAIに歌わせていました。
私自身、美空ひばりさんが亡くなられた時はまだ子供で、正直AIの歌声が似てるのかどうかも分かりませんでした。
亡くなられたときによく特番で『川の流れのように』を聴いたことがあるくらいです。
もしひばりさんが歌ったらきっとこんな感じなんだろうな…ぐらいしか思えませんでした。
ひばりさん特有の語り口を再現
秋元康さんが作詞を担当したAI美空ひばりに歌ってもらう新曲『あれから』には、歌声だけではなく、語りが入ります。
ひばりさんが実際に歌ってきた曲とは全然違う現代の曲を、AIに歌わせようとする作業だけでも大変なのに、さらに語りまで入り、ひばりさんが歌った1500曲の音源の中に語りがほとんどなく、データ不足していました。
『悲しい酒』という曲の語りを学ばせて新曲の語りの部分を喋らせてみたものの、悲壮感が出てしまっていました。
この音声では、秋元さんが考えていた今この時代にひばりさんが、空の上から「私の分まで頑張って。」「よく頑張ったわね。」という言葉を伝えてもらいたい。という目的とはちょっと外れてしまうことに。
そこで、ひばりさんの息子さんから、ひばりさんが童話の読み聞かせをしているカセットテープの音源を提供してもらい、その優しい語り口をAIに学習させていました。
すると、『悲しい酒』の音声を学習させたときとは全く違う、相手を思いやる優しい声になっていました。
AIの成長のスゴさを目の当たりにしました。声に嘘っぽさがなくなってるのが分かりました。
素晴らしい技術ですけど、ちょっと見ていて怖くもありました。
姿形、動きの再現
歌声の開発と並行して、映像の開発も進められていました。顔の動かし方、曲やお客さんの反応を見て自在に変えられていた振り付け。
- AIプログラマー
- CGデザイナー
- 3D立体投影
これらの第一人者たちがひばりさんの映像を分析し、再現していく。
誰も見たことのない新曲を披露するひばりさんの姿。どんな動きをするのか誰も予想が出来ない。
その動きを予測するために協力してくれたのが、ひばりさんを師と仰ぐ歌手の天童よしみさん。天童さんは、ひばりさんの歌声や動きを自分のものにしようと、レコードを聴き込み、ビデオも擦り切れるほど見てきたんだそうです。
その天童さんにモーションキャプチャーセンサーという全身の動作を精密に記録する装置を装着してもらって、新曲『あれから』を歌ってもらい、無意識に出た動きなどのデータを取っていました。
動きだけでなく、姿形の再現では、生前ひばりさんのヘアメイクを25年担当していた美容師の白石文江さんが協力してらっしゃいました。
ひばりさんと同じ背格好の人に、ひばりさんのイメージに合った髪型を作ってCGの起こしていました。
さらに、新曲披露の場のコンサートでの衣装担当は、生前のひばりさんが42歳の頃からのステージ衣装を担当してしていた森英恵さんでした。
ひばりさん等身大の映像を新曲発表会で3D投影し、その場にひばりさんがいるかのように再現するためです。
天童よしみさんも白石文江さんも森英恵さんも、お二人とも美空ひばりさんに対して思い入れがありました。皆さん元気なひばりさんに会いたい気持ちは共通していました。
天童さんは、ひばりさんならこういう動きをするだろうと意識し、森さんは本物のひばりさんに着せたいドレス、白石さんも新曲のイメージに合わせた髪型を作ってらっしゃいました。
どんなひばりさんに会えるのか？期待する思いが画面越しに伝わってきました。
ファンと秋元康さんに開発中の歌声を聴いてもらう
美空ひばり復活コンサートを1か月半後に控えた日。
開発中の歌声を、美空ひばり後援会の方たちに聴いてもらい、意見をもらっていました。
後援会の方たちは、生前コンサートに足を運び、晩年は裏方としても支えて病室にも通われていた方々です。
番組では、後援会の方々とひばりさんが一緒に写った写真も紹介されていました。
その方たちの意見は厳しいものでした。
AIの歌声では、歌詞が分からない。ひばりさんの歌声は言葉がはっきりしていた。というもの。
さらに、ひばりさんの声が持つ独特の力が感じられないというのが全員一致した意見でした。
ひばりさんの声は、濃い空気のなかにいる気持ちになるのが、その空気が足りず、浅かったというのです。
ファンの方だけでなく、秋元康さんにも聴いてもらっても意見は同じ。
秋元さんは、人間味がない。楽譜通りに的確にデータ通りの歌い方ではなく、人間臭い雑味や温かみが欲しい。
ひばりさんのスゴさはそこにある。
という意見でした。
AIはひばりさんの声で正確には歌えているが、人を感動させることが出来ていなかったのです。
ひばりさんの歌声の何が、人の心を揺さぶるのか？
番組では、金沢工業大学の山田真司研究所にひばりさんの歌声に潜む秘密の解明を依頼していました。
解析によると、ひばりさんの歌声には“高次倍音”という特殊な音が含まれているのが分かりました。
高次倍音は、元の音の周波数より何倍も高い音、数オクターブ上のもう一つの音なんだそうです。
ひばりさんはこの複数の音を同時に出して、一人でハーモニーを奏でていた。というのです。
ひばりさんはこの高次倍音を曲の必要な場所だけに、ピンポイントで出しているというのです。
高次倍音に加え、エンジニアの方がもう一度ひばりさんの声を聴き直し、ひばりさんの歌には、楽譜に対して、音程やタイミングのズレが随所にあることを発見。
AIの開発で、メインのAIをサポートする、音程、タイミング、ビブラート、音色に特化するAIのうちの、音程とタイミングのズレを担う2つのAIに関与の度合いを強めることを指示しました。
新しい設定で新曲『あれから』を歌わせてみて、専門家に解析してもらうと、高次倍音が出現。
開発から1年。AIの歌声が美空ひばりさんの歌声に近づいてきました。
ーーー
私は、歌手の方で倍音という音を出す方がいるというのは、聞いたことがありましたが、ひばりさんは高次倍音？7000ヘルツ？もう異次元過ぎて何をおっしゃてるのかがよく分かりませんでした。
とにかく、並の人には出来ない発声法ができたってことでしょうか？
それをAIが学習して出せるようになった？？
なんだかスゴイことになってきたのだけは分かりました。
AI美空ひばりの歌声
2019年9月3日。
AIでよみがえった美空ひばりさんのコンサートが開かれました。
会場は、生前の美空ひばりさんが何度も歌ったこともあるNHKの101スタジオ。
新曲を伴奏するオーケストラ、ステージの特設スクリーンにCGを映し出すエンジニア総勢100人のスタッフが集結しました。
200人近い美空ひばりファン、AI開発に携わった秋元康さん、天童よしみさん、森英恵さんら全ての人達が駆けつけました。
新曲は秋元康作詞、佐藤嘉風作曲『あれから』。
イントロが流れて、ステージ上にAI美空ひばりのCG映像が登場しました。
歌い出しの「夕日がまた沈んでいく あっという間の一日」という部分を聴いただけでグッと心つかまれ、涙が出ました。
それからもずっと涙が止まりませんでした。
涙ぐむレベルの涙じゃなくて、歌が流れてる間ずっと泣いてしまいました。
涙は語りの部分でもっと溢れてきました。
生前のひばりさんがこの曲を歌ってたのかな？と勘違いするほど、違和感がなく聞き入りました。
亡くなった美空ひばりさんがAIでよみがえるなんて、どんなもんが出来るんだろう…とただ興味本位で観始めただけだったのに、これには参りました。
歌声が良すぎました。
再現してるのかどうかは私には分かりませんけど、歌声を聴いただけで泣けました。
ひばりさんに会いたい、歌声を聴きたいと思っていた人たちがとても嬉しそうにAIの歌声に聞き入っていて、CGをじっと見つめていました。
『天国からのお客さま』と比較して
昨年の10月に、BSプレミアムで亡くなった人をアンドロイドで蘇らせるという、今回と似たような『天国からのお客さま』という番組をやっていました。
あの時は、勝新太郎さん、立川談志さんの姿形を忠実にアンドロイドで再現し、生前語っていたことを踏まえて、今生きてる人と喋らせる。というものでした。
しかも、生前の故人をよく知っていて、本当に会いたいと思ってる人とアンドロイドが話していました。
勝新太郎さんのアンドロイドには、妻の中村玉緒さん。立川談志さんには、弟子の志らくさん。
特に、中村玉緒さんの振る舞いがとても人形に対して取る態度じゃなくて、勝新太郎さん本人を目の前にしているかのようでした。
玉緒さんが勝新太郎さんと一緒にいるところを生前テレビで見たことあったんですけど、ずっと目を伏せていておしとやかで、いつもの大笑いする玉緒さんじゃなかったんです。
『天国からのお客さま』のアンドロイドと一緒にいた玉緒さんも、目を伏せたり、慣れてきたらアンドロイドに触ろうとしたり、テレビ越しでは人形と一緒にいるようには見えない感じでした。
まぁ、玉緒さんは女優さんだから、演じてたと言えばそうなんでしょうけど…。
まさによみがえってるように見えました。
『天国からのお客さま』の感想は→こちら。
あの時は話すのが中心で、生前の故人の動きと考えを忠実に再現できていました。
けれど今回は、たくさんの人々を感動させる事の出来る偉大な歌手の歌声を再現するという、とても難しい試みでした。
しかも、コンサートに来た人は、皆さん生前のひばりさんの歌声を愛し、繰り返し聞いてきた人々。
ちょっとのズレや嘘くささも見抜く人たちでした。
そんな人たちも納得の歌声で、AI美空ひばりをひばりさんとして受け入れていました。
ファンの人って、ものまねの人が歌うのも許せないほど本人の歌声を愛しています。
そのファンの人たちが受け入れているということは、限りなく本物に近い歌声だったんだろうなと思いました。
特に息子の和也さんが「生き返らないなんていうのは分かってるんですけど、この最先端の技術で、ここまで空いたすき間の時間を埋めてもらえる。とてもAIの素晴らしい側面というのを感じさせていただいた一日でもありました。」と感想を漏らしているのが印象的でした。
亡くなった人に会えるなら会いたい。声が聴きたいというのは誰もが一度は思ったことがあるんではないでしょうか？
もちろん亡くなった人ががよみがえって来ることなんかないことは分かってますけど、ほんのつかの間、夢見てるような気分にさせてくれる、いい企画だなと思いました。
ひとつだけ気になったことがあった
ただひとつ、声の完成度が高すぎて、映像のぎこちなさが気になりました。
もっと大きく口を開けるところなんじゃないか？と思うところでも小さい口でした。
まぁ、生前のひばりさんが小さい口で大きな声を出せた人だったのかもしれないし、こればっかりはもう確かめようがありません。
皆さんはどう思われましたか？
NHKはリクエストをすれば、再放送をしてもらえる可能性があります。
番組を観ていない方！観たいなぁと思われた方！リクエストしてみてはいかがですか？
私は、歌の部分を録画して何回も見直しました。
とても感動しましたけど、本物のひばりさんじゃないから、CD化することもないですよね…？
番組を見てよかったです。
ひばりさんの歌声の秘密も知れて、とても面白かったです！
以上、9/29のNHKスペシャル「AIでよみがえる美空ひばり」を観た感想でした。
