24時間ずっと話せるVTuberを作る。前編
2023-12-15
azblob://2023/12/15/eyecatch/2023-12-15-Automatic-VRoid-Live-Streaming-000.jpg

こんにちは。花田です~!

今回は、24時間ずっと話続けてくれるVRoidを作ってみます。

一気に作るのもいいなぁと思ったのですが、技術インプットが足りないので、今回は

VRoidに自動音声を当てて、話してもらって動画配信をしてもらおうと思います。

24時間ずっと話せるVTuberを作る。

システム的な構成図

完成イメージ既存システムがこちら↓

【24時間LIVE】最新ニュースをお届け!<ライブドアニュース24> (youtube.com)

ということで早速作ってみる。

実装の時間

今回は、ユーザに見せる部分から作っていこうと思います。

今回の進捗的にこのブログでは、リップシンクさせて、OBS Studioで特定の言葉を読み上げるまでを目標にしてやっていきます。

前回のブログでも登場した自作のVRoidのちゃおみを使います。

今回は、ちゃおみに、声を付けていきます。

今回使用する音声は、

VOICEVOX:冥鳴ひまり

の声を使います。

冥鳴ひまりは、利用規約でも他キャラクターの声あては、許可されてます!

ご利用規約 | Himari (meimeihimari.wixsite.com)

そして、ちゃおみの口元と音声を同期させる = リップシンクさせます。

細かいリップシンクのずれは、最後の完成の時に調整します。

合成音声の声と、口元を同期させるためには、PC内で3teneとVOICEVOXを連携する必要があるので、

仮想ケーブルみたいなもので、音声の出力と入力をつなぎこまないといけないです。

合成音声:Input

3tene:Output

で設定しました。

ここで、急に出てきた3teneはなにものかと言いますと、

3tene

3teneはVTuber向けのアプリケーション

です。

もっと簡単に言えば、フェイストラッキング、リップシンクがこのアプリだけでできてしまう。スーパー便利なやつなんです。

このプラットフォームに、VRoidをインポートさせています。

ここで、

VOICEVOXも説明します。

商用利用問わず、無料!!

沢山の合成音声が無料で使えちゃう感動ソフトウェアです!

VOICEVOX | 無料のテキスト読み上げソフトウェア (hiroshiba.jp)

※ずんだもんのような有名なキャラクターなどの利用規約をよく読んだ上で、使う必要があるので注意です!

ここまでで、VOICEVOXと3teneを仮想的なケーブルを通して、接続したのですが、まだ音声はでませんでした。

なので、ここからはOBSに3teneの画面を投影して、画面録画して、やっと、、、

VRoidのちゃおみにVOICEVOX:冥鳴ひまりでしゃべらせることに成功しました!🎉

これで、ユーザに見せる部分が完成しました!!!!

完成品はこちらです!!!!

リップシンクの実験 (youtube.com)

参考文献

使用ボイス:VOICEVOX:冥鳴ひまり

ユーザに見せる部分のシステム

VOICEBOXなどの音声を3teneのVroidで口パクさせる方法 – Otokomkti (おとこみくち)

3teneを使って合成音声でリップシンクさせるのと、OBS Studioの同期オフセットを調整して声とリップのタイミングを合わせる実験をしてみました。 | みくねのぶろぐ@カチュアさんの動画 (mikune.com)

チャット欄に答えて雑談配信する「AI VTuber」の作り方 (zenn.dev)

azblob://2024/04/12/eyecatch/2024-04-12-gemini-1.5-000.jpg
2024/04/11
AI/Machine Learning