【ボイス】音声MODスタジオ活用研究【口パク】 - 1718176363

1：名無しさん：2024/06/12(水) 16:12:43: バージョン1.2.0からスタジオのボイスリストから音声データの登録ができるようになりました。
ただしボイスリストは初期状態で音声データが少なかったせいか時間指定ができるTimeLineやVNGEと併用することができません。
しかしボイスでなければキャラクターが音声に合わせて口を動かしてくれないジレンマがあります。

このスレではスタジオで音声MODを活用する方法を研究していきたいと思います。
スタジオ関係の書き込みはこちらにお願いします。
2：名無しさん：2024/06/12(水) 16:26:05: ボイスで指定できる音声ファイルリストは以下にあります。
スタジオのUIは使いづらいので参考にどうぞ

ボイスファイルリスト
https://github.com/10228586-kkvc/kk-studio-add-list

音声MODに入っているCSVファイルをそのまま置いています。
3：名無しさん：2024/06/20(木) 20:00:03: ＞音声MOD等828です
自分はコーディングができないので見当違いがもしれませんが…
当該のリップシンクはコイカツ発売からVR関係（OVRLipSync）でも問題になってましたね
ttps://blog.gcrest.com/archives/404
このときはスクリプトの実行順番が問題だったようです
4：名無しさん：2024/06/20(木) 20:14:03: VNGEの作者と話す前にkk-lipsyncってライブラリがあったので、この作者の人に話を聞いたけど

コイカツ標準のリップシンクではなくOVRLipSyncを使って強制的にリップシンクするためのものだって教えてくれた。

リップシンクにこだわりがある人がいるのね
asVoiceに音声ファイルを入れればリップシンクするってことまで理解したけど
5：名無しさん：2024/10/15(火) 08:25:06: そろそろこっちも話を進めるか
6：名無しさん：2024/10/17(木) 17:33:24: 現在はスタジオ勢は音声MODの有用性に気付いていないと思いますが
リップシンクが介在すると一気につながるはずなので期待してます
7：名無しさん：2024/11/11(月) 15:30:20: 今だとVNGEでテキスト表示で口パクさせてそこにVNsoundで音声流すか、VNanimeかTimelineで口パクモーション作って再生するくらいしか無いと思うけど、他に何かあるかな？
8：名無しさん：2024/11/11(月) 19:15:49: 音声をスタジオで再生するアイテムを作ってそれをリップシンクさせるように紐づけれないかと考えています。
9：名無しさん：2024/11/29(金) 20:30:43: 海外Discordで共有されてます
　TimelineVoiceControl
が自分の環境では動かないんですよね
TimelineにはTVCの項目が表示されるんですが、再生もストップもトリガーされないです
10：名無しさん：2024/11/29(金) 20:42:49: サンシャイン版Timeline1.4.1に更新したら動きました。
お騒がせしました
11：名無しさん：2024/11/29(金) 20:47:14: それはリップシンクできるのですか？
12：名無しさん：2024/11/29(金) 21:10:53: リップシンクできてます
基本的な構想は同じでこちらの制作者の方かと思って書き込みました
13：名無しさん：2024/11/29(金) 22:25:06: リップシンクできるなら、やろうとしてたことのほとんどそれでできそうですね
14：名無しさん：2024/11/30(土) 10:04:09: TimelineVoiceControlの作者とコンタクトしてみよう
15：名無しさん：2024/11/30(土) 15:52:19: TimelineVoiceControlどこにありますか？
海外Discordのkoi-mod-shairingで検索しても出てこない…。
16：名無しさん：2024/12/01(日) 00:13:03: >>15
今shairingの方はアーカイブのみで機能してないよ
新らしいのはkoikatsu-mod-release-forumに全部いってる
17：名無しさん：2024/12/01(日) 13:45:17: ここだな、すごく良さそうだな、ソースも付いてるみたいだから、ボイスリストから追加するようにもできるかな
https://discord.com/channels/447114928785063977/1019671012293484624/threads/1311016788804505682
18：名無しさん：2024/12/02(月) 10:28:13: >>16
詳しい説明ありがとうございます！
19：名無しさん：2024/12/03(火) 07:55:30: 基本スタジオ勢ではないので、TimelineVoiceControlと音声MODを併用して、どんなことができたかスタジオ職人さんは上げてほしいな

スタジオ初心者にもTimelineのインストールから解説するページが必要かな
20：名無しさん：2024/12/07(土) 15:25:50: TimelineにTimelineVoiceControlは表示されてるけど、これどうやってボイスのキーフレームを入れるんでしょうか
21：名無しさん：2024/12/11(水) 21:13:55: >>20
キャラを選択してボイスを選んだらそれで　PlayVoice　にキーを打ててる
打てないなら>>10をチェック
22：名無しさん：2024/12/15(日) 13:47:16: あ、できた。TimelineのTimelineVoiceControlのところでマウス中クリックでTimelineの一番上にあるinterpolablesってとこにキーフレームが入るのね
スタジオあまりやってないからわからなかった。
これはすばらしいですね
23：名無しさん：2024/12/15(日) 14:10:39: スタジオ勢を音声MOD沼に引き込む為に、チュートリアル動画でも作って布教するか
24：名無しさん：2024/12/16(月) 02:48:06: これでTimeline上で音声Modを使うと言うお題はクリアした。
次は音声合成との連動だな、プルスウルトラ
25：名無しさん：2024/12/30(月) 11:14:22: 12/30の更新で下記リストのリンクが切れてしまっているようです。
お手数ですが、修正いただけますと幸いです。
ご検討のほどよろしくお願い致します。

ボイスファイルリスト
https://github.com/10228586-kkvc/kk-studio-add-list
26：名無しさん：2024/12/30(月) 17:16:15: すいません。スタジオに追加するリストだけのzipmodeほしいと言われて
ちょっと変更してリンクの修正を忘れていました。
修正しましたのでよろしくお願いいたします。
27：名無しさん：2025/01/02(木) 13:16:09: 新年あけましてご対応ありがとうございます。
今年もよろしくお願いします。
28：名無しさん：2025/01/03(金) 15:35:56: コイカツのキャラスタジオで音声MODを使ってシーンを作成するチュートリアル動画を作成しました。
スタジオ勢ではないので、キャラスタジオを使うのが大変でしたが、何とか作りました。
スタジオ勢の皆様のレベルには遠く及びませんが、キャラスタジオで音声MODを使えることが伝われば幸いです。
https://youtu.be/Aw6TAnGvwCw
29：名無しさん：2025/01/15(水) 23:11:46: シーンを保存してコイカツを再起動後にシーンロードすると
音声modで追加したボイスの配置したキーが再生できなくなるのは解決方法ありますかね？
30：名無しさん：2025/01/15(水) 23:33:45: すいません。解決しました。
参考
https://github.com/RikkiBalboa/Rikki-Koi-Plugins/pull/9
31：名無しさん：2025/01/19(日) 17:45:34: あ、ボイスリストの間違いに気づいた。リストの最初の二行は無視される仕様なんだなコイカツ
修正しないと、ずっと最初のボイスが表示されていないはず
32：名無しさん：2025/02/10(月) 13:39:40: サンシャインのスタジオでうまく行かないって連絡が来てた。
33：名無しさん：2025/05/09(金) 06:45:48: アセットバンドルではなく直接音声ファイルで口パクはできた。
その後のアセットの解放処理でエラーになるけど
どこでエラー吐いてるのかわからないな
34：名無しさん：2025/05/10(土) 08:36:44: アセットの解放処理をスキップするところまでできた。

KK版はできたので、KKS版の作成に掛かる
35：名無しさん：2025/05/10(土) 13:31:25: サンシャインの口パク処理、無印と全然違うや
これは大変だ
36：名無しさん：2025/05/12(月) 20:29:38: まだコイカツ版しかできてないけど、wavファイルを直接読み込めるようにしたプラグイン公開してほしい？
サンシャイン版はまだ時間かかりそうだし、コイカツ版だけ先行で公開してもいいけど

ちなみにこれが完成したらフェーズ２完了

フェーズ１：音声合成モデルを作成する。
フェーズ２：WAVファイルを直接読み込めるようにする。
フェーズ３：読み込みをやりやすくするエディタを作成する。
フェーズ４：音声合成したWAVファイルをエディタを介して登録できるようにする。
37：名無しさん：2025/05/14(水) 10:26:40: よしサンシャインのフックさせるところが分かった
38：名無しさん：2025/05/15(木) 19:42:14: とりあえずサンシャインもローカルの音声ファイルの再生まではできたけど、リップシンクをどこでやってるのか不明
39：名無しさん：2025/05/19(月) 12:50:11: よっしゃー！リップシンクまでできた。
40：名無しさん：2025/05/20(火) 12:30:57: 新しいプラグインをリリースしました。
コイカツ！のキャラスタジオのボイスに任意の音声データを追加する。
KK_ExternalVoiceLoader
https://github.com/10228586-kkvc/KK_ExternalVoiceLoader
41：名無しさん：2025/05/20(火) 12:47:46: フェーズ２終了、フェーズ３開始
42：名無しさん：2025/05/20(火) 16:48:49: Unityの時間は終わり、ここからはPythonの時間だ
43：名無しさん：2025/05/27(火) 07:17:34: ボイスリストの編集をgradiaだけでやろうとすると非力だな
でも音声合成にリソース使うこと考えたら使いづらくてもいいよね？いいよ～
44：名無しさん：2025/06/06(金) 21:49:40: KK_ExternalVoiceEditorをリリースしました。

コイカツのキャラスタジオで、任意ボイスを使用するKK_ExternalVoiceLoaderのデータ編集補助ツール
（KK_ExternalVoiceLoaderは用意しなくてよい）

https://github.com/10228586-kkvc/KK_ExternalVoiceEditor
45：名無しさん：2025/06/06(金) 21:57:23: これでフェーズ３完了

次はフェーズ４でいよいよ音声合成AI（Style-Bert-VITS2）との連結です。

Style-Bert-VITS2で作ったボイスをKK_ExternalVoiceEditorに登録できるようにします。
46：名無しさん：2025/06/06(金) 22:33:55: Style-Bert-VITS2と組み合わせるのに、同じ環境でやる必要があるのだけど
クリック二回の単純操作で動くようにしたので、やってみてください。
47：名無しさん：2025/06/12(木) 12:42:23: フェーズ４やってるけど、今まで作ったモデルデータを全部ダウンロードするようにすると１４GBになっちゃうけど
しょうがないようね、しょうがない
48：名無しさん：2025/07/15(火) 08:31:45: GrokのアプリのCompanionsという機能に搭載された。aniちゃん。
https://note.com/abelia_0211/n/n1b88717c69cc

キャラカードとか読み込めるといいのにな
49：名無しさん：2025/07/15(火) 12:12:29: コイカツもここまで行きたいな

https://x.com/i/status/1944735244940448211
50：名無しさん：2025/07/16(水) 04:08:15: Grokのコンパニオンは汎用性高いみたいだな
コイカツのキャラカードを読み込めるようにして、
音声合成モデルを使う事もできるかもしれない
AIの進化スピードが早過ぎる。
流石イーロンマスク
51：名無しさん：2025/07/16(水) 04:18:34: チャット形式のLLMのエンジンとしてGrokコンパニオンは良さそう、json形式でプロンプト打てて、独自の性格とか作れる？
52：名無しさん：2025/07/16(水) 10:33:49: しかしstable diffusionのエロ禁止規定とか収拾付かなくなって逃げだした。イリュージョンみたいだよな。