技術選定

[boxfish-jp]

現在のシステム構成

[boxfish-jp]

4/14進捗

LLM選定

• Chat With RTXの使用は見送り (Mistral 7Bの日本語が雑魚すぎたため)

自分が使いたいモデルを利用するのは、できなくはないが、非常に難しいらしい。

• cloudflare AIの使用は見送り。

コスト的には使用はありだが、日本語入力に対応したAIモデルがあんまりない。

• LLMはコスト的に優れたgemini 1.0使用予定。

gemimi 1.5は高く、今回の用途は自然な日本語を話せれば大丈夫だから、バカでもよい。

• talking head anime3は一枚の画像があれば、簡単に表情が増やせるので便利。
  - WebカメラやIphoneアプリがあれば、主とトラッキングはできる。
  - GUI操作で表情を動かせるが、CLIやAPIで表情を動かせるかについては模索中
• live2Dは元データを用意するのが、大変。アニメーションも割と大変。しかし、APIはある。
• 下ネタを言うずんだもんAIはVMagicMirrorを使っているぽい

[boxfish-jp]

4/15進捗

立ち絵選定

• talking head anime3はバカほど負荷が高いので、諦めた。
• live2Dを使うしかなくなったが、絵を自作するのは不可能なので、買ってくることに。

[boxfish-jp]

4/15後半

立ち絵選定

• live 2Dを使うことは決定。

とりあえず後で考えることに。

• google cloud natural APIで感情分析する。
• geminiはRest APIにリクエスト投げるだけで終わりそう

[boxfish-jp]

リップシンク

Vtube studioがサポートしているマイク入力からのリップシンクに、VBケーブル的なので音声合成の再生の出力をつなげればリップシンク行けそう

[boxfish-jp]

chat-bison

chat-bisonのコンテキストで人格を設定できるっぽい。
これを試そう。

人格設定や会話はできるが、どうやら短文しか返せないっぽいので、配信者には向いてないかも

[boxfish-jp]

gemini

話し言葉で長めの話題作れるから、これで行こう

[boxfish-jp]

通話と画面共有はdiscordを使おう