Awesome

ChatVRM

ChatVRMは、技術共有およびデモンストレーションを主目的としたプロジェクトです。

本レポジトリは、2024-07-18時点のコードを持ってアーカイブされました。 今後、ChatVRMに対して変更を加えたい場合、フォークを行って開発いただけますと幸いです。

ChatVRMはブラウザで簡単に3Dキャラクターと会話ができるデモアプリケーションです。

VRMファイルをインポートしてキャラクターに合わせた声の調整や、感情表現を含んだ返答文の生成などを行うことができます。

ChatVRMの各機能は主に以下の技術を使用しています。

• ユーザーの音声の認識
  • Web Speech API(SpeechRecognition)
• 返答文の生成
  • ChatGPT API
• 読み上げ音声の生成
  • Koemotion/Koeiromap API
• 3Dキャラクターの表示
  • @pixiv/three-vrm

デモ

Glitchでデモを公開しています。

https://chatvrm.glitch.me

実行

ローカル環境で実行する場合はこのリポジトリをクローンするか、ダウンロードしてください。

git clone git@github.com:pixiv/ChatVRM.git

必要なパッケージをインストールしてください。

npm install

パッケージのインストールが完了した後、以下のコマンドで開発用のWebサーバーを起動します。

npm run dev

実行後、以下のURLにアクセスして動作を確認して下さい。

http://localhost:3000

ChatGPT API

ChatVRMでは返答文の生成にChatGPT APIを使用しています。

ChatGPT APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。

• https://platform.openai.com/docs/api-reference/chat
• https://openai.com/policies/api-data-usage-policies

Koeiromap API

ChatVRMでは返答文の音声読み上げにKoemotionのKoeiromap APIを使用しています。

Koeiromap APIの仕様や利用規約については以下のリンクや公式サイトをご確認ください。

• https://koemotion.rinna.co.jp/