sasuke’s blog

内容は自分用の忘備録です。

写真からVRChatアバター作成(Wolf3D)

次のようなツイートを見つけた

公式記事はここから

使用環境

作成手順

readyplayer.me/vrchatにアクセスする gyazo.com

・"Create Avatar"をクリック gyazo.com

・”Masculine:男性的”、"Feminine:女性的"、"Don't Specify:指定しない"から1つ選択
gyazo.com ・画像の使う/使わないを選択、使用する場合は"Take a Photo!"を選択
gyazo.com

Chromeの場合カメラの使用を許可して写真を取る
gyazo.com

・すでにある画像を使用したい場合は"pick a file"をクリック
画像選択後、"Accept"をクリック
gyazo.com

アバターが生成され、下の項目から調整可能
gyazo.com ・右上の"Done"をクリックするとVRChatへのインポートとfbxでのダウンロードが可能
gyazo.com

・"import to VRChat"を選択した場合
"Yes"をクリック
※VRChatのWebページには事前にログイン済
gyazo.com ・10~15分ほどでアバターがインポートされるらしい
gyazo.com

・VRChatで確認するとメニューのOther欄にあった gyazo.com

gyazo.com

・fbxのダウンロードを選択した場合
以下のようなファイルが選択出来る
gyazo.com

写真とアバターの比較

PhotoACにあったクッキーズ様のフリー素材を使用
gyazo.com

gyazo.com

海外製のサービスだが、日本人でも比較的特徴は出ているような気がする

Tilt Brush インストール方法

Twitterを見ているとTilt Brushがオープンソース化されたとの情報があった

Tilt BrushはGoogleが開発した、VRHMDを使用したVRペイントアプリである

試してみた結論として、自分の環境では Unity Editor上では動作せず、ビルドしたexeだと動作した

使用環境

Unity:Unity 2018.4.20f1 (TiltBrush推奨はUnity 2018.4.11f1 )
VRHMD:Oculus Quest1(接続はOculus Link)

インストール前に

ガイドラインが公開されている
"これらのソースを使ってプロダクトにするには「TiltBrush」という名称は使えない"
等が書かれている

インストール手順

Githubのページにアクセスする gyazo.com "Code"→ ”Download ZIP”を押す gyazo.com

ダウンロードしたzipファイルを解凍する
容量が大きいので注意
gyazo.com

gyazo.com

Tilt BrushのReadmeを確認すると

Unity 2018.4.11f1
SteamVR
Python 2.7.0 (オプション:Support/binにあるスクリプトを実行する場合必要) →今回はVRChatで使用しているUnity2018.4.20f1で実行

※(アプリを公開する場合は)アプリケーション名の変更が必要
→"App.cs"を編集して会社名とアプリケーション名を独自のものに変更する必要がある

・Unity Hubの起動、ビルド

リストに追加を押す
gyazo.com 解凍した"tilt-brush-master"フォルダを選択 gyazo.com Unity2018.4.11f1がインストールされていない場合、警告が出る gyazo.com

今回はVRChatで使用している"Unity 2018.4.20f1"を選択 gyazo.com "tilt-brush-master"を選択 gyazo.com "確認"をクリック gyazo.com 読み込みに時間がかかる gyazo.com 起動画面 gyazo.com

出ているウィンドウはSteamVRの設定について gyazo.com "Accept All"をクリックして推奨設定にする

Projectウィンドウにある "Scenes\Main.unity"を開く gyazo.com シーンが切り替わり TextMeshProの設定画面が出た gyazo.com

"Import TMP Essentials"をクリック gyazo.com

・VRHMDでのUnityEditor上での起動

今回はOculus Quest1 + Oculus Linkを使用

実行すると
gyazo.com

Detected unsanctioned change to transform

とエラーが出た

一時停止ボタンをクリックすると
gyazo.com

Only one GvrAudioListener component is allowed in the scene. UnityEngine.Debug:LogError(Object) GvrAudio:Initialize(GvrAudioListener, Quality) (at Assets/ThirdParty/GoogleVR/Scripts/Audio/GvrAudio.cs:93) GvrAudioListener:Awake() (at Assets/ThirdParty/GoogleVR/Scripts/Audio/GvrAudioListener.cs:35) UnityEngine.Object:Instantiate(GameObject) Valve.VR.SteamVR_ExternalCamera:AttachToCamera(SteamVR_Camera) (at Assets/ThirdParty/SteamVR/Scripts/SteamVR_ExternalCamera.cs:187) Valve.VR.SteamVR_Render:RenderExternalCamera() (at Assets/ThirdParty/SteamVR/Scripts/SteamVR_Render.cs:229) Valve.VR.d__24:MoveNext() (at Assets/ThirdParty/SteamVR/Scripts/SteamVR_Render.cs:147)

とエラーが出た

スクリプトの該当箇所を確認すると、
UNITY_EDITOR上のみでの処理だったため、一旦スルーしてビルドを行う gyazo.com

・ビルド

メニューバーから"File"→"Build Settings"をクリック
gyazo.com "Player Settings"をクリック
gyazo.com

Company NameとProduct Nameを"Tilt Brush"以外で記入する
gyazo.com

メニューバーから"Tilt"→"Build"→"Build Window"をクリック gyazo.com

"Build"→"Build"をクリック gyazo.com

gyazo.com

gyazo.com

・実行

VRHMDを接続し、 "Build Window"→"Build"→"Build Path"に記載されている場所を確認し、"OpenSourceTiltBrush.exe"を実行 gyazo.com

gyazo.com gyazo.com gyazo.com 問題なく動作した

補足

多コアのCPUではビルドが早くなると聞いた"IL2CPP"をランタイムとして使用しようとしたが、うまくビルドが出来なかった。

Runtimeを"IL2CPP"に変更 gyazo.com ビルドエラー gyazo.com gyazo.com gyazo.com

VRChatで合成音声会話(ゆかりねっと)

"ゆかりねっと"とは

自分の声を音声認識させ、合成音声を出力させるソフト
最新バージョンはVer.1.0.7(2021/1/3現在)

対応している合成アプリ

VOICEROID+/EX 全種
VOICEROID2 全種
ガイノイドTalk 全種
CeVIO 6.1.53.0 以降
CeVIO 7.0.17.0 以降
SofTalk
棒読みちゃん
民安★TALK
今回はSofTalkでの利用を行う

SofTalkの設定とVRChatでの出力は過去記事参照
sasuke9410.hatenablog.com

インストール手順

ゆかりねっとのダウンロード・インストール

ゆかりねっと.exe(配布ページ)

自分の環境に合わせたインストーラを選択(通常は"x64版")
gyazo.com

右上のダウンロードボタンをクリックする
gyazo.com

gyazo.com

"Yukarinette.1.0.7.x64.zip"を解凍する
gyazo.com

解凍後の中身
gyazo.com

"setup.exe"をダブルクリックしてインストール
gyazo.com

"詳細情報"をクリック
gyazo.com

"実行"をクリック
gyazo.com

"次へ"をクリック
gyazo.com

"同意する"を選択し、"次へ"をクリック
gyazo.com

デフォルト設定で問題ない場合はそのまま"次へ"を選択
gyazo.com

"次へ"を選択
gyazo.com

"閉じる"をクリック
gyazo.com

デスクトップに"ゆかりねっと"のショートカットが作成されている
クリックして実行
gyazo.com

使用する音声合成ソフトの選択と設定

今回使用する"SofTalk読み上げ"を右クリック → "設定"をクリック gyazo.com

gyazo.com

gyazo.com

SofTalkのEXEファイルの場所を確認する

Windows左下の検索バーに"softalk"と入力し、
"SofTalk.exe"を右クリック→"ファイルの場所を開く"をクリック
gyazo.com

"参照"をクリックし、確認した場所にある"SofTalk.exe"を選択→"開く"をクリック
gyazo.com

gyazo.com

gyazo.com "OK"をクリック
gyazo.com

"音声認識を開始する"をクリック
gyazo.com

マイク使用の許可確認が出る
"許可"をクリック
gyazo.com

ゆかりねっとが音声認識待ち状態になる gyazo.com

何か話すとSofTalkとゆかりねっとのウィンドウに表示される
gyazo.com

ループバックでの動作確認方法

画面左下のWindowsマークを右クリック → "設定"をクリック
gyazo.com

"システム"をクリック
gyazo.com

右側の"サウンドコントロールパネル"をクリック
gyazo.com

gyazo.com

録音タブ→ライン(Yamaha NETDUETTO Driver(WDM))を右クリック
"プロパティ"をクリック
gyazo.com

聴くタブ→"このデバイスを聴く"をにチェックを付けるとゆかりねっとの出力を確認できる
確認が不要になった場合、チェックを外す
gyazo.com

VRChat内での確認

ワールド内に入って確認したが、音声は聞こえず
gyazo.com

VRChatでの音声確認のギミックが壊れていることを指摘するツイートも

VRChat内でキー入力を使っておしゃべりする方法(SofTalk)

〇はじめに

VRChat内でキーボードを使っておしゃべり出来るように、

この動画の方法を試してみた。


四分で分かる!VRChatで出来る音声合成ソフト会話

 

〇必要なソフト

 ・NETDUETTO (ソフトの音声をマイク出力を行う)

www.netduetto.net

 

SofTalk

www.vector.co.jp

 

〇NETDUETTOの設定

自分の環境に合わせて右側にあるインストーラを選択する。

Windows10の場合は、"DOWNLOAD for Windows 64bit"を選択する

 

ダウンロードしたzipファイルを解凍する

f:id:sasuke9410:20200624195608p:plain

解凍したフォルダの中のmsiファイルを実行する

 

f:id:sasuke9410:20200624195659p:plain

"次へ"を押す



"次へ"を押す

 

そのまま、"次へ"を押す

 

"次へ"を押す

 

インストールが終わるまで待機

 

"インストール"を押す

Gyazo

 "閉じる"を押す

Gyazo

 

Windows側設定

左下の検索ボックスに"サウンド"と打ち込み、出てきた"サウンドの設定"を選択

 

"サウンドコントロールパネル"を押す

 表示されたサウンドバイスの内、

 "ライン"を選択し、プロパティを押す

 

レベルタブから、ラインのボリュームを100にする

 

聴くタブに変更し、

 

"このデバイスを聴く"にチェック、

 

 

〇合成音声(SofTalk) のインストール

www.vector.co.jp

 

サイト下部から、"ダウンロードはこちら"と書かれた緑色のバーを押しダウンロードする

 

str019345.zipを解凍する

 

SofTalk.exeをダブルクリックする

 

詳細情報を押す

 

実行を押す

 

 オプションタブから、環境設定を選択

 

自分が使用する声(女性01など)の"再生デバイス"を、

"標準"から"ライン(Yamaha NETDUETTO Driver...)"に変更する

 

〇VRChat側マイク設定

メニュー画面のSettings内の"Microphone"をライン(Yamaha NETDUETTO Driver...)を選択する

 

〇使い方

文字入力を行ってから"Shiftキー" + "エンターキー"を押すと
声がVRChat側のマイクに入力される

 

自己紹介

簡単なプロフィール

名前:さすけ
さすけ@エンジニア垢 (@sasuke9410) | Twitter

情報工学系の大学院(修士)を修了後、社会人をやってます。

興味のあること

xR(AR, VR, MR)技術

Oculus QuestとゲーミングPCを所持

Looking Glass Portraitをバックしたので到着が楽しみです。

また、知り合いの方からHoloLens、LeapMotion、RealSence(T265、D435)をお借りしています。

AI

画像、センサの値を使った人の行動・状態認識に興味を持っています

JDLA Deep Learning for GENERAL 2020 #3 (G検定)合格

VRChat

累計時間700時間を超えました(Steam版とOculus版の合算)
f:id:sasuke9410:20210103044313p:plain f:id:sasuke9410:20210103044402p:plain

最近はワールド作りのための技術(MeshBaker、ライトベイク)を勉強中

これまでやってきたこと

大学/大学院での研究分野

障碍者のための支援システム開発 (対象:認知症患者、視覚障碍者)
使用技術:画像認識(深層学習)、慣性センサ、音声合成(通知用)

他にも、学生時代には、

  • ロボカップ@home
  • World Robot Challenge 2018 パートナーロボットチャレンジ(バーチャルスペース)
  • 研究所で音が人に与える影響の研究(実験用プログラム作成)

など、いろいろしていました。

よろしくお願いします。