写真からVRChatアバター作成(Wolf3D)
次のようなツイートを見つけた
WebツールからVRChatのカスタムアバターを作ってそのままアップロードもできるツール(Unityいらない)。
— T.Kameoka/ふぁるこ (@faruco10032) 2021年2月24日
Wolf3DはHubs用のアバター作る時に使ったことあるけど顔写真からほんとにいい感じに自動生成してくれた。
気軽なリアルアバターが欲しいとか、VRChatを人に勧めるときに良さそう。 https://t.co/9b9IRqJbCO
It's finally here – #ReadyPlayerMe avatar creator for @VRChat is live! 🎉
— Wolf3D (@getwolf3d) 2021年2月24日
Create a personal avatar for VRChat with a selfie: https://t.co/po4l1H5YNL pic.twitter.com/XbD1RSe5Zo
公式記事はここから
使用環境
- Windows10 Pro
- Google Chrome 64bit 88.0.4324.182
作成手順
・readyplayer.me/vrchatにアクセスする gyazo.com
・"Create Avatar"をクリック gyazo.com
・”Masculine:男性的”、"Feminine:女性的"、"Don't Specify:指定しない"から1つ選択
gyazo.com
・画像の使う/使わないを選択、使用する場合は"Take a Photo!"を選択
gyazo.com
・Chromeの場合カメラの使用を許可して写真を取る
gyazo.com
・すでにある画像を使用したい場合は"pick a file"をクリック
画像選択後、"Accept"をクリック
gyazo.com
・アバターが生成され、下の項目から調整可能
gyazo.com
・右上の"Done"をクリックするとVRChatへのインポートとfbxでのダウンロードが可能
gyazo.com
・"import to VRChat"を選択した場合
"Yes"をクリック
※VRChatのWebページには事前にログイン済
gyazo.com
・10~15分ほどでアバターがインポートされるらしい
gyazo.com
・VRChatで確認するとメニューのOther欄にあった gyazo.com
・fbxのダウンロードを選択した場合
以下のようなファイルが選択出来る
gyazo.com
写真とアバターの比較
PhotoACにあったクッキーズ様のフリー素材を使用
gyazo.com
海外製のサービスだが、日本人でも比較的特徴は出ているような気がする
Tilt Brush インストール方法
Twitterを見ているとTilt Brushがオープンソース化されたとの情報があった
Tilt Brushのソースコード公開と聞いて。スター5番目ゲットずさー https://t.co/BgTBiPOU6S
— こりん@VR (@korinVR) 2021年1月26日
Tilt Brush がオープンソース化まじだ…Apache-2.0 License で GitHub に公開されている……!!
— HEAVEN ちゃん / ikkou (@ikkou) 2021年1月26日
なるほどクローンしたものを公開するときは Tilt Brush Brand Guidelines に従ってアプリの名前を変える必要があるのか👀https://t.co/80P55l2TkF
Tilt Brush is going open source! Head on over to our blog post to learn more! 🌇https://t.co/hnqFWDDbjm
— Tilt Brush (@tiltbrush) 2021年1月26日
Tilt BrushはGoogleが開発した、VRHMDを使用したVRペイントアプリである
試してみた結論として、自分の環境では Unity Editor上では動作せず、ビルドしたexeだと動作した
使用環境
Unity:Unity 2018.4.20f1 (TiltBrush推奨はUnity 2018.4.11f1 )
VRHMD:Oculus Quest1(接続はOculus Link)
インストール前に
ガイドラインが公開されている
"これらのソースを使ってプロダクトにするには「TiltBrush」という名称は使えない"
等が書かれている
インストール手順
Githubのページにアクセスする gyazo.com "Code"→ ”Download ZIP”を押す gyazo.com
ダウンロードしたzipファイルを解凍する
容量が大きいので注意
gyazo.com
Tilt BrushのReadmeを確認すると
Unity 2018.4.11f1
SteamVR
Python 2.7.0 (オプション:Support/binにあるスクリプトを実行する場合必要) →今回はVRChatで使用しているUnity2018.4.20f1で実行
※(アプリを公開する場合は)アプリケーション名の変更が必要
→"App.cs"を編集して会社名とアプリケーション名を独自のものに変更する必要がある
・Unity Hubの起動、ビルド
リストに追加を押す
gyazo.com
解凍した"tilt-brush-master"フォルダを選択
gyazo.com
Unity2018.4.11f1がインストールされていない場合、警告が出る
gyazo.com
今回はVRChatで使用している"Unity 2018.4.20f1"を選択 gyazo.com "tilt-brush-master"を選択 gyazo.com "確認"をクリック gyazo.com 読み込みに時間がかかる gyazo.com 起動画面 gyazo.com
出ているウィンドウはSteamVRの設定について gyazo.com "Accept All"をクリックして推奨設定にする
Projectウィンドウにある "Scenes\Main.unity"を開く gyazo.com シーンが切り替わり TextMeshProの設定画面が出た gyazo.com
"Import TMP Essentials"をクリック gyazo.com
・VRHMDでのUnityEditor上での起動
今回はOculus Quest1 + Oculus Linkを使用
実行すると
gyazo.com
Detected unsanctioned change to transform
とエラーが出た
一時停止ボタンをクリックすると
gyazo.com
Only one GvrAudioListener component is allowed in the scene. UnityEngine.Debug:LogError(Object) GvrAudio:Initialize(GvrAudioListener, Quality) (at Assets/ThirdParty/GoogleVR/Scripts/Audio/GvrAudio.cs:93) GvrAudioListener:Awake() (at Assets/ThirdParty/GoogleVR/Scripts/Audio/GvrAudioListener.cs:35) UnityEngine.Object:Instantiate(GameObject) Valve.VR.SteamVR_ExternalCamera:AttachToCamera(SteamVR_Camera) (at Assets/ThirdParty/SteamVR/Scripts/SteamVR_ExternalCamera.cs:187) Valve.VR.SteamVR_Render:RenderExternalCamera() (at Assets/ThirdParty/SteamVR/Scripts/SteamVR_Render.cs:229) Valve.VR.
d__24:MoveNext() (at Assets/ThirdParty/SteamVR/Scripts/SteamVR_Render.cs:147)
とエラーが出た
スクリプトの該当箇所を確認すると、
UNITY_EDITOR上のみでの処理だったため、一旦スルーしてビルドを行う
gyazo.com
・ビルド
メニューバーから"File"→"Build Settings"をクリック
gyazo.com
"Player Settings"をクリック
gyazo.com
Company NameとProduct Nameを"Tilt Brush"以外で記入する
gyazo.com
メニューバーから"Tilt"→"Build"→"Build Window"をクリック gyazo.com
"Build"→"Build"をクリック gyazo.com
・実行
VRHMDを接続し、 "Build Window"→"Build"→"Build Path"に記載されている場所を確認し、"OpenSourceTiltBrush.exe"を実行 gyazo.com
gyazo.com gyazo.com gyazo.com 問題なく動作した
補足
多コアのCPUではビルドが早くなると聞いた"IL2CPP"をランタイムとして使用しようとしたが、うまくビルドが出来なかった。
Runtimeを"IL2CPP"に変更 gyazo.com ビルドエラー gyazo.com gyazo.com gyazo.com
VRChatで合成音声会話(ゆかりねっと)
"ゆかりねっと"とは
自分の声を音声認識させ、合成音声を出力させるソフト
最新バージョンはVer.1.0.7(2021/1/3現在)
対応している合成アプリ
VOICEROID+/EX 全種
VOICEROID2 全種
ガイノイドTalk 全種
CeVIO 6.1.53.0 以降
CeVIO 7.0.17.0 以降
SofTalk
棒読みちゃん
民安★TALK
今回はSofTalkでの利用を行う
SofTalkの設定とVRChatでの出力は過去記事参照
sasuke9410.hatenablog.com
インストール手順
ゆかりねっとのダウンロード・インストール
自分の環境に合わせたインストーラを選択(通常は"x64版")
gyazo.com
右上のダウンロードボタンをクリックする
gyazo.com
"Yukarinette.1.0.7.x64.zip"を解凍する
gyazo.com
解凍後の中身
gyazo.com
"setup.exe"をダブルクリックしてインストール
gyazo.com
"詳細情報"をクリック
gyazo.com
"実行"をクリック
gyazo.com
"次へ"をクリック
gyazo.com
"同意する"を選択し、"次へ"をクリック
gyazo.com
デフォルト設定で問題ない場合はそのまま"次へ"を選択
gyazo.com
"次へ"を選択
gyazo.com
"閉じる"をクリック
gyazo.com
デスクトップに"ゆかりねっと"のショートカットが作成されている
クリックして実行
gyazo.com
使用する音声合成ソフトの選択と設定
今回使用する"SofTalk読み上げ"を右クリック → "設定"をクリック gyazo.com
SofTalkのEXEファイルの場所を確認する
Windows左下の検索バーに"softalk"と入力し、
"SofTalk.exe"を右クリック→"ファイルの場所を開く"をクリック
gyazo.com
"参照"をクリックし、確認した場所にある"SofTalk.exe"を選択→"開く"をクリック
gyazo.com
マイク使用の許可確認が出る
"許可"をクリック
gyazo.com
何か話すとSofTalkとゆかりねっとのウィンドウに表示される
gyazo.com
ループバックでの動作確認方法
画面左下のWindowsマークを右クリック → "設定"をクリック
gyazo.com
"システム"をクリック
gyazo.com
右側の"サウンドコントロールパネル"をクリック
gyazo.com
録音タブ→ライン(Yamaha NETDUETTO Driver(WDM))を右クリック
"プロパティ"をクリック
gyazo.com
聴くタブ→"このデバイスを聴く"をにチェックを付けるとゆかりねっとの出力を確認できる
確認が不要になった場合、チェックを外す
gyazo.com
VRChat内での確認
ワールド内に入って確認したが、音声は聞こえず
gyazo.com
VRChatでの音声確認のギミックが壊れていることを指摘するツイートも
あれー?VRChatで自分のマイク音声確認するギミック壊れちゃってる?
— Nekomet しあ (@sia_VRcont) 2020年10月30日
VRchatの不具合で、VRchat上で音声確認できなくて、リップシンクは動いてるんだけど本当にマイクから音出てるのかな…
— 竜田万秋🗻🐲登山系Vtuber (@doragon_maki) 2020年12月25日
VRChat内でキー入力を使っておしゃべりする方法(SofTalk)
〇はじめに
VRChat内でキーボードを使っておしゃべり出来るように、
この動画の方法を試してみた。
〇必要なソフト
・NETDUETTO (ソフトの音声をマイク出力を行う)
〇NETDUETTOの設定
自分の環境に合わせて右側にあるインストーラを選択する。
Windows10の場合は、"DOWNLOAD for Windows 64bit"を選択する
ダウンロードしたzipファイルを解凍する
解凍したフォルダの中のmsiファイルを実行する
"次へ"を押す
"次へ"を押す
そのまま、"次へ"を押す
"次へ"を押す
インストールが終わるまで待機
"インストール"を押す
"閉じる"を押す
・Windows側設定
左下の検索ボックスに"サウンド"と打ち込み、出てきた"サウンドの設定"を選択
"ライン"を選択し、プロパティを押す
レベルタブから、ラインのボリュームを100にする
聴くタブに変更し、
"このデバイスを聴く"にチェック、
〇合成音声(SofTalk) のインストール
サイト下部から、"ダウンロードはこちら"と書かれた緑色のバーを押しダウンロードする
str019345.zipを解凍する
SofTalk.exeをダブルクリックする
詳細情報を押す
実行を押す
オプションタブから、環境設定を選択
自分が使用する声(女性01など)の"再生デバイス"を、
"標準"から"ライン(Yamaha NETDUETTO Driver...)"に変更する
〇VRChat側マイク設定
メニュー画面のSettings内の"Microphone"をライン(Yamaha NETDUETTO Driver...)を選択する
〇使い方
文字入力を行ってから"Shiftキー" + "エンターキー"を押すと
声がVRChat側のマイクに入力される
自己紹介
簡単なプロフィール
名前:さすけ
さすけ@エンジニア垢 (@sasuke9410) | Twitter
興味のあること
xR(AR, VR, MR)技術
Oculus QuestとゲーミングPCを所持
Looking Glass Portraitをバックしたので到着が楽しみです。
また、知り合いの方からHoloLens、LeapMotion、RealSence(T265、D435)をお借りしています。
AI
画像、センサの値を使った人の行動・状態認識に興味を持っています
JDLA Deep Learning for GENERAL 2020 #3 (G検定)合格
VRChat
累計時間700時間を超えました(Steam版とOculus版の合算)
最近はワールド作りのための技術(MeshBaker、ライトベイク)を勉強中
これまでやってきたこと
大学/大学院での研究分野
障碍者のための支援システム開発 (対象:認知症患者、視覚障碍者)
使用技術:画像認識(深層学習)、慣性センサ、音声合成(通知用)
他にも、学生時代には、
- ロボカップ@home
- World Robot Challenge 2018 パートナーロボットチャレンジ(バーチャルスペース)
- 研究所で音が人に与える影響の研究(実験用プログラム作成)
など、いろいろしていました。
よろしくお願いします。