こんにちは菊地です。
前回の#1に続き今回はその続きの#2です。
前回の記事はフェイススキャンで”顔の形を取る”までで”動かす”にはまた別のことをしなくてはなりません。
それがフェイシャルモーションキャプチャーという技術だったりします。
ただAAAタイトルで使われているものは、めちゃくちゃ費用がかかる＞＜
それでもこれはどうしても導入したかったのです。
顔の形を3Dで再現できたところで動かなかったら何の為に顔のスキャンを習得したんだ、、、となってしまうので数ヶ月あらゆる方法を試してみました。
高価で精度の良いものは我々の資金では届かない、でも少し劣るものでもいいから取り入れるぞ！となりました。
XBoxのキネクトを購入して改良し失敗したりして、最終的にたどり着いたのがiPhoneの深度センサーを使ってやるやり方でした。
それ用にiPhone買い更にiPhoneアプリを作る必要があるんですけど、それも何なりとクリアできて成功した時に動画が下記です。
フェイスモーションキャプチャできた朝５時！ものすごく苦戦した！ARKitを使ってiOSアプリをまず作って。スマホの取得情報をリアルタイムでPCに送信するって仕組みでフェイスモーキャプはできると学んだ！ pic.twitter.com/411gmjJCT5
— 菊地俊彦 (@cyakooo) December 10, 2019
iPhoneさんは小さい割に優秀で目、口などの部位がどれくらい動いたかを数値で細かく取得してくれます。
その数値がどんな形で返ってるかは下記画像。沢山の文字と数字があると思いますが『どこがどれだけ動いたか』を計測しています。
これが成功した時はめちゃくちゃ嬉しかった。なんといったって三ヶ月くらい失敗続きで一向に進まなかったから。
精度の面からみると少し劣っているのは誰がみても明確だと思うのですがそれでも目標は達成できた。
そんなこんなで無事に顔を作って動かすところまで来れたのでした。