このページは、Pose Mirror(ポーズミラー)が内部でどう動いているかをまとめたものです。使い方そのものは使い方ガイドに、アプリ本体はこちらにあります。
▶ 無料の3Dデッサン人形でポーズを作るなぜ「関節を手で組む」のをやめたか
3Dデッサン人形は昔からありますが、実際に使ってみると、写真と同じポーズを再現するのに関節を1つずつドラッグする作業が延々と続きます。作者自身も漫画制作の中で何度もそこで挫折しました。
そこで発想を変えて、ポーズを「組む」のではなく写真から読み取ることにしたのがPose Mirrorです。資料写真さえあれば、あとは角度を変えて見るだけで済みます。
使用技術
- MediaPipe Pose (Google AI): 画像から全身33点の関節ランドマークを検出します。ブラウザ上のWebAssemblyで動くため、画像をサーバーへ送る必要がありません。指の関節は含まれないので、手の細かい形は再現できません。
- Unity WebGL: 3Dモデルの描画とボーン制御を担当します。ヒューマノイドリグに対して、推定された関節位置から算出した回転を適用しています。
- C# / JavaScript: MediaPipeが返す座標をUnityのボーン回転に変換する部分。ここが最も苦労した箇所で、座標系の違いによるボーンの180°ねじれや、ローカル座標とワールド座標の取り違えに何度も引っかかりました。
画像はブラウザから出ません
アップロードした画像の解析はすべてブラウザ内で完結し、サーバーには送信も保存もされません(プライバシーポリシー)。ログイン不要で使えるのはこの構成のためです。