プロユース向けAIマスク生成システム「MaskPilot AI」をstuとアネックスデジタルジャパンが共同開発。特撮TVドラマ「仮面ライダーシリーズ」のマスキング作業での活用開始。

株式会社stu（本社：東京都渋谷区、CEO：黒田貴泰）は、この度株式会社アネックスデジタルジャパン（本社：東京都港区、代表取締役：若林哲平）と共同で、AIマスク生成システム『MaskPilot AI』を開発いたしました。様々なユースケースでの検証を経て本システムの一定の有効性を実証し、特撮TVドラマ「仮面ライダーシリーズ」のマスキング作業での実運用を開始いたします。

（©2024 石森プロ・ADK EM・バンダイ・東映ビデオ・東映）
　近年、AIの発展により様々な業界において効率化や革新が進んでいます。stuはこの時流の中で、AIを活用した映像制作のプロダクション工程のDX化や、新しい体験の提供を目指しています。
　その一環として、2023年11月、映像制作のワークフローを綿密に検証し、映像制作の現場におけるニーズに応えるAIマスク生成技術『Scene Tracking Mask』を開発しました。

関連リンク：stuはAIによる自動マスク生成技術『Scene Tracking Mask』を開発 前田敦子・工藤阿須加出演のショートフィルム「トノムラ」に技術提供 | 株式会社stuのプレスリリース

　今回、新たに日本の映像制作業界において、数多くのマスキング業務を担当する株式会社アネックスデジタルジャパンに本プロジェクトへ加わっていただき、プロユース向けの AI マスク生成システム『MaskPilot AI』を共同開発いたしました。

■近年のAIマスク技術の課題と『MaskPilot AI』
　マスキング業務の経験が豊富なアネックスデジタルジャパンとの共同開発の中であがったAIマスク技術の課題として、最も大きな課題はデータの取り扱いでした。近年台頭した強力なAIツールの多くはデータの取り扱いポリシーが曖昧あるいは提示されていないサーバー上で動作しており、未公開データや守秘性の高い知的財産権を持つデータを扱う際に、多くの懸念事項が存在します。このため、現場においてAIの技術をマスキングに活かしきれていませんでした。
　これらの事情を考慮し、『MaskPilot AI』はデータの利用面の安全性を担保しつつ、近年の先進的なAIツールと比肩するシステムを目指して開発されました。

▽オンプレサーバー対応によるデータ利用面での安全性担保
　『MaskPilot AI』はローカルのオンプレミスサーバー（※）で動作するようにシステムを構築しました。データ利用面での安全性を担保しつつ、AIを最大限活用します。
　※クラウドサービスを使用しないローカルサーバーのことを指す
▽直感的な操作でラフマスクを自動生成
　『MaskPilot AI』は、直感的なUI操作でマスク対象となるオブジェクトを選択し、ラフマスクを自動生成します。複数のオブジェクト選択機能・選択したオブジェクトの自動トラッキング機能と組み合わせることで、ラフマスキングの手間を大幅に削減することを目指しました。

（©2024 石森プロ・ADK EM・バンダイ・東映ビデオ・東映）　
　本システムの有効性を検証するため、様々なケースで手作業の場合・本システムを使用した場合・他のAIツールを使用した場合、の合計作業時間を比較しました。比較検証の結果、全て手作業で行うマスキングに比べて、本システムを使用する場合は平均40%、他のAIツールを使用する場合は平均38%、合計作業時間が短縮されました。オンプレサーバー構成でありながら、既存の強力なAIツールと比べても遜色のない効果が得られたことで、その有効性が実証されました。　
■『MaskPilot AI』の今後の展望
　検証によってその一定の有効性が確認された『MaskPilot AI 』は、これより運用フェーズに入ります。特撮TVドラマ「仮面ライダーシリーズ」におけるマスキング作業に導入し、システムの使いやすさ・ラフマスク生成の性能をさらに向上していきます。また、現在はラフマスクの自動生成のみですが、将来的には手作業でしか実現できなかった高精細なマスクの自動生成を視野に入れつつ、引き続きstuとアネックスデジタルジャパン で共同開発を続けていきます。
■stuのAI・機械学習の研究開発
　stuでは、エンターテイメント領域でのAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指しています。
　stuではAIによる新たな可能性を常に模索しており、今後も企業や、さまざまなプロジェクトへの技術提供に積極的に取り組んでまいります。本格的な開発と実証実験に協力していただけるエンターテインメント企業や自治体を募集しております。ぜひ一度お問い合わせください。

これまでのAI活用による事例の一部
・3D空間構築を手軽に実装する「3D Gaussian Splatting」の実証実験
　デジタルツインを手軽にする、3D Gaussian Splattingの実証実験を開始、WebGLと組み合わせることで手軽にWebブラウザ等で利用可能に。
・生成AIのワークフロー効率化システム「SyncFlow AI」
　生成AIによる映像制作の効率化と表現の幅を広げるためのシステム「SyncFlow AI」を開発、『百年後芸術祭-内房総アートフェス-』へ映像提供
・自動マスク生成・自動シーン検出技術「Scene Tracking Mask」
　撮影された映像に対して、自動マスク生成する技術と自動シーン検出技術を持つシステム「Scene Tracking Mask」を活用し、映像作家柿本ケンサク氏のショートフィルム作品『トノムラ』へ技術提供
・リアルタイム参加型バーチャルライブシステム『LAIV(ライヴ)』
　参加者のコメントをもとに生成AIによるリアルタイム演出が変わる参加型バーチャルシステム『LAIV(ライヴ)』を開発、アーティストと参加者による双方向演出を可能とする新たなVRライブ体験を提供

■株式会社stuについて
　stuは、「エンターテインメントの再発明」をミッションに掲げ、ボーダーレスなアイデアを創出するクリエイティブチームを中心に、5G、XR、メタバース領域のエッジテック事業と、ライターズルームやプレビズといった世界基準の映像制作ワークフローを導入したコンテンツ開発事業を掛け合わせ、エンターテインメントの新時代を創造する企業です。
・お問い合せ：contact@stu.inc
・公式Web：https://stu.inc/
・公式X(旧Twitter) ：https://twitter.com/stuinc_

■株式会社アネックスデジタルジャパン
　アネックスデジタルジャパンは実写映像制作、CG制作、デジタルサイネージやXRコンテンツ制作など、映像に関するさまざまな業務を行っております。
また特徴として、企画・営業を東京本社で行い、実制作を自社子会社である中国・カンボジア・ポーランドを中心とした、世界各国のスタジオにて行うユニークな映像制作会社です。
・お問い合せ：contact@annex-digital.com
・公式Web：https://annex-digital.com/