DreaMovingは、アリババグループが開発した最先端の動画生成フレームワークです。
今回はDreaMovingについて深堀していきます。

技術の背景

DreaMovingの設計には、主に３つのネットワークが関与しています。
デノイジング U-Net、ビデオ コントロールネット、コンテンツ ガイダーです。
ビデオ生成プロセスを向上させるために協力しています。

デノイジング U-Net: 動画のクオリティを改善し、動きを滑らかに保つためのものです。
ビデオ コントロールネット: ポーズや深度情報を処理し、時間的な詳細を追加する役割を果たします。
コンテンツ ガイダー: ビデオの外観、つまり人物や背景の見え方を管理します。

機能と利用法

DreaMovingは、ユーザーが生成するビデオに対して精密なコントロールを提供します。
高品質なカスタマイズ可能な人間のビデオを生成するための拡散モデルに基づいています。
ユーザーは目標とするアイデンティティと姿勢シーケンスを指定することができます。

DreaMovingは提供された姿勢シーケンスに従ってどこでも動くか踊るビデオを生成します。
顔写真だけでダンスビデオを生成することができ、顔と体の画像を別々に用意してモーションと組み合わせることも可能です。
さらに、未知のドメインに対しても堅牢な一般化能力を発揮し、現実的でカスタマイズ可能なビデオを生成します。

 

デモと使用方法

DreaMovingのデモはHugging Face Spaceで公開されており、以下の手順でビデオを生成できます

顔写真の選択またはアップロード

顔写真を入力します。
カートゥーンのイメージを使用する場合は、「Cartoon Video Generation」オプションを選択します。

ビデオ生成モードの選択

「Guided Style Generation」と「Text-to-Video（Video using Prompt）」の2つのモードがあります。

ビデオ生成の開始

必要な入力を提供したら、「Generation」ボタンをクリックしてビデオの生成を開始します。

 

まとめ

DreaMovingは、革新的なアーキテクチャとユーザーによるカスタマイズの柔軟性でビデオ生成分野で頭角を現しています。
この技術は、リアルタイムでのビデオ生成の可能性を広げ、個人化されたコンテンツ作成を容易にします。

生成AIサービスは、今後もさらなる発展を遂げ、ビジネスに必要不可欠なものとなっていきます。
弊社では、生成AI「フリーコードサービス」というサービスをリリース予定です。
リリース時には是非お試しください。