チュートリアル：MakeFun デジタルヒューマン動画生成プラットフォームを使ってみる
MakeFun アバター動画生成プラットフォームをお選びいただきありがとうございます。2021 年から開発を続けている MakeFun のアバター・リップシンクと音声クローン技術は、最もシンプルで最も強力なアバター生成プラットフォームを目指しています。ここでは自分専用の AI アバターと音声を作成し、テキストを入力するだけでデジタル分身の動画を生成できます。既成のアバターと音声を使い、スクリプトを設定して動画を作ることもできます。
ログイン
-
Gmail またはメールアドレスでログインしてください： https://makefun.ai/app 推奨ブラウザ： Microsoft Edge または Chrome （デスクトップ版）が最適です。
-
アカウントをお持ちでない場合は「Register」をクリックして新規作成してください。招待コードをお持ちの場合は、入力方法を Q&A セクションでご確認ください。
-
モバイルをお使いの場合はこちら： https://makefun.ai/app ※ モバイル版は機能が限られます。可能であればデスクトップ版をご利用ください。
最初の動画を作る
ログインしたら、アバター動画を作ってみましょう：
-
「Create」モジュールを開きます。
-
動画に名前を付けます。
-
アバターに読ませるスクリプトを入力します。
-
言語と声のトーンを選び、「Preview Audio」をクリックします。
-
音声プレビューが成功すると、ボタンが「Create Video」に変わります。合成されたアバターの声もパソコンで再生されます。
-
その音声から動画を生成するのに必要なコイン数が表示されます。プレビューとコイン数に問題がなければ「Synthesize Video」をクリックして生成します。
-
結果ページに移動します。少し待つと動画をダウンロードできます。
-
進捗の確認と完成した動画の取得は「My Results」モジュールで行います。
動画生成の応用機能
アバターを選ぶ
次のどちらかを選べます：
- My Avatars：自分専用のアバターの作り方は こちら。
- Public Avatars：参考用のサンプルとして提供しているアバターです。※ これらのアバターは、お客様の国において著作権や商用利用が保証されていない場合があります。
アバターの種類：「My Avatars」を開くと、各アバターに付いているラベルは または 。
- Diamond（ダイヤ）：「Continue Training」の結果です。より高品質なリップシンクとリアルさのために追加学習されています。 「continue training」のやり方はこちら こちら。
- Lightning（ライトニング）：「Quick Preview」の結果です。基本的なリップシンク品質になります。「continue training」をクリックしても学習が完了していない場合は のままです。つまり「continue traininng」が完了したアバターにだけ付くのは 。 Lightning（ライトニング） は、1 枚の画像から生成したアバターや、音声と口の動きが同期していない学習動画に適しています。
字幕の自動生成
- 動画に字幕を付けたい場合は、アバター動画の下にある「Caption」を有効にし、フォント・色・背景を設定してください。
- ※ 字幕の自動生成はテキスト入力から作る動画のみ対応で、音声入力から作る動画では使えません。
背景を変える
- アバター動画の背景を変えたい場合は「Background」をクリックします。※ すべてのアバターが背景変更に対応しているわけではありません。「Background」の項目で対応状況をご確認ください。対応していない場合は別のアバターをお選びください。
- 自分で作った「My Avatars」で背景変更を使いたい場合は、アバター作成時に背景を設定しておく必要があります。
選んだアバターが背景変更に対応していれば、次のことができます：
- プラットフォーム提供の画像を使う。
- 自分の画像や動画を背景としてアップロードする。
動画から自分専用のアバターを作る
MakeFun では、短い動画クリップ（ base video）または画像からアバターを作成できます。このセクションでは、実在の人物の短い base video をアップロードし、専用の AI アバター動画を生成するための学習データにする方法を説明します。 base video は、以後の動画の解像度・口の動き・仕草・服装・小道具を決定します。 高品質なアバターを作るには、 base video が所定の 要件を満たす必要があります。 APIをご利用の場合は、このセクションで各パラメータの意味をご確認ください。「My Avatars」を作る学習方法は 2 種類あります：
- 「Quick Preview 」：学習は通常 1 分以内に完了します。この処理は 無料 です（ダイヤは消費しません）。1 枚の画像から生成するアバターや、音声と口の動きが同期していない学習動画では、このモードのみが適しています。この学習の結果に付くラベルは 。
- 「Continue Training 」：学習は通常 60 分以内に完了します。この処理には を 1 つ消費します。「continue training」の結果は「Quick Preview」よりリップシンク品質が大幅に高くなります。その結果に付くラベルは です。「continue training」を行うには、まず base video をアップロードして「quick preview」を完了させ、アバターアイコンの アイコンをクリックします。すると「Continue Training 」が表示されるのでクリックし、約 60 分お待ちください。完了するとアバターアイコンに が付いた状態で「Create」モジュールに表示されます。
動画から専用アバターを作る手順
-
「Add Avatars」モジュールで、要件に沿った動画をアップロードします
- Name：アバターの名前を入力します。
- Gender：動画に合わせて選びます。リップシンクの結果にわずかに影響します。
- Original Material： Video を選んでクローンします。
- Original Background：背景を除去したい場合は、背景画像をアップロードします。 詳しくは 背景画像の撮り方をご覧ください。
-
「Quick Preview」をクリックすると即時モードのクローンが始まります。
-
学習が終わると「My Avatars」にアバターが表示され、動画作成に使えるようになります。
-
品質を上げるには、アバターアイコンの アイコンをクリックし、ポップアップから「Continue Training」を選びます。
画像から自分専用のアバターを作る
MakeFun では、短い動画クリップ（ base video）または画像からアバターを作成できます。このセクションでは、実在の人物の画像を学習データにして専用の AI アバター動画を生成する方法を説明します。この画像モードを選んだ場合、「continue training」は実行できません。「Quick Preview 」をクリックすると、学習は通常 1 分以内に完了します。この処理には を 1 つ消費します。画像から生成したアバターに対して、以後「continue training」を行う必要はありません（実行できません）。
画像から専用アバターを作る手順
-
「Add Avatars」モジュールで、要件に沿った動画をアップロードします
- Name：アバターの名前を入力します。
- Gender：動画に合わせて選びます。リップシンクの結果にわずかに影響します。
- Original Material： Image モードを選んでクローンします。
- Original Background：背景を除去したい場合は、背景画像をアップロードします。
-
「Quick Preview」をクリックすると即時モードのクローンが始まります。
-
学習が終わると「My Avatars」にアバターが表示され、動画作成に使えるようになります。
自分の声を使う
MakeFun では短い音声クリップから自分専用の声を作成できます。※ 当社のシステムは著名人・有名人の声を自動的に検出します。利用規約に違反する投稿があった場合、その音声は無効化され、アカウントが停止されることがあります。
-
まず Voice Cloneをクリックし、音声の名前と性別を設定します。
-
(a) 音声クリップをアップロードして Start Training。 詳しくは 高品質な音声を録るコツ (b) 音声クリップが手元にない場合は、ページ上で直接録音できます。 Start Recordingをクリックし、用途に合うスクリプトを選んでから アイコンをクリックして開始します。録音は 15〜20 秒が目安です。所定の長さに達したら Stop をクリックして録音を確定します。
-
結果は通常 1 分以内に右側のパネルに表示されます。クローンした音声は Voices セクション（ Create モジュール内）で選択できます。ドロップダウンメニューの Voice Clone セクションにあります。
よくある質問
Q： 高品質な「Base Video」を撮るには？
照明について：
- スタジオでポートレート用のライティングを組み、少なくとも前方の光源とバックライト（輪郭を出すため）を用意してください。
- グリーンバックを使う場合は、被写体（モデル）をグリーンバックから 2 メートル以上離すと、キーイングの結果が最適になります。
- 緑色を反射する服や小道具は避けてください。
環境音について：
- 暗騒音は 45dB 未満、反響や残響がないようにしてください。
- エアコンやパソコンのファンの音を避けてください。撮影中は部屋のエアコンを切ることをおすすめします。
- 録音前に必ずマイクを確認してください。
カメラについて：
- 30 FPS 以上で動画撮影できる一眼レフを推奨します。当社の公開アバターの多くは Sony A7S3 または A7M4 で撮影しています。
- 解像度：2K / 30fps（高精細が必要な場合はそれ以上）。MakeFun は最大 4K に対応しています。
- フォーマット：非 HDR。MakeFun は基本的な HDR デコードに対応していますが、HDR は推奨しません。
- レンズ： ポートレート撮影には 40mm または 50mm のレンズ（例：50mm F1.8 単焦点）を使ってください。絞り F1.8〜F2.5、シャッタースピードは 1/100 以下、ISO は 800 未満。実際の照明条件に合わせて調整してください。
- 機材構成に応じて、パソコン・ビデオキャプチャカード・プロンプターなども必要に応じてご利用ください。
マイクについて：
- ラベリアマイク（ピンマイクなど）を使用し、被写体から離しすぎないようにしてください。
- 同期を最良にするため、マイクはカメラに接続してください。
- 撮影した動画には録音した音声が含まれ、音声と映像が正確に同期している必要があります。
モデルの動きについて：
- 被写体の顔がはっきり映るようにしてください。
- 撮影中、モデルは話し続けてください。話しながらプロンプターを見ても構いませんが、プロンプターはカメラと同じ方向に配置してください。
- スクリプトは自分で用意しても、慣れた詩・数字・文字などの簡単な素材でも構いません。はっきりと大きな声で話してください。多少の言い間違いは問題ありません。間違いは気にせず、話しているときの感情と表情に意識を向けてください。
- 動きはフレーム内に収め、顔を遮らないようにしてください。軽い手の動きやうなずきなど一般的な仕草は構いませんが、賛成・反対を示すような意味を持つ動作は避けてください。
- 動きが大きすぎたり頻繁すぎたりしないようにし、顔を遮らないでください。
- 口の動きは自然な発話より少し大きめでも構いません。
- 動画に写った動作は、生成結果でも同じ順序で再現されます。
- フレーム付きのメガネは問題ありません
背景変更を有効にするには：
- If 背景置換 が必要な場合は、被写体が写っていない「空の映像」を 1〜2 秒撮影してください。そのうえで、その「空の映像」のスクリーンショットを「Add Avatars」のOriginal Background としてアップロードします。
- 背景画像はグリーンバックである必要はありません。アバター動画の背景と完全に一致していれば、当社の AI アルゴリズムはどのような背景にも対応します。
- グリーンバックで撮影する場合は、キーイングの不具合を防ぐため、被写体が緑や青の服を着ないようにしてください。
素材の要件：
- 撮影動画の長さは 30 秒〜5 分にしてください。
- 動画には発話が含まれ、音声と口の動きが完全に同期している必要があります。
- 動画に写る顔は 1 人だけにしてください。
- 被写体の発話以外の環境音やその他の音は入れないでください。
- 話す速さは適度に保ってください。
- 遅すぎるとリップシンクの精度が落ちることがあります。
- 速すぎるとリップシンクが乱れることがあります。
Q：高品質な「Base Audio」を録るには？
音声の長さ： 15〜60 秒。
環境の要件：
- 暗騒音は 45dB 未満で、反響や残響がないこと。
- 録音前にサウンドチェックを行ってください。
機材の要件：
- 指向性コンデンサーマイク（カーディオイドなど）を使用してください。
録音の要件：
- 用途に必要なトーンや雰囲気に合わせて録音してください（そのトーンが合成音声にそのまま反映されます）。
- 破裂音を防ぐため、マイクを口に近づけすぎないでください。
- 言い間違えた場合は、最初からやり直さず次の文に進んでください。
- リバーブは切り、元の音声ファイルには一切の後処理を行わないでください。
録音パラメータ：
- サンプルレート：48kHz
- ビット深度：16-bit
- チャンネル：モノラル
- ノーマライズ後のゲインは 0.4 以上にしてください。
推奨ソフト： Adobe Audition。