Tutorial: primeiros passos com a plataforma de síntese de vídeo de humanos digitais do MakeFun

Recomendações de iluminação:

• Use um esquema de iluminação de retrato em estúdio, com pelo menos uma fonte frontal e uma contraluz (para marcar o contorno).
• Se usar fundo verde, mantenha a pessoa (o modelo) a pelo menos 2 metros do fundo para obter o melhor recorte.
• Evite roupas ou objetos que reflitam a luz verde.

Recomendações sobre ruído ambiente:

• Garanta que o ruído de fundo fique abaixo de 45 dB, sem eco nem reverberação.
• Evite o ruído do ar-condicionado e das ventoinhas do computador. Recomendamos desligar o ar-condicionado da sala durante a captação.
• Sempre teste o microfone antes de gravar.

Recomendações de câmera:

• Recomendamos uma DSLR capaz de gravar a pelo menos 30 FPS. A maioria dos nossos avatares públicos foi filmada com Sony A7S3 ou A7M4.
• Resolução: 2K a 30 fps (ou mais, se precisar de alta definição). O MakeFun aceita no máximo 4K.
• Formato: sem HDR. O MakeFun decodifica vídeo HDR básico, mas não recomendamos.
• Lente: Para retrato, use uma lente de 40 mm ou 50 mm (por exemplo, uma fixa 50 mm F1.8). Abertura F1.8–F2.5, velocidade do obturador de no máximo 1/100 e ISO abaixo de 800. Ajuste conforme a luz real.
• Dependendo do seu equipamento, use outros aparelhos — computador, placa de captura, teleprompter — para atender às necessidades de gravação.

Recomendações de microfone:

• Microfones de lapela (tipo clipe). Evite deixar o microfone longe demais da pessoa.
• O microfone precisa estar conectado à câmera para a melhor sincronização.
• O vídeo gravado deve incluir o áudio captado, com sincronia precisa entre áudio e imagem.

Atuação do modelo:

• A câmera deve captar o rosto da pessoa com nitidez.
• O modelo deve falar continuamente durante a captação e pode olhar para um teleprompter. O teleprompter precisa estar alinhado com a câmera.
• A pessoa pode preparar o próprio roteiro ou usar material simples, como poemas conhecidos, números ou letras. Fale com clareza e bom volume. Erros ocasionais não são problema: não se prenda a eles, concentre-se na emoção e na expressão facial durante a fala.
• Mantenha os movimentos dentro do enquadramento e não cubra o rosto. Gestos gerais (leves movimentos de mão ou acenos de cabeça) são bem-vindos; evite gestos com significado, como aprovar ou reprovar.
• Os movimentos não devem ser exagerados nem frequentes demais, e não podem cobrir o rosto.
• Os movimentos labiais podem ser um pouco mais marcados do que na fala natural.
• Qualquer ação registrada no vídeo aparecerá no resultado gerado, na mesma ordem.
• Óculos de armação são aceitáveis

Para habilitar a troca de fundo:

• Se for necessário substituir o fundo no vídeo, grave 1–2 segundos de “cena vazia”, sem a pessoa no enquadramento. Depois, envie uma captura dessa cena vazia como Original Background durante o processo “Add Avatars”.
• A imagem de fundo não precisa ser um fundo verde. Nosso algoritmo de IA aceita qualquer tipo de fundo, desde que ele corresponda exatamente ao fundo do vídeo do avatar.
• Se você filmar o modelo com fundo verde, evite roupas verdes ou azuis para não causar problemas no recorte.

Requisitos do material:

• O vídeo captado deve ter de 30 segundos a 5 minutos.
• O vídeo precisa conter fala, perfeitamente sincronizada com o movimento dos lábios.
• O vídeo deve mostrar apenas um rosto.
• Não são permitidos ruídos do ambiente nem outros sons (além da fala da pessoa).
• Mantenha um ritmo de fala moderado.
• Um ritmo lento demais pode reduzir a precisão da sincronia labial.
• Um ritmo rápido demais pode distorcer a sincronia labial.

Duração do áudio: 15–60 segundos.

Requisitos do ambiente:

• O ruído de fundo precisa ficar abaixo de 45 dB, sem eco nem reverberação.
• Faça testes de som antes de gravar.

Requisitos de equipamento:

• Use um microfone condensador direcional (por exemplo, cardioide).

Requisitos de gravação:

• Grave com o microfone um áudio cujo timbre e clima combinem com o uso pretendido (esse tom aparecerá no áudio sintetizado).
• Evite deixar o microfone perto demais da boca, para não gerar plosivas.
• Se errar, siga para a próxima frase em vez de recomeçar.
• Certifique-se de que o reverb esteja desligado e não faça nenhum pós-processamento no arquivo de áudio original.

Parâmetros de gravação:

• Taxa de amostragem: 48 kHz
• Profundidade de bits: 16 bits
• Canal: mono
• Após a normalização, o ganho deve ficar acima de 0,4.

Software recomendado: Adobe Audition.