Assim que o Google apresentou sua nova ferramenta de geração de vídeos, a questão de como usar o Google VideoPoet começou a ecoar no mundo da tecnologia.
O Google VideoPoet é uma melhoria significativa em relação aos modelos tradicionais de geração de vídeo, oferecendo uma ampla gama de recursos e capacidades interessantes. Treinado no MAGVIT-2, o Google busca mais uma vez o primeiro lugar em ferramentas de inteligência artificial.
Mas como usar o Google VideoPoet e por que alguém deveria tentar experimentá-lo? Deixe-nos explicar.
Como usar o Google VideoPoet
Infelizmente, o Google VideoPoet ainda não está disponível publicamente. Embora tenha sido anunciado e apresentado alguns recursos impressionantes em maio de 2023, ainda está em desenvolvimento e não está acessível para uso geral. Portanto, ainda não podemos dizer como usar o Google VideoPoet.
No entanto, existem algumas maneiras de descobrir do que o Google VideoPoet é capaz, embora você não tente fazer isso sozinho.
Demonstração do site
Infelizmente, o VideoPoet ainda não possui uma plataforma acessível ao público. No entanto, a equipe de pesquisa lançou um site de demonstração onde você pode experimentar alguns de seus recursos: https://sites.research.google/videopoet/
Aqui você pode encontrar exemplos de vídeos pré-gerados apresentando diferentes estilos e funcionalidades.
Artigo de pesquisa
Para uma compreensão mais profunda do funcionamento interno do VideoPoet, você pode se aprofundar no artigo de pesquisa: https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html
Este artigo detalha os aspectos técnicos, limitações e potencial da ferramenta.
Lembre-se, o VideoPoet ainda está em pesquisa e sua acessibilidade e recursos podem mudar no futuro. No entanto, ao explorar os recursos disponíveis e manter-se atualizado, você pode se manter informado sobre essa emocionante tecnologia de IA e seu impacto potencial na criação de vídeos.
Quais são os recursos de destaque do Google VideoPoet?
Agora que terminamos de explicar como usar o Google VideoPoet, vamos examinar essa maravilha de ferramenta de IA.
VideoPoet é um modelo revolucionário de geração de vídeo que pode produzir vídeos de grande movimento e duração variável a partir de um simples prompt de texto. Esta ferramenta poderosa tem a capacidade de gerar áudio que corresponde a um vídeo de entrada, sem a necessidade de qualquer orientação de texto adicional.
O segredo por trás das impressionantes habilidades do VideoPoet está em seus componentes simples, mas eficazes. Ele utiliza um pré-treinado MAGVIT V2 tokenizer de vídeo e um tokenizer de áudio SoundStream, que convertem imagens, vídeos e clipes de áudio em um vocabulário unificado. Esse vocabulário é então usado por um modelo de linguagem autorregressivo, que aprende através de diversas modalidades, incluindo texto, para gerar vídeos de alta qualidade.
Uma das características mais notáveis do VideoPoet é a sua capacidade de gerar vídeos com uma ampla gama de vídeos grandes, interessantes e movimentos de alta fidelidade. Isso é possível pela capacidade do modelo de aprender em diferentes modalidades, permitindo sintetizar e editar vídeos com alto grau de consistência temporal. Portanto, saber usar o Google VideoPoet permitirá que você crie vídeos de alta qualidade sem nenhum esforço.
Outro recurso interessante do VideoPoet é sua capacidade de contar histórias visuais. Ao alterar as instruções ao longo do tempo, os usuários podem criar narrativas envolventes que se desenrolam diante de seus olhos. Além disso, VideoPoet suporta a geração de vídeos na orientação quadrada ou retrato, tornando-o ideal para conteúdo curto.
Quão bem o Google VideoPoet está funcionando? Veja você mesmo no vídeo do YouTube de Pesquisa do Google abaixo.
VideoPoet também oferece recursos de edição interativos, permitindo aos usuários estender os vídeos de entrada e selecionar em uma lista de exemplos para controlar com precisão o movimento desejado. Este recurso é particularmente útil para criar vídeos personalizados que correspondam a um prompt de texto específico.
Os recursos controláveis de edição de vídeo do modelo não param por aí. Também pode edite um assunto para seguir diferentes movimentos, como estilos de dança, e gerar vídeos que correspondam a um determinado prompt de texto. Além disso, o VideoPoet pode estilizar vídeos de entrada guiados por um prompt de texto, demonstrando uma adesão estilisticamente agradável.
Os usuários também podem compor estilos e efeitos em geração de texto para vídeo simplesmente anexando um estilo a um prompt base. Este recurso permite infinitas possibilidades criativas, tornando o VideoPoet uma ferramenta inestimável para criadores de conteúdo.
Por último, VideoPoet oferece movimentos de câmera controláveis de disparo zero, permitindo que os usuários especifiquem o tipo de foto da câmera no prompt de texto. Esse recurso é uma propriedade emergente do pré-treinamento do VideoPoet e é uma prova da capacidade do modelo de gerar personalização de movimento de câmera de alta qualidade.
Chegamos ao final do nosso artigo sobre como usar o Google VideoPoet. Os recentes investimentos do Google em IA são óbvios. Se você está interessado em inteligência artificial, recomendamos que acompanhe o trabalho de IA de Gêmeos e DeepMind de perto.
Crédito da imagem em destaque: Google VideoPoeta.
