Adobe revela bizarra ferramenta IA de upscaling de vídeos

VideoGigaGAN é bizarramente realista, apesar de seguir com alguns defeitos. Modelo de IA ainda está em desenvolvimento e foi divulgado em artigo científico

Adobe revela bizarra ferramenta IA de upscaling de vídeos

]]>

Modelo de IA para upscaling da Adobe mostra resultados em alta qualidade e com alto realismo (Imagem: Reprodução/Tecnoblog)

A Adobe divulgou um novo modelo de IA para upscaling de vídeos, o VideoGigaGAN. Esta aplicação ainda está na fase de desenvolvimento e foi apresentada pela empresa em um artigo de prévia de pesquisa, publicado no dia 18 de abril. O VideoGigaGAN promete melhorar em até oito vezes a qualidade dos vídeos enviados no prompt.

O GAN do nome do modelo significa Generative Adversial Networks (Redes Adversariais Gerativas em tradução direta), uma tecnologia usada para fotos e outras imagens estáticas. Sua aplicação em vídeo trazia alguns elementos que tremiam, além de falhas comum em vídeos gerados por IA — conhecidas como “alucinações de IA”.

Entre os autores do artigo estão dois membros da Universidade de Maryland, mas todos os outros são pesquisadores da própria Adobe. O paper pode ser acessado pelo Arxiv.

VideoGigaGAN mostra resultados altamente realistas

Os vídeos de demonstrações divulgados pela Adobe mostrando resultados altamente realistas. Além disso, na página da novidade no GitHub, o upscaling realmente consegue “recuperar” vídeos em qualidades baixíssimas, entregando uma maior resolução.

Nos exemplos da Adobe, os vídeos do prompt (aqueles que precisam ser melhorados) possuem 128 x 128 pixels. O VideoGigaGAN produz então vídeos com até 1024 x 1024 pixels de resolução — valores “próximos” a qualidade HD, mas que não estão no padrão definido para qualidade HD.

A Adobe divulgou também os testes do VideoGigaGAN para produzir vídeos de 512 x 512 pixels. Em ambas as resoluções, os resultados parecem bem naturais. No futuro próximo, além das dúvidas sobre imagens e vídeos gerados por IA, teremos o mistério de vídeos que passaram por upscaling de IA.

Recentemente, a Microsoft divulgou o desenvolvimento de um “deepfake” para não depender de webcams em videochamadas. Nas demonstrações da big tech, você consegue ver defeitos, como dentes crescendo enquanto o avatar fala. E por mais que o VideoGigaGAN seja uma tecnologia de upscaling e não geração, é comum que IAs de upscaling alucinem na melhoria de imagem.

Adobe Firefly 3 lançado na quarta-feira

Barco em uma praia; imagem gerada no site do Firefly, que ganhou uma nova versão na quarta-feira (Imagem: Emerson Alecrim/Tecnoblog)

Ainda no tópico IA e Adobe, a empresa anunciou nesta quarta-feira (23) o lançamento do Firefly Image 3.  O Firefly é a ferramenta de IA generativa de imagens da Adobe, que pode ser usada no Photoshop não só para a criação de imagem, mas também para auxiliar na edição de uma arte.

Com informações: The Verge

Adobe revela bizarra ferramenta IA de upscaling de vídeos

como rastrear alguem pelo numero


Fonte: https://tecnoblog.net/noticias/adobe-revela-bizarra-ferramenta-ia-de-upscaling-de-videos/