Impressões após o Festival de Cinema AI em Tóquio, Japão: o que é que o ChatGPT Sora não consegue fazer?

O Festival de Cinema AI do Japão (AIFJ) ocorreu grandiosamente na Tokyo Innovation Base (TIB), em Yurakucho, Tóquio, oferecendo ao público uma experiência rara e testemunhando a energia inovadora gerada pela fusão da inteligência artificial com a arte cinematográfica. Nesta edição do festival, foram exibidos mais de 70 curtas-metragens que utilizam tecnologia de IA, abrangendo diversos formatos, incluindo ficção, animação, documentário e cinema experimental. Aqui, apresentamos uma obra que recebeu uma menção especial oficial no festival, To The Bones. Este curta também pode ser encontrado no Youtube, onde o diretor Claudio Sa explica detalhadamente em seu canal no Youtube como utilizou ferramentas de IA como ChatGPT Sora, Midjourney e Runway em combinação com Photoshop e Premiere tradicionais para criar um filme de animação 3D.

Introdução a To The Bones

To The Bones foi dirigido por Claudio Sa, que é o fundador e diretor de animação da Pistachio Studios, com mais de dez anos de experiência na produção de animação. Este curta-metragem é uma tentativa dele de combinar o ChatGPT Sora e outras ferramentas de IA com softwares tradicionais como Photoshop e Premiere para criar a animação.

To The Bones Introdução da História

Um viajante cansado encontra um anão, que lhe oferece uma pedra preciosa vermelha brilhante. Depois de levar essa pedra consigo, ele desenvolve um desejo insaciável, acabando por pagar um preço alto. Este filme é inspirado em um conto de fadas de Jordan Peterson.

Desafio de Produção de Animação AI de 30 Dias até os Ossos

O diretor de To The Bones desafiou-se a criar um filme de animação 3D em 30 dias com um orçamento muito limitado usando ferramentas de IA. O diretor não queria que o filme parecesse gerado por inteligência artificial e esperava, com os storyboards iniciais e seu estilo de produção cinematográfica, criar uma obra mais artesanal, coesa e focada na narrativa. Este curta-metragem de 6 minutos utiliza ferramentas como a plataforma Sora ChatGPT Open Art, lançada recentemente pela OpenAI, além de softwares tradicionais como Runway, Photoshop, Premiere Pro e After Effects.

ChatGPT + outras ferramentas de criação de IA para fazer vídeos de animação

Primeiro, Claudio fez um esboço da aparência do protagonista no Photoshop, usando o Midjourney para gerar o fundo e as roupas. Claudio enviou o protagonista desenhado à mão e o esboço da história ao ChatGPT, dando ao IA algumas dicas de texto (prompt) para tornar os detalhes da trama mais específicos. Claudio percebeu que a história ainda não tinha tensão suficiente, então adicionou outros personagens, permitindo que o ChatGPT funcionasse, simplificando o trabalho do roteiro e adicionando mais enredos.

A funcionalidade ChatGPT Sora 360 permite que os personagens se voltem naturalmente.

Ativar a função de tela verde do Sora permite trocar diferentes fundos. Claudio utiliza a função de rotação de 360 graus, permitindo que os personagens se movam. Se os personagens em uma animação não puderem se mover naturalmente, isso pode parecer muito rígido e estranho. Muitos filmes em festivais de cinema não conseguem superar essa dificuldade, mas Claudio, com anos de experiência em produção de animação, permite que a IA complete parte do trabalho. ChatGPT transforma o esboço da história em um roteiro, usa o ElevenLabs para dublar os personagens e, em seguida, adiciona o máximo possível de Frames vívidos, tornando a narrativa e as imagens mais naturais e emocionantes.

O que o OpenAI ChatGPT Sora não consegue fazer

Pode-se entender o Sora como um processador de alimentos de alta gama, como uma panela de pressão ou um forno. Se os alimentos forem preparados e depois colocados, o resultado se tornará rapidamente um prato delicioso. O sucesso de To The Bones reside no fato de que tanto a “pré-produção” quanto a “pós-produção” são tratadas com a ajuda da IA. OpenArt gera a trama da história, Claudio traz as cenas de volta ao Photoshop para processar cada Frame (quadro). Ele recomenda especialmente o Runway e o OpenArt para gerar rascunhos e imagens, ao mesmo tempo em que treina o OpenAI para gerar mais imagens. No entanto, o maior desafio ao criar animações com IA é a “coerência narrativa”. Em um filme de animação com enredo, é necessário conectar a história com as cenas uma após a outra. Fazer um filme de animação não é difícil, mas contar a história de forma emocionante requer efeitos visuais fortes e reviravoltas na trama. Nesse momento, apenas pessoas com experiência em produção cinematográfica e roteiro podem resolver esses desafios técnicos. Muitas viradas na história ainda não são resultados que a IA atual pode prever. Nesse momento, lembrei que o Japão anunciou recentemente a resolução de um caso não solucionado há mais de vinte anos. Uma dona de casa foi assassinada em sua casa, e a polícia não tinha pistas sobre o motivo ou o assassino. Mesmo com a ciência do DNA, não conseguiam encontrar o culpado. No final, a motivação do crime era simplesmente porque o assassino sentia ciúmes da mulher por ter o homem que desejava. Essa é a complexa operação do cérebro humano e a razão pela qual o talento artístico ( e a execução ) não podem ser completamente substituídos pela inteligência artificial. Para ter uma história com reviravoltas que ainda faça sentido, é necessário o cérebro humano, a lógica de pensamento humana, que as máquinas nunca poderão prever completamente. Os roteiristas de Hollywood ainda têm trabalho por um tempo.

Referência:

Até aos Ossos

Eu fiz um filme com IA. Isto é o que aconteceu.

To The Bones usa ferramentas:

ChatGPT Sora da OpenAI

Assistente de IA Kling

Roteiro Runway

AI geração de voz Elevenlabs

Este artigo sobre as impressões do festival de cinema AI em Tóquio, Japão, o que é o efeito que o ChatGPT Sora não consegue fazer? Apareceu pela primeira vez na ABMedia de Chain News.