Motion capture: os bastidores da arte de dar vida aos games

Motion-capture-e-a-arte-de-dar-vida-aos-games-Capa

Motion capture e a arte de dar vida aos games (Imagem: Vitor Pádua/Tecnoblog)

O motion capture, ou captura de movimentos, trouxe um nível de realismo nunca visto antes aos games. Há 20 anos, por exemplo, era preciso improvisar para tentar dar um ar mais natural a ações simples, como abraçar ou sincronizar as falas com os lábios dos personagens. A necessidade de uma tecnologia que permitisse levar o real para o digital sempre existiu nos jogos, mas por restrições técnicas, começamos só agora a ver resultados mais expressivos.

Mas as tais restrições técnicas não impediram, por exemplo, que criadores de games do passado dessem um jeito para capturar ações mais realistas. Os clássicos movimentos de corrida, pulo e escalada do herói de Príncipe da Pérsia (1989), por exemplo, foram capturados pelo próprio criador do game, Jordan Mechner, que filmou seu irmão mais novo, David, correndo e saltando. A ideia de Mechner foi vista como um avanço em animação para jogos, no início da década de 90.

Mas o que é motion capture?

Resumidamente, a técnica utiliza câmeras que rastreiam as ações de atores e objetos que estejam usando sensores de movimentos, ou seja, aquelas bolinhas (de tamanhos variados) que são coladas em tudo o que precisa ser capturado. Todos os dados obtidos, por estas câmeras, são enviados para computadores equipados com um programa que cria um esqueleto virtual, no qual são reproduzidos os movimentos dos atores em tempo real.

A partir daí, o diretor e os demais responsáveis pela produção, conseguem ter uma visão preliminar da performance do(a) ator/atriz no game e fazer os devidos ajustes, se necessário, antes do personagem ir para a pós-produção e ser animado sobre o esqueleto virtual. Essa etapa também pode ser feita em tempo real.

É claro que outros processos, técnicas e até mesmo improvisos acontecem durante esse trabalho, que pode durar de semanas até anos. Por isso, nada melhor do que trazer os especialistas no assunto para aprofundar o tema e falar sobre como foi trabalhar com motion capture para games, desde a produção até a entrega do produto final.

Para este Especial, o Tecnoblog conversou com profissionais que fizeram parte de jogos, como: Resident Evil Village, Assassin’s Creed Valhalla, Ghost of Tsushima, The Dark Pictures Anthology – House of Ashes e Days Gone.

Por que usar mocap num jogo

O ator Will Poulter em The Dark Pictures Anthology: Little Hope (Imagem: Reprodução/YouTube)

De uma forma geral, usar ou não a captura de movimentos varia de acordo com o projeto. A técnica pode ser aplicada na totalidade do game ou em algumas partes. Para Masato Miyazaki, diretor de Apresentação em Resident Evil Village, a decisão de utilizar o mocap (forma abreviada para se referir à técnica) no jogo da Capcom partiu do design dos movimentos dos personagens e da necessidade de criar animações específicas.

“Usamos o mocap com bastante frequência, mas definitivamente existem situações em que não faz sentido aplicá-lo. Por exemplo, para movimentos que são impossíveis de fazer com o corpo humano ou se queremos amplificar ou enfatizar um movimento, trabalhamos com os artistas para criar manualmente um tipo específico de animação.” (Masato Miyazaki – Resident Evil Village)

Emmanuel Roth, animador em Days Gone, conta que há diferentes aspectos e estágios da captura de movimentos. Durante a produção do jogo da Bend Studios, Roth afirma que o mocap também foi muito usado para fins de pesquisa, gerando dados que ajudaram no desenvolvimento do game.

“Trabalhamos com mocap no início da produção para ter uma ideia antecipada e tentar diferentes movimentos de forma ágil, porque é um processo quase instantâneo”, comenta Roth, que pontua como a captura de movimentos pode ser útil na fase de prototipagem e testes de formatos para o jogo.

Bastidores do mocap em Death Stranding (Imagem: Divulgação/Kojima Productions)

François Harvey, gerente de Gravação para Mocap da Alice Studio (uma braço da Ubisoft Montréal), concorda com Emmanuel Roth sobre a agilidade da captura de movimentos. Harvey, que trabalhou para Assassin’s Creed Valhalla, conta que “o processo de mocap é muito rápido em comparação com a ‘key frame animation’ [animação feita à mão, onde cada gesto precisa ser criado pelo animador]”, explica Harvey.

Enquanto que em algumas produções o mocap é usado em partes específicas do desenvolvimento, em outras situações a captura de movimentos é uma das protagonistas do jogo. Em títulos de visual mais cinematográfico, como Until Dawn, Detroit: Become Human, Death Stranding, The Last of Us – Part II e a franquia The Dark Pictures Anthology, é evidente o uso constante desta tecnologia.

“Capturamos os movimentos até para nossos monstros!”

A afirmação é de Dan McDonald, produtor Executivo da Supermassive Games (responsável por The Dark Pictures Anthology – House of Ashes), em entrevista para o Tecnoblog.

“Muito dos movimentos que você vê nas criaturas em House of Ashes foi capturado usando um dublê e mocap”, explica McDonald. “Isso nos deu uma grande base de movimento para os monstros e ajudou os personagens humanos [durante as gravações] a terem uma referência mais clara.”

A decisão de usar a captura de movimentos num jogo deve ser bem planejada, até porque a tecnologia não é barata. Desde os equipamentos necessários, criação e/ou compra de próteses à contratação de profissionais e, às vezes, locação de estúdios de gravação, é muito investimento a ser feito. Tempo realmente é dinheiro nesse caso.

Para o processo de mocap de Resident Evil Village, Masato Miyazaki conta que foram utilizados tanto os estúdios da própria Capcom, no Japão, quanto outro baseado em Los Angeles (Califórnia – EUA). “O objetivo de utilizar um estúdio no exterior era capturar conteúdo para cutscenes. RE Village usa mocap total, onde voz e movimento são gravados simultaneamente”, explica o diretor. “Ao contrário das gravações na própria Capcom, contratar um estúdio externo para captura de movimentos requer muito planejamento.”

François Harvey (Assassin’s Creed Valhalla) destaca também que encontrar os melhores atores e dublês é crucial durante a pré-produção. “Se a gravação for para capturar movimentos de parkour, buscaremos especialistas no esporte para que possamos ter a melhor animação para essas ações específicas no jogo.”

A família Dimitrescu, de Resident Evil Village, reunida (Imagem: Reprodução/Reddit)

“Escolher o elenco é metade da batalha na pré-produção”, pontua Harvey ao Tecnoblog. “As outras partes importantes são estabelecer se há necessidade de construir acessórios, estruturas, ou qualquer coisa que tenha um impacto significativo no desempenho e integração com o layout 3D.”

E falando sobre escolher os melhores atores e analisar a necessidade de construir acessórios, que no mocap também podem ser chamados de “props” (ou próteses), Billy Harper, diretor de Animação da Sucker Punch (responsável por Ghost of Tsushima) afirma que selecionar atores e dublês que se sintam à vontade gravando com trajes apertados e cheios de adereços (sensores de movimento, câmeras e baterias) também é um desafio.

“Normalmente, passamos um tempo a mais, em nosso processo de seleção de elenco, nos certificando de que os atores consigam se sentir confortáveis com os trajes usados no mocap. Até porque não há nada que possamos realmente fazer, ao menos por enquanto”, explica Harper.

Espuma, plástico e o que tiver a mãos

A criação dos acessórios e cenários para mocap é impressionante por si só. Quem já assistiu a vídeos com os bastidores dessas gravações, certamente ficou curioso com todo o processo e até mesmo achou engraçado aquele amontoado de pedaços de madeira, alumínio e espuma – tudo devidamente decorado com bolinhas de vários tamanhos.

Motion capture de uma cena de ação em Assassin’s Creed Valhalla (Imagem: Reprodução/YouTube)

Como François Harvey (Assassin’s Creed Valhalla) adiantou, parte da produção requer analisar a necessidade da criação de próteses, comprá-las ou mesmo reaproveitar algo que já tenha sido usado em outros projetos.

Dan McDonald (House of Ashes) comenta que durante a produção, a equipe cria acessórios básicos que refletem o objeto real a ser usado no jogo. “Geralmente, este é um adereço para ajudar os atores a entenderem o que é necessário na cena. Por exemplo, para dar uma sensação de distância, se estiverem empunhando uma arma, ou permitir que reajam ao serem atingidos por algo.”

“Tudo é uma questão de ver o que precisamos”, complementa Emmanuel Roth (Days Gone). “Se quisermos abrir uma porta, por exemplo, não traremos uma porta de verdade para a gravação porque ela prejudicaria a captura, já que a câmera não conseguiria ver através dela”, explica ao Tecnoblog. “Então usaríamos alguns pedaços de madeira, um tripé e algo para perfazer uma maçaneta.”

François Harvey ressalta, ainda, que as próteses usadas no mocap precisam ser do mesmo tamanho e formato da versão do jogo. “Aqui no estúdio, trabalhamos com mais de 500 props. Esses acessórios existem fisicamente e cada um deles também possui uma versão digital para permitir que a equipe faça o pós-processamento”, detalha. “Se nossas próteses não atenderem às necessidades de uma gravação, buscamos comprá-las numa loja especializada. Em último caso, contratamos profissionais para criá-las.”

Mas e se algo der errado…

Mesmo com tudo organizado com antecedência, às vezes, as coisas podem não sair bem como o planejado. Isso é normal em qualquer tipo de trabalho e os profissionais que lidam com motion capture, muitas vezes, precisam resolver problemas de gravação sem poder parar a produção. Como dito antes, este é um processo caro e há prazos a cumprir.

Mas eis que em 2020 veio a pandemia e muitos estúdios, assim como várias outras empresas, se viram obrigados a se reinventar para continuar operando mesmo com algumas restrições. Quem estava com projetos em andamento, quando o isolamento social começou, precisou dar um jeito.

Cachorrinhos fofos “trabalhando” no mocap de The Last of Us – Part 2 (Imagem: Reprodução/YouTube)

“Como você pode imaginar, a COVID-19 teve um grande impacto na produção”, comenta Masato Miyazaki (Resident Evil Village) ao Tecnoblog. “As cutscenes do final do jogo foram gravadas após o início da pandemia. Quando a pandemia surgiu, enfrentamos o imprevisto de não ter filmado o clímax do game.”

Miyazaki acrescenta que o trabalho remoto foi uma novidade para a equipe e um dos maiores desafios, deste novo ambiente de trabalho, foi lidar com a barreira do idioma entre os estúdios dos EUA e do Japão. “Comunicar questões técnicas e instruções detalhadas de atuação tornou-se muito mais difícil. Para resolver este problema, construímos um ambiente de gravação dedicado, onde poderíamos trocar vídeos e dados filmados em tempo real.”

A pandemia realmente pegou a todos de surpresa, mas mesmo jogos que foram filmados antes também estavam sujeitos a imprevistos. Emmanuel Roth (Days Gone) conta que em alguns momentos o estúdio precisou reutilizar mocaps: “levávamos uma gravação feita para o estúdio e o designer dizia ‘não, eu não quero dessa forma. Eu quero daquela outra maneira’. Então, sim. Você tinha que caçar o que já tinha sido feito, alterar algumas coisas e reutilizar o mocap”. Roth destaca que ainda pode ocorrer de algumas partes do jogo precisarem ser reescritas, o que também impacta nas filmagens.

E aquele momento inesquecível?

Batalhas épicas com centenas de soldados para todos os lados, escalar e saltar de penhascos, enfrentar monstros gigantescos ou mesmo fugir de um tsunami de zumbis são tão emocionantes, durante o gameplay, quanto gravar todas essas cenas. Assim como em produções cinematográficas, a captura de movimentos com muitos elementos envolvidos é um enorme desafio, mas gratificante da mesma forma (quando tudo dá certo).

Billy Harper (Ghost of Tsushima) recorda como foi complexo, no início, trabalhar com cavalos – algo que o estúdio Sucker Punch nunca havia feito antes. “Começamos com um pequeno teste. Fizemos uma cena específica, dentro do trailer de estreia, onde tínhamos um grande número de samurais a cavalo avançando através de um nevoeiro. Filmamos apenas esta cena e tomamos muitas notas e descobrimos quais eram os problemas.”

A partir dessas observações, Harper explica que foi possível aumentar a produção e decidir o que precisava ser gravado para o jogo completo. Inclusive, a cena de abertura de Ghost of Tsushima, com os samurais avançando pela praia e enfrentando o exército mongol pela primeira vez, precisou ser reescrita algumas vezes.

Sucker Punch e Naughty Dog trocaram experiências para gravar o mocap com cavalos (Imagem: Jeremy Yates/Naughty Dog)

“Tudo o que filmamos com os atores [na cena de abertura] foi, na verdade, com eles montados em cavalos construídos no estúdio”, conta Harper ao Tecnoblog. “Dessa forma, tínhamos mais controle sobre o olhar dos atores na ação que estava acontecendo. Depois, usando animação, mesclamos cavalos reais aos capturados com as próteses.”

François Harvey (Assassin’s Creed Valhalla) conta que a parte mais desafiante de filmar, de todo o jogo, foi a introdução. “O que você vê não são apenas dez minutos de plano sequência filmados por uma câmera estabilizada. Há também vários pequenos gameplays de quando Eivor [ainda criança] atravessa por um salão vinking para selar a lealdade entre dois clãs.”

Harvey explica que esta cena levou alguns dias de planejamento e preparação. Toda essa introdução é composta por pequenas vinhetas de pessoas bebendo, festejando e interagindo entre si. Tudo isso foi devidamente planejado, alocado espacialmente e capturado em mocap de forma a estar em equilíbrio com os movimentos de Eivor.

Christopher Judge (Kratos) e Sunny Suljic (Atreus) atuando para God of War (Imagem: Reprodução/YouTube)

“Ensaiamos por um dia inteiro com a equipe de dublês. Dividimos a ação em cinco seções que precisavam se fundir perfeitamente para a câmera”, detalha Harvey. “Tivemos também que capturar a performance facial e de áudio dos atores para completar a atuação de cada personagem na tela. Havia muitos elementos trabalhados juntos para fazer a cena funcionar. Este foi certamente um processo complexo de coordenar, mas contribuiu para uma introdução impressionante do jogo.”

Masato Miyazaki (RE Village) destaca que não houve dificuldades técnicas significativas durante o mocap do game, mas lidar com a incrível altura da Lady Dimitrescu foi realmente um desafio. Miyazaki explica que a diferença de altura entre a atriz e a personagem criou uma grande margem de erro.

“Por exemplo. Imagine uma cena como em O Senhor dos Anéis, onde um pequeno hobbit e um humano estão juntos. Se feita por meios normais, a atuação de ambos os atores não se alinharia corretamente”, explica o diretor. “Para resolver este problema, planejamos um cenário onde os atores pudessem imaginar a altura correta. Também tivemos que ajustar os rigs da personagem para minimizar, o quanto fosse possível, o erro causado pela diferença de altura.”

Como é atuar para motion capture

Daisuke Tsuji interpretou Jin Sakai em Ghost of Tsushima (Imagem: Arquivo Pessoal/Divulgação – Sucker Punch)

Atores que trabalham com motion capture para games precisam lidar com dificuldades que talvez atores de cinema, por exemplo, não enfrentam com tanta frequência, como: ter que imaginar cenários reais, às vezes histórias diferentes para um mesmo personagem, monstros e desenvolver emoções mesmo cercados por paredes monocromáticas e objetos improvisados decorados por bolinhas.

Daisuke Tsuji é um ator nipo-americano e interpretou Jin Sakai, o protagonista de Ghost of Tsushima. Ele afirma que sabia, desde o início do processo de seleção de elenco, que estava concorrendo para um dos principais personagens do game. “Eu só não sabia o quão importante ele era”, conta Tsuji em entrevista ao Tecnoblog.

O ator comenta, ainda, que apesar de já ter dublado alguns jogos, esta foi sua primeira experiência atuando com captura de movimentos. “Depois que fui escalado, tive o privilégio de participar da audição de alguns papéis coadjuvantes também. Era parte do meu trabalho fazer algumas cenas com esses atores e trocar experiências.”

É claro que falar de Ghost of Tsushima também desperta a curiosidade em saber como foram gravadas as cenas de lutas com espadas. Daisuke disse que não participou do mocap do gameplay envolvendo combates e que seu trabalho foi mais focado nas cutscenes.

Billy Harper (diretor de Animação da Sucker Punch) acrescenta que o estúdio usou dublês para estas cenas de lutas. “Tivemos a sorte de trabalhar com um dublê que conhecia técnicas de luta de samurais e mongóis”, conta Harper. “Também trabalhamos com dois professores japoneses que têm uma escola, em Tóquio, especializada no tipo de combate samurai da época em que se passa o jogo.”

Sobre atuar usando trajes apertados, cheios de bolinhas e com um câmera fixada num capacete, Daisuke conta que todos esses adereços no corpo não são lá a melhor das experiências: “nunca é confortável. Não foi confortável no primeiro dia e acho que não foi confortável no último dia.”

Ao menos para os cavalos parece que foi um pouco mais confortável, Daisuke:

Fun fact: Our horses were captured at Sony. The volume was enlarged just for this shoot. For safety, a layer of plywood and pretty much the ENTIRE current world’s supply of rubber matts were ordered for the floor. It arrived just days before shooting. #TheLastofUsPartII #horse pic.twitter.com/bC7M6rMkiT

— Jeremy Yates (@Jeremy_Yates) July 14, 2020

“O traje é muito apertado, tem muita coisa pendurada. Então, se houver alguma ação envolvida, como alguém ir para as suas costas ou algo que possa mover algumas das bolinhas do lugar, é provável que eles não possam usar a cena. E ainda têm as baterias. Então, dependendo do movimento, se for para eu cair de costas, por exemplo, eles precisam mover as baterias para frente. Você tem bolinhas grudadas por toda parte e pode machucar se cair sobre elas”. (Daisuke Tsuji – Ghost of Tsushima)

Mesmo com todas as dificuldades durante as gravações, é comum o ator tirar algum aprendizado do personagem que interpretou. Ao final do game, a pergunta que fica é: o Jin Sakai da vida real se considera mais um samurai ou um fantasma?

“Nossa… Bom, se formos pelo jogo, eu diria o fantasma. Não que eu seja violento ou use veneno, mas acho que a história é muito sobre tradição versus seguir em frente e se adaptar. E eu respeito a tradição, mas ao mesmo tempo é necessário mudar para evoluir, às vezes. Então, sim, eu diria que sou mais o fantasma”, declara Tsuji.

O futuro da captura de movimentos

Melina Juergens encarnando Senua, em Hellblade (Imagem: Reprodução/YouTube)

É inegável que todo o trabalho envolvido na captura de movimentos escalou substancialmente a qualidade técnica e o realismo das animações para games. Mas como toda tecnologia, ela precisa estar em constante aperfeiçoamento para não estagnar e ficar obsoleta.

Quanto a isso, Masato Miyazaki (RE Village) comenta que desde a introdução da captura de movimento no mundo, a sua precisão e eficiência melhoraram dramaticamente. No entanto, ele afirma que da perspectiva dos dados obtidos com as capturas, nada de muito expressivo mudou com os anos.

“Nesse sentido, acho que podemos dizer que atingimos o pico do que a captura de movimento é capaz”, afirma Miyazaki. “Por outro lado, existem novas tecnologias que não possuem câmeras, que podem ser levadas até mesmo em ambientes externos, e novos sistemas que podem extrair movimentos de vídeos.”

“Acredito que, no futuro, o mocap não será algo especial, mas sim uma ferramenta de uso diário que pode ser combinada com outro hardware, software e ideias para criar conteúdos valiosos”, conclui o diretor de Apresentação.

Maggie Robertson como Lady Dimitrescu na icônica cena do espelho, em RE Village (Imagem: Reprodução/YouTube)

Dan McDonald (House of Ashes) concorda com a visão de Miyazaki e acrescenta: “existem constantemente novos métodos e processos sendo desenvolvidos e usados. (…) Estamos buscando por mais especialização, recebendo pessoas melhores treinadas para este trabalho e isso está nos ajudando a alcançar níveis mais elevados de qualidade.”

Já François Harvey (AC Valhalla) enfatiza que o motion capture não é apenas uma ferramenta. “Este é um meio completo para dar vida aos personagens. (…) Não apenas proporciona um movimento mais natural, mas, o que é mais importante, nos dá personagens mais vívidos para habitar os mundos que criamos.”

Se a captura de movimentos continuará sendo uma das estrelas das produções de jogos ultrarrealistas é algo ainda a se ver no futuro. O que já é notório é o movimento da indústria para adaptar ou criar novas técnicas, desenvolver métodos mais eficazes de análises de dados gravados e, principalmente, estudar como criar mais fluidez e versatilidade durante as filmagens. Se uma nova tecnologia surgir, nesse sentido, nós jogadores estamos ansiosos para ver e testar.

Extra: você sabia?

A primeira vez que o estúdio Sucker Punch usou motion capture foi em inFamous 2.
Durante as gravações de Days Gone, a equipe precisou criar uma moto feita de madeira para as filmagens. Eles até tentaram usar uma verdadeira, mas era pesada demais.
Daisuke Tsuji levou uma katana verdadeira (mas sem corte) em sua audição para o papel de Jin Sakai.
As hordas, em Days Gone, foram feitas em parte usando mocap. Os atores foram gravados esbarrando e tropeçando uns nos outros para dar mais realismo ao mar de zumbis.
Os diretores de House of Ashes costumavam se mover como os monstros do jogo e fazer ruídos estranhos para ajudar os atores a reagirem corretamente.
Sucker Punch e Naughty Dog trocaram referências quando fizeram a captura de movimentos dos cavalos para ambos jogos, Ghost of Tsushima e The Last of Us.