No dia 21 de junho, por ocasião da Fête de la Musique, aconteceu um show de Realidade Virtual realizado pela lenda da música eletrônica Jean-Michel Jarre. Este evento, apelidado de “Alone Together”, foi um verdadeiro sucesso. Centenas de milhares de pessoas acompanharam sua transmissão ao vivo pelo YouTube e Facebook, enquanto milhares assistiram em RV no VRChat. Saiba como esse evento foi planejado e tudo o que ocorreu nos bastidores.
O INÍCIO
No final de maio, Louis Cacciuttolo, da VRrOOm, entrou em contato com a startup Skarredghost e com Lapo Germasi, do MID Studio (Manifattura Italiana Design), dizendo que estava discutindo com o Ministro da Cultura francês um evento em RV para a Fête de la Musique, uma iniciativa realizada todos os anos para comemorar música na França. Como todos os shows estão atualmente proibidos por causa do Coronavírus, o ministro estava procurando novas maneiras de fazer o evento e Louis propôs que ele realizasse um concerto em RV. A VRrOOm investe há meses na organização de eventos artísticos e performances ao vivo em cima do VRChat junto com a Skarredghost e com o MID, e assim, um concerto virtual com um artista francês no VRChat, seria algo feito para preencher a lacuna entre virtual e real.
Tudo parecia muito legal, mas havia um pequeno problema: a Fête de la Musique é no dia 21 de junho e eles teriam menos de um mês para organizar uma iniciativa tão grande. Considerando os tempos de burocracia necessários para o Ministro aprovar o projeto, esse tempo foi reduzido ainda mais: apenas três semanas para organizar um concerto completo em RV. Uma missão incrível e completamente louca.
JUNTOS E SOZINHOS
Louis começou a reunir pessoas para o projeto que deveria ser realizado em uma velocidade insana. Primeiro, ele teve que encontrar a estrela do show: um concerto para comemorar a Fête de la Musique sem nenhum artista famoso seria muito chato. Louis conseguiu assinar um contrato com a lenda da música eletrônica Jean-Michel Jarre, famoso por ter sido o pioneiro da música eletrônica. Louis é uma pessoa muito apaixonada e quando ele disse que Jarre faria parte do show, ele tinha uma luz brilhante de excitação nos olhos. A mesma luz também estava presente nos olhos das outras pessoas durante as chamadas na sala do Zoom que foi organizada mais tarde com o artista.
Depois de encontrar a estrela, era hora de criar uma equipe que pudesse entregar o projeto, então Louis, a Skarredghost e Lapo Germasi entraram em contato com o artista digital Pyaré (Pierre Friquet) para ser o diretor de arte do projeto, Vincent Masson para criar todos os recursos visuais do show e Georgiy Molodtsov para ajudar na organização do evento, especialmente na parte de streaming. Muitas outras pessoas e empresas talentosas vieram mais tarde: Jean-Baptiste Friquet, SoWhen? , Atelier Daruma com o diretor Mathias Chelebourg, Seekat , MindOut , Urszula Gleisner e, claro, o apoio do VRChat.
Esse grupo de loucos trabalhou duro por três semanas para desenvolver esse projeto, chamado “Alone Together”, para sublinhar o fato de que era um evento em que todas as pessoas estavam juntas curtindo música enquanto ficavam sozinhas em casa por causa do Coronavírus. A experiência foi toda no VRChat, mas, ao mesmo tempo, houve uma instalação física no Palais Royal, em Paris, onde algumas pessoas puderam apreciar o show e depois se conectar virtualmente a Jean-Michel Jarre, fazendo perguntas para criar uma ponte entre o mundo real e o virtual.
Para a parte de RV, a ideia era criar algo como um grande concerto virtual com animações e efeitos visuais que não são possíveis na vida real e que todos poderiam participar de casa.
HOSPEDANDO MILHARES DE PESSOAS NO VRCHAT
O maior problema que assombrava a equipe era como disponibilizar o show para milhares de pessoas. Jean-Michel Jarre é muito popular e com certeza muitas pessoas gostariam de fazer parte de seu grande evento. Mas nenhum mundo social de RV consegue hospedar tantas pessoas na mesma sala. O ENGAGE pode ter apenas 50, VRChat apenas 40, Mozilla Hubs hospeda 25. Somente Somnium Space e Virbela podem oferecer centenas de pessoas juntas. Então, como fazer com que milhares de pessoas aproveitem o show de RV do Jarre? E por que o VRChat foi o escolhido?
As razões são principalmente estas:
1. O VRChat é muito popular, muito mais do que todos os outros juntos. A base de usuários tem um potencial maior que nas outras plataformas. O Sansar, por exemplo, é um projeto muito ambicioso, mas tem poucos usuários online todos os dias, portanto, o que você fizer lá terá pouca visibilidade.
2. Os usuários podem personalizar tudo no VRChat através do Unity (plataforma de desenvolvimento 3D em tempo real). É possível ter os modelos 3D para os avatares, criar ambientes 3D, codificar interações personalizadas… E tudo isso usando o Unity, a ferramenta que a Skarredghost usa praticamente todos os dias. Isso é algo extremamente poderoso, que poucos outros sistemas oferecem.
Então foi criado um plano mestre:
1. 40 pessoas estariam na sala principal, com Jean-Michel Jarre. Seria a sala VIP.
2. Todas as outras pessoas no VRChat teriam acesso a mundos automatizados com música ao vivo. Há muitos críticos disso porque pensam que é criada apenas uma sala com o show real e muitas outras com um show falso de baixa qualidade. A razão para isso é que é tecnicamente impossível controlar todas as instâncias no mesmo mundo juntas. O Jean-Michel poderia estar apenas dentro de uma das instâncias, e não em todas elas. E não é possível controlar todas as instâncias que seriam criadas para acionar as animações e os vídeos de lá, porque eram muitas e completamente imprevisíveis em número e tempo (novas instâncias eram geradas e destruídas a cada minuto). Não seria legal deixar o show no VRChat disponível apenas para 40 fãs, e por isso essa foi a melhor maneira de oferecer ao maior número possível de pessoas uma boa experiência em RV (mesmo que não seja a ideal da sala VIP principal). Foi uma maneira de democratizar o show. Além disso, a equipe não queria colocar tudo como um show pré-gravado, porque eles queriam oferecer uma experiência ao vivo, para tornar todos “sozinhos” ouvindo a mesma música ao vivo.
3. Todas as demais pessoas poderiam assistir a uma transmissão ao vivo no YouTube e Facebook do Jarre e curtir o show em 2D.
RASTRENDO O ARTISTA
Jean-Michel Jarre estava atuando como um avatar de corpo inteiro que podia tocar sintetizadores, pular, bater palmas e mover todo o corpo como em um show real. Como isso foi feito? Fácil e confortável com os Vive Trackers (acessórios que são acoplados facilmente no corpo e em objetos, fazendo com que esses itens sejam detectados de forma convincente pelos sensores a laser que acompanham os óculos de RV)
O VRChat permite que a pessoa tenha todo o seu corpo apenas através do Vive Trackers ou através de softwares como o Driver4VR que emulam os rastreadores via drivers SteamVR. O problema é que quando não se tem a plataforma, a pessoa deve seguir suas regras e, portanto, a melhor opção foi usar o Vive Trackers ou equipamento equivalente.
STREAMING DE ÁUDIO
Jean-Michel tinha seu avatar e ele tinha que tocar sua música. Mas como injetar música no VRChat ?
A opção mais usada na comunidade geralmente é emitir a música através da entrada de linha (o microfone) do computador, como a voz do avatar. Mas nos testes, Louis disse que a qualidade da música não era boa o suficiente para uma pessoa de alto nível como Jean-Michel Jarre. Outra opção era transmitir a voz pelo YouTube ou similar, mas o streaming do YouTube apresenta algo como 30 segundos de atraso, e assim os movimentos do avatar do Jean-Michel e a música que ele estava tocando não estariam sincronizados.
Então a equipe encontrou uma ferramenta chamada TopazChat, desenvolvida pelo japonês Hirotoshi, que forneceria streaming de áudio de alta qualidade e super rápido para o VRChat. Funcionou perfeitamente e tornou o concerto possível.
STREAMING DOS VÍDEOS EM BACKGROUD
A transmissão dos vídeos de segundo plano em 360° foi muito mais fácil, pois o VRChat oferece muitas ferramentas já prontas, e o usuário também poder usar outras do Unity. Aqui é tudo uma questão de decidir se a pessoa deseja sincronizar ou não e que tipo de resolução ela quer.
DISPARANDO AS ANIMAÇÕES
A equipe tinha:
1. Jean-Michel Jarre que no mundo VIP possuia um avatar 3D com áudio vindo do TopazChat e no mundo público havia um avatar 2D transmitido pelo YouTube.
2. O ambiente 3D, projetado por Vincent Masson e otimizado por Victor Pukhov da MID.
3. Os vídeos de fundo trippy renderizados por Vincent Masson.
4. As animações em 3D projetadas por Vincent e otimizadas por Victor.
O Próximo desafio foi juntar tudo isso. A ideia do show era ativar um vídeo de fundo diferente e animações 3D de objetos voadores para cada música de Jean-Michel Jarre, de modo a criar uma discoteca especial com efeitos visuais que estavam em sincronia com a música. Mas como fazer isso?
MUNDO VIP
O VRChat não reconhece músicas e não conseguiu ativar nada automaticamente para cada música. Colocar um cronômetro também não era uma opção, porque o Jarre poderia ter tido algum atraso ou poderia querer falar um pouco mais entre cada música. A única maneira seria sincronizar manualmente. Foi criada uma sala especial de VJ (Video Jockey ) que ficava no topo do salão de dança e um painel de VJ que era uma textura com apenas a face frontal renderizada. Isso significava que ela era visível para o VJ (Georgiy), mas não para as pessoas que estavam dançando no chão. O painel do VJ tinha todos os acionadores do VRChat necessários para iniciar os diferentes vídeos, para acionar as diferentes animações e controlar tudo. Georgiy e as outras pessoas criaram uma linha do tempo precisa de quando ativar o que, e ele estava lá a cada minuto, pressionando os botões para mover partes do palco, ativando animações em 3D, vídeos em 360°… Depois de alguns ensaios, ele foi muito prático com essa ferramenta e um VJ perfeito durante todo o evento.
A experiência na sala VIP foi muito legal porque foi projetada com horários exatos, e todos apreciaram o show como havia sido concebido, com cada música dando as sensações audiovisuais certas.
MUNDO PÚBLICO
Infelizmente, no mundo público, não foi oferecida a mesma experiência. O motivo é que o design do VRChat não contribuiu da forma esperada. Não foi possível acionar animações manualmente em todas as instâncias públicas. A equipe não tinha ideia de quantas instâncias seriam criadas e quando isso ocorreria. Por isso foram forçadas a usar alguma automação. O plano era que, enquanto o avatar holográfico em 2D do Jean-Michel estivesse tocando, algumas animações automáticas seriam acionadas, tentando ‘imitar’ a hora programada do show. Se o Jarre não estivesse respeitado exatamente o timing, a automação estaria um pouco fora de sincronia, mas isso não deveria ter sido um grande problema.
Porém, houve um imprevisto: não tinha como a equipe saber quando as novas instâncias seriam geradas. Ou seja: o show estava agendado para às 21h15. Se alguém criasse uma instância às 21h15, tudo estaria sincronizado. Mas e se as pessoas fizerem isso às 22h15? A equipe não podia dar o mesmo horário, caso contrário, elas teriam visto tudo com uma hora de atraso. E as instâncias geradas às 20h15? Não seria bom ver tudo antes dos outros, porque iria estragar a experiência para os outros fãs do Jarre. Os técnicos poderiam adicionar um atraso de uma hora para os fãs antes que as animações pudessem começar, mas se isso fosse feito, esse atraso seria aplicado a todos os mundos criados posteriormente, mesmo aqueles criados às 21h15 que deveriam ser iniciados imediatamente. Resumindo: o que a equipe poderia fazer, estaria fazendo errado.
A melhor solução encontrada foi bloquear o acesso até às 21h15. Se as pessoas se unissem antes, elas só poderiam ver a primeira parte do mundo virtual e uma grande mensagem convidando-as a se conectarem novamente às 21h15. Para todas as pessoas que chegaram a partir das 21h15, foi criado um script de algumas animações simplificadas, acionadas nos carimbos de data e hora esperadas das músicas, para mostrar efeitos audiovisuais interessantes. Esses efeitos seriam mais ou menos sincronizados com as pessoas que se juntaram às 21h15, e não em sincronia para aqueles que criaram instâncias mais tarde, mas de qualquer maneira, legais o suficiente para proporcionar uma ótima experiência em VR. As animações foram roteirizadas com temporizadores em buffer para que, depois que a primeira pessoa criasse o mundo virtual, as outras tivessem seguido a animação que ela estava vendo usando um carimbo de data/hora: por exemplo, a primeira animação foi iniciada após 30 segundos, o primeiro vídeo após 5 minutos…
O QUE DEU ERRADO?
Então, qual foi o problema? Os vídeos e animações automatizados não foram acionados para muitas pessoas. É fácil apertar um botão que, quando pressionado, faz aparecer um espelho para você, e é fácil executar um botão que faz um espelho aparecer para você e para outras pessoas na sala. Mas o que deve acontecer quando uma nova pessoa entra na sala quando você já fez o espelho aparecer? Ela deveria ver o espelho ou não? Bem-vindo ao mundo dos eventos com buffer e sem buffer, um tópico muito comum dos jogos multiplayer, algo que faz com que os desenvolvedores tenham muitas dores de cabeça.
Deixando de lado esse assunto técnico, é muito complicado por si só quando se tem controle total do código-fonte, e fica ainda mais difícil quando é usado o VRChat. Às vezes, o sistema é instruído a se comportar de uma maneira para as pessoas que ingressam em um mundo virtual tardiamente, e então ele não funciona. Talvez por causa de um bug, ou talvez porque o VRChat espera que as pessoas façam as coisas de uma maneira específica que não é a que foi usada.
Isso significava que provavelmente a primeira pessoa que criou uma instância do mundo do concerto podia ver todos os vídeos e as animações acionados nos momentos certos, mas as outras que se juntaram a ele mais tarde, não tinham as animações acionadas. Então elas só podiam ver o holograma do Jean-Michel, uma animação básica. Elas ficaram com raiva porque, basicamente, estavam assistindo a um vídeo 2D em RV e acharam que a experiência era essa, embora fosse muito melhor. As pessoas que puderam ver todas as animações gostaram da experiência no mundo público, mas as outras que não viram nada ficaram bastante chateadas.
O início do concerto foi atrasado, para que as pessoas que recarregaram às 21h20 pudessem ver a mensagem convidando-as a recarregar o mundo às 21h15 e, por isso, muitas pessoas ficaram irritadas com a equipe que quase não teve tempo para testar e, nos primeiros testes, tudo parecia funcionar bem e todos estavam confiantes de que estava tudo ok. Testes mais detalhados teriam revelado o problema.
Também não foi pensado um ‘Plano B’ para eventuais problemas. Um grande botão na sala que poderia acionar animações aleatórias locais para todos os espectadores (o que não é comum entre os avatares da mesma sala) ou um console pessoal do VJ, em que todos poderiam acionar as animações por conta própria. Não é legal como uma experiência sincronizada, mas é melhor do que não ver nada: todo mundo poderia se sentir como um VJ de Jean-Michel Jarre se as animações oficiais não estivessem funcionando.
TRANSMISSÃO EXTERNA
A transmissão para o YouTube e Facebook ocorreu muito bem. No mundo VIP, haviam algumas pessoas da equipe que estavam em posições estratégicas a partir do PC, e a tela do PC era transmitida para a web. Um diretor de streaming reuniu todos os fluxos e decidiu o que colocar ao vivo no YouTube a cada instante. Durante o concerto, vários pontos de vista foram mostrados de forma alternada e também foram mixadas às imagens sugestivas dos vídeos de Vincent Masson. O resultado é algo dinâmico, fresco e agradável de ser visto.
APRIMORAR OS EFEITOS
Em RV, pode-se garantir 90 quadros por segundo, para fazer um compromisso entre o que se deseja ver e o que se pode mostrar. O problema é que, para mostrar uma ótima experiência com um grande artista como é Jean-Michel Jarre, não se pode apenas mostrar dois cubos voadores, mas muitos efeitos visuais. E além do ambiente, foi necessário aprimorar também os avatares.
RESULTADO FINAL
No geral, o show foi um sucesso: todas as pessoas na sala VIP se divertiram muito. As pessoas nas salas públicas ficaram um pouco irritadas com os problemas, mas de qualquer forma, 2500 pessoas visitaram o VRChat. Esse foi um dos eventos de maior sucesso na plataforma. E no Facebook / YouTube, foram mais de 300.000 visualizações. Jean-Michel Jarre ficou muito satisfeito com o resultado. Foi algo novo e inovador. E erros, falhas, bugs ainda fazem parte do jogo. Essa é a Realidade Virtual agora: um território de experiências malucas, onde todos estão tentando levar a tecnologia adiante.
Fonte: skarredghost.com
Visits: 27