Convai, usando a nova tecnologia NVIDIA ACE, está preparada para elevar os NPCs de IA por meio de avanços adicionais em IA generativa. A demonstração inicial, apresentando uma loja de ramen realista e os personagens Jin e Kai, foi impressionante. Agora, Convai está revelando uma nova fase na tecnologia de personagens baseada em IA. Esta inovação permite que os personagens tenham conversas autênticas com os jogadores dentro dos jogos, melhorando a interação entre os jogadores.
Com a revelação de capacidades aprimoradas de geração de conversação, percepção e ação, a Convai fez avanços significativos na criação de experiências de jogo envolventes. Esses desenvolvimentos prometem um salto transformador na forma como os jogadores interagem com os ambientes e personagens do jogo, marcando um avanço notável para a tecnologia AI NPC.
Anúncios da CES 2024: Produtos mais interessantes
Convai dá as boas-vindas aos NPCs de IA com NVIDIA ACE
NVIDIA ACE representa um passo inovador na tecnologia de jogos. Imagine um cenário onde os jogadores possam se envolver em conversas inteligentes, improvisadas e dinâmicas com personagens não jogáveis (NPCs) em jogos. Esses NPCs possuiriam personalidades em evolução, animações faciais precisas e a capacidade de interagir na língua nativa do jogador. Este conceito está se tornando realidade graças às tecnologias generativas de IA.
Na COMPUTEX 2023, a NVIDIA anunciou o futuro dos NPCs com o NVIDIA Avatar Cloud Engine (ACE) para jogos. NVIDIA ACE for Games é um serviço personalizado de fundição de modelos de IA projetado para revolucionar os jogos, infundindo personagens não jogáveis com interações de linguagem natural alimentadas por IA. Este desenvolvimento pretende transformar a experiência de jogo, tornando as interações com os personagens do jogo mais realistas e envolventes.
A IA generativa tem o potencial de revolucionar a interatividade que os jogadores podem ter com os personagens do jogo e aumentar drasticamente a imersão nos jogos. Com base em nossa experiência em IA e décadas de experiência trabalhando com desenvolvedores de jogos, a NVIDIA está liderando o uso de IA generativa em jogos.
-John Spitzer, vice-presidente de tecnologia de desenvolvimento e desempenho da NVIDIA
NVIDIA ACE para desenvolvedores
NVIDIA ACE for Games está abrindo caminho para que desenvolvedores de middleware, ferramentas e jogos incorporem recursos avançados de IA. Por meio dessa plataforma, eles podem criar e implantar modelos personalizados de IA de fala, conversação e animação em seus softwares e jogos, acessíveis em ambientes de nuvem e de PC.
Os modelos básicos de IA otimizados integrados ao NVIDIA ACE for Games incluem:
- NVIDIA NeMo: oferece modelos de linguagem básicos junto com ferramentas de personalização de modelos, permitindo que os desenvolvedores refinem ainda mais os modelos para adequá-los aos personagens do jogo. Este modelo de linguagem grande (LLM) personalizável facilita a criação de histórias e personalidades únicas de personagens, adaptadas ao mundo do jogo do desenvolvedor. NeMo Guardrails também permite que os desenvolvedores definam regras programáveis para NPCs, garantindo que as interações dos jogadores sejam consistentes com o contexto de uma cena.
- NVIDIA Riva: amplia os recursos de reconhecimento automático de fala (ASR) e conversão de texto em fala (TTS), promovendo conversas ao vivo integradas ao NVIDIA NeMo. Isso facilita a interação perfeita entre jogadores e personagens do jogo.
- NVIDIA Omniverse Audio2 Face: Um recurso de destaque, o Audio2Face gera animações faciais expressivas para personagens do jogo a partir de apenas uma fonte de áudio. Com os conectores Omniverse para Unreal Engine 5, os desenvolvedores podem adicionar animações faciais diretamente aos personagens MetaHuman, melhorando significativamente o realismo e a expressividade no jogo.
Esses componentes do NVIDIA ACE for Games representam um avanço substancial no desenvolvimento de jogos, oferecendo ferramentas para a criação de experiências de jogos mais realistas e interativas. Este conjunto de ferramentas ressalta o compromisso da NVIDIA em promover o avanço da indústria de jogos por meio de aplicações inovadoras de IA.
Como funciona o NVIDIA ACE?
O NVIDIA ACE for Games opera de uma forma que demonstra suas capacidades notáveis e fornece uma visão do futuro do desenvolvimento de NPCs em jogos. Para ilustrar isso, a NVIDIA colaborou com a Convai, uma startup NVIDIA Inception dedicada à criação e implantação de personagens de IA em jogos e mundos virtuais. Esta parceria foi fundamental para otimizar e integrar os módulos ACE na plataforma Convai.
A demonstração Kairos, uma vitrine do NVIDIA ACE for Games, utilizou várias tecnologias NVIDIA:
Com o NVIDIA ACE for Games, as ferramentas da Convai podem alcançar a latência e a qualidade necessárias para disponibilizar personagens não jogáveis de IA para quase todos os desenvolvedores de maneira econômica.
-Purnendu Mukherjee, fundador e CEO da Convai
NVIDIA Riva foi empregado para funções de fala para texto e texto para fala, NVIDIA NeMo alimentou a IA de conversação e Audio2Face foi usado para animação facial baseada em IA derivada de entradas de voz. Esses módulos foram perfeitamente incorporados à plataforma de serviços Convai e depois integrados ao Unreal Engine 5 e MetaHuman, culminando na criação de Jin, um personagem da cena Ramen Shop.
Esta cena, junto com Jin, foi criada pela equipe de arte da NVIDIA Lightspeed Studios e totalmente renderizada no Unreal Engine 5. A renderização utilizou NVIDIA RTX Direct Illumination (RTXDI) para iluminação e sombras com traçado de raio e DLSS para otimizar taxas de quadros e imagem qualidade.
A demonstração em tempo real de Jin e sua Ramen Shop não apenas mostra os recursos das placas gráficas GeForce RTX, das tecnologias NVIDIA RTX e do NVIDIA ACE for Games, mas também exemplifica o potencial futuro dos jogos que utilizarão essa tecnologia inovadora.
