- Novos modelos de última geração, tokenizadores de vídeo e um pipeline de processamento de dados acelerado, otimizado para GPUs de data center NVIDIA, são desenvolvidos especificamente para o desenvolvimento de robôs e veículos autônomos
- Primeira onda de modelos abertos disponíveis agora para a comunidade de desenvolvedores
- Líderes globais de IA física 1X, Agile Robots, Agility, Figure AI, Foretellix, Uber, Waabi e XPENG entre os primeiros a adotar
LAS VEGAS, 06 de janeiro de 2025 (GLOBE NEWSWIRE) – CES— NVIDIA anunciou hoje Cosmos NVIDIA™uma plataforma que compreende recursos generativos de última geração modelos de fundação mundialtokenizadores avançados, proteções e um pipeline de processamento de vídeo acelerado construído para avançar no desenvolvimento de IA física sistemas como veículos autônomos (AVs) e robôs.
Os modelos físicos de IA são caros de desenvolver e exigem grandes quantidades de dados e testes do mundo real. Os modelos de base mundial do Cosmos, ou WFMs, oferecem aos desenvolvedores uma maneira fácil de gerar grandes quantidades de imagens fotorrealistas baseadas na física. dados sintéticos para treinar e avaliar seus modelos existentes. Os desenvolvedores também podem criar modelos personalizados ajustando os WFMs do Cosmos.
Modelos cosmos estará disponível sob uma licença de modelo aberto para acelerar o trabalho da comunidade de robótica e AV. Os desenvolvedores podem visualizar os primeiros modelos no Catálogo de APIs NVIDIAou baixe a família de modelos e a estrutura de ajuste fino do Catálogo NVIDIA NGC™ ou Abraçando o rosto.
Empresas líderes de robótica e automotiva, incluindo 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, Galbot, Robô da Colina, IntBot, Neura RobóticaSkild AI, Virtual Incision, Waabi e XPENG, juntamente com a gigante de compartilhamento de viagens Uber, estão entre os primeiros a adotar o Cosmos.
“O momento ChatGPT para a robótica está chegando. Assim como os grandes modelos de linguagem, os modelos de base mundial são fundamentais para o avanço do desenvolvimento de robôs e AV, mas nem todos os desenvolvedores têm experiência e recursos para treinar os seus próprios”, disse Jensen Huang, fundador e CEO da NVIDIA. “Criamos o Cosmos para democratizar a IA física e colocar a robótica geral ao alcance de todos os desenvolvedores.”
Modelos Open World Foundation para acelerar a próxima onda de IA
O conjunto de modelos abertos do NVIDIA Cosmos significa que os desenvolvedores podem personalizar os WFMs com conjuntos de dados, como gravações de vídeo de viagens AV ou robôs navegando em um armazém, de acordo com as necessidades da aplicação alvo.
Os WFMs do Cosmos são desenvolvidos especificamente para pesquisa e desenvolvimento de IA física e podem gerar vídeos baseados em física a partir de uma combinação de entradas, como texto, imagem e vídeo, bem como sensores de robô ou dados de movimento. Os modelos são construídos para interações físicas, permanência de objetos e geração de alta qualidade de ambientes industriais simulados — como armazéns ou fábricas — e de ambientes de condução, incluindo diversas condições de estradas.
Em sua abertura palestra na CESo fundador e CEO da NVIDIA, Jensen Huang, apresentou maneiras pelas quais os desenvolvedores físicos de IA podem usar os modelos Cosmos, inclusive para:
- Pesquisa e compreensão de vídeo, permitindo que os desenvolvedores encontrem facilmente cenários de treinamento específicos, como estradas com neve ou congestionamento em armazéns, a partir de dados de vídeo.
- Geração de dados sintéticos fotorrealistas baseados em física, usando modelos Cosmos para gerar vídeos fotorrealistas a partir de cenários 3D controlados desenvolvidos no NVIDIA Omniverso™ plataforma.
- Desenvolvimento e avaliação de modelo físico de IA, seja construindo um modelo personalizado com base nos modelos básicos, melhorando os modelos usando o Cosmos para aprendizado por reforço ou testando seu desempenho em um cenário simulado específico.
- Previsão e simulação de “multiverso”, usando Cosmos e Omniverse para gerar todos os resultados futuros possíveis que um modelo de IA poderia adotar para ajudá-lo a selecionar o caminho melhor e mais preciso.
Ferramentas avançadas de desenvolvimento de modelos mundiais
A construção de modelos físicos de IA requer petabytes de dados de vídeo e dezenas de milhares de horas de computação para processar, selecionar e rotular esses dados. Para ajudar a economizar enormes custos em curadoria de dados, treinamento e personalização de modelos, o Cosmos apresenta:
- Um pipeline de processamento de dados acelerado por NVIDIA AI e CUDA®, distribuído por Curador NVIDIA NeMo™que permite aos desenvolvedores processar, selecionar e rotular 20 milhões de horas de vídeos em 14 dias usando a plataforma NVIDIA Blackwell, em vez de mais de três anos usando um pipeline somente de CPU.
- Tokenizador NVIDIA Cosmosum tokenizer visual de última geração para converter imagens e vídeos em tokens. Ele oferece 8x mais compactação total e processamento 12x mais rápido do que os principais tokenizadores atuais.
- O NVIDIA NeMo estrutura para treinamento, personalização e otimização de modelos altamente eficientes.
As maiores indústrias físicas de IA do mundo adotam o Cosmos
Os pioneiros da indústria de IA física já estão adotando as tecnologias Cosmos.
1X, uma empresa de IA e robôs humanóides, lançou o 1X Desafio do Modelo Mundial conjunto de dados usando Cosmos Tokenizer. XPENG usará o Cosmos para acelerar o desenvolvimento de seu robô humanóide. E a Hillbot e a Skild AI estão usando o Cosmos para acelerar o desenvolvimento de seus robôs de uso geral.
“A escassez e a variabilidade de dados são os principais desafios para o sucesso do aprendizado em ambientes robóticos”, disse Pras Velagapudi, diretor de tecnologia da Agility. “Os recursos de texto, imagem e vídeo para o mundo do Cosmos nos permitem gerar e aumentar cenários fotorrealistas para uma variedade de tarefas que podemos usar para treinar modelos sem precisar de tanta captura cara de dados do mundo real.”
Os líderes de transporte também estão usando o Cosmos para construir IA física para AVs:
- Waabi, uma empresa pioneira em IA generativa para o mundo físico, começando com veículos autônomos, está avaliando o Cosmos no contexto de curadoria de dados para desenvolvimento e simulação de software AV.
- A Wayve, que está desenvolvendo modelos básicos de IA para direção autônoma, está avaliando o Cosmos como uma ferramenta para pesquisar cenários de condução extremos e extremos usados para segurança e validação.
- O fornecedor de ferramentas AV Foretellix usará o Cosmos, juntamente com APIs NVIDIA Omniverse Sensor RTXpara avaliar e gerar cenários de teste de alta fidelidade e dados de treinamento em escala.
- A gigante global de compartilhamento de viagens Uber está fazendo parceria com a NVIDIA para acelerar a mobilidade autônoma. Conjuntos de dados de condução ricos da Uber, combinados com os recursos da plataforma Cosmos e Nuvem NVIDIA DGX™, pode ajudar os parceiros AV a construir modelos de IA mais fortes com ainda mais eficiência.
“A IA generativa impulsionará o futuro da mobilidade, exigindo dados ricos e computação muito poderosa”, disse Dara Khosrowshahi, CEO da Uber. “Ao trabalhar com a NVIDIA, estamos confiantes de que podemos ajudar a acelerar o cronograma para soluções de direção autônoma seguras e escaláveis para a indústria.”
Desenvolvendo IA aberta, segura e responsável
Cosmos NVIDIA foi desenvolvido em linha com a NVIDIA IA confiável princípios, que priorizam privacidade, segurança, proteção, transparência e redução de preconceitos indesejados.
A IA confiável é essencial para promover a inovação na comunidade de desenvolvedores e manter a confiança dos usuários. A NVIDIA está comprometida com uma IA segura e confiável, em linha com os compromissos voluntários de IA da Casa Branca e outras iniciativas globais de segurança de IA.
A plataforma aberta Cosmos inclui proteções projetadas para mitigar textos e imagens prejudiciais e apresenta uma ferramenta para aprimorar a precisão dos prompts de texto. Vídeos gerados com Cosmos autorregressivo e difusão os modelos no catálogo de APIs da NVIDIA incluem marcas d’água invisíveis para identificar conteúdo gerado por IA, ajudando a reduzir as chances de desinformação e atribuição incorreta.
A NVIDIA incentiva os desenvolvedores a adotarem práticas confiáveis de IA e aprimorarem ainda mais as soluções de proteção e marca d’água para suas aplicações.
Disponibilidade
Os WFMs do Cosmos são agora disponível sob a licença de modelo aberto da NVIDIA no Hugging Face e no catálogo NVIDIA NGC. Os modelos Cosmos estarão disponíveis em breve totalmente otimizados NVIDIA NIM microsserviços.
Os desenvolvedores podem acessar Curador NVIDIA NeMo para processamento de vídeo acelerado e personalizar seus próprios modelos de mundo com NVIDIA NeMo. Nuvem NVIDIA DGX oferece uma maneira rápida e fácil de implantar esses modelos, com suporte empresarial disponível através do NVIDIA IA Empresarial plataforma de software.
NVIDIA também anunciou novos Modelos de linguagem grande NVIDIA Llama Nemotron e modelos de linguagem de visão NVIDIA Cosmos Nemotron que os desenvolvedores podem usar em casos de uso de IA empresarial em saúde, serviços financeiros, manufatura e muito mais.
Sobre NVIDIA
NVIDIA (NASDAQ: NVDA) é líder mundial em computação acelerada.
Para mais informações, entre em contato:
Janette Ciborowski
Comunicações Corporativas
Corporação NVIDIA
+1-734-330-8817
jciborowski@nvidia.com
Certas declarações neste comunicado à imprensa, incluindo, entre outras, declarações sobre: os benefícios, o impacto, o desempenho e a disponibilidade dos produtos, serviços e tecnologias da NVIDIA, incluindo NVIDIA Cosmos, catálogo de API da NVIDIA, plataforma NVIDIA Omniverse, NVIDIA AI, NVIDIA CUDA, NVIDIA NeMo Curator, plataforma NVIDIA Blackwell, NVIDIA Cosmos Tokenizer, estrutura NVIDIA NeMo, NVIDIA DGX Cloud e plataforma de software NVIDIA AI Enterprise; terceiros que adotam produtos e tecnologias da NVIDIA e os benefícios e impactos dos mesmos; e o momento ChatGPT para a robótica são declarações prospectivas que estão sujeitas a riscos e incertezas que podem fazer com que os resultados sejam materialmente diferentes das expectativas. Factores importantes que podem fazer com que os resultados reais difiram materialmente incluem: condições económicas globais; nossa dependência de terceiros para fabricar, montar, embalar e testar nossos produtos; o impacto do desenvolvimento tecnológico e da concorrência; desenvolvimento de novos produtos e tecnologias ou melhorias em nossos produtos e tecnologias existentes; aceitação pelo mercado dos nossos produtos ou dos produtos dos nossos parceiros; defeitos de projeto, fabricação ou software; mudanças nas preferências ou demandas dos consumidores; mudanças nos padrões e interfaces da indústria; perda inesperada de desempenho de nossos produtos ou tecnologias quando integrados em sistemas; bem como outros fatores detalhados periodicamente nos relatórios mais recentes que a NVIDIA arquiva com a Securities and Exchange Commission, ou SEC, incluindo, entre outros, seu relatório anual no Formulário 10-K e relatórios trimestrais no Formulário 10-Q . Cópias dos relatórios arquivados na SEC são publicadas no site da empresa e estão disponíveis gratuitamente na NVIDIA. Estas declarações prospectivas não são garantias de desempenho futuro e referem-se apenas à data deste documento e, exceto conforme exigido por lei, a NVIDIA se isenta de qualquer obrigação de atualizar essas declarações prospectivas para refletir eventos ou circunstâncias futuras.
Muitos dos produtos e recursos aqui descritos permanecem em vários estágios e serão oferecidos quando e se estiverem disponíveis. As declarações acima não pretendem ser e não devem ser interpretadas como um compromisso, promessa ou obrigação legal, e o desenvolvimento, lançamento e cronograma de quaisquer recursos ou funcionalidades descritos para nossos produtos estão sujeitos a alterações e permanecem de responsabilidade exclusiva. critério da NVIDIA. A NVIDIA não será responsável pela falha na entrega ou atraso na entrega de qualquer um dos produtos, recursos ou funções aqui estabelecidos.
© 2025 NVIDIA Corporation. Todos os direitos reservados. NVIDIA, o logotipo NVIDIA, CUDA, DGX, NGC, NVIDIA Cosmos, NVIDIA NeMo e NVIDIA Omniverse são marcas comerciais e/ou marcas registradas da NVIDIA Corporation nos EUA e em outros países. Outros nomes de empresas e produtos podem ser marcas registradas das respectivas empresas às quais estão associados. Recursos, preços, disponibilidade e especificações estão sujeitos a alterações sem aviso prévio.
Uma foto que acompanha este anúncio está disponível em
