A NVIDIA lança o SDK DriveOS LLM para Inovação em Veículos Autónomos

Zach Anderson

11 de março de 2025 02:24

A NVIDIA apresenta o SDK DriveOS LLM para facilitar a implementação de grandes modelos de linguagem em veículos autônomos, aprimorando aplicativos impulsionados por IA com desempenho otimizado.

A NVIDIA apresentou a sua mais recente inovação, o SDK DriveOS LLM, com o objetivo de simplificar a implementação de grandes modelos de linguagem (LLMs) em veículos autónomos. Este desenvolvimento representa um salto significativo na melhoria das capacidades dos sistemas automotivos impulsionados por IA, de acordo com a NVIDIA.

Otimização da Implementação do LLM

O SDK DriveOS LLM é projetado para otimizar a inferência de LLMs de ponta e modelos de linguagem de visão (VLMs) na plataforma DRIVE AGX da NVIDIA. Construído sobre o robusto mecanismo de inferência NVIDIA TensorRT, o SDK incorpora otimizações específicas de LLM, incluindo kernels de atenção personalizados e técnicas de quantização, para atender às demandas de plataformas automotivas com recursos limitados.

Características chave e Componentes

Os principais componentes do SDK incluem uma biblioteca de plugins para desempenho especializado, um tokenizador/detokenizador eficiente para integração perfeita de entradas multimodais e um amostrador baseado em CUDA para geração otimizada de texto e tarefas de diálogo. O módulo de decodificação aprimora ainda mais o processo de inferência, possibilitando a implantação flexível e de alto desempenho de LLM em várias plataformas NVIDIA DRIVE.

Modelos Suportados e Formatos de Precisão

O SDK suporta uma gama de modelos de ponta como Llama 3 e Qwen2, com formatos de precisão incluindo FP16, FP8, NVFP4 e INT4 para reduzir o uso de memória e melhorar o desempenho do kernel. Esses recursos são cruciais para implantar LLMs de forma eficiente em aplicações automotivas onde a latência e a eficiência são primordiais.

Fluxo de trabalho simplificado

O SDK LLM DriveOS da NVIDIA simplifica o processo complexo de implantação de LLM em dois passos simples: exportar o modelo ONNX e construir o motor. Este fluxo de trabalho simplificado é projetado para facilitar a implantação em dispositivos de borda, tornando-o acessível para uma variedade mais ampla de desenvolvedores e aplicações.

Capacidades Multimodais

O SDK também aborda a necessidade de entradas multimodais em aplicações automotivas, suportando modelos como Qwen2 VL. Inclui uma implementação C++ para pré-processamento de imagens, alinhando as entradas de visão com modelos de linguagem, ampliando assim o escopo das capacidades de IA em sistemas autônomos.

Conclusão

Aproveitando o mecanismo NVIDIA TensorRT e técnicas de otimização específicas do LLM, o SDK LLM DriveOS estabelece um novo padrão para implantar LLMs avançados e VLMs na plataforma DRIVE. Esta iniciativa está pronta para melhorar o desempenho e a eficiência de aplicações impulsionadas por IA em veículos autônomos, marcando um marco significativo na evolução tecnológica da indústria automotiva.

Fonte da imagem: Shutterstock