São Paulo, 22 de maio de 2025 — Um passo significativo para democratizar a IA generativa (gen AI) foi dado hoje com o lançamento do Red Hat AI Inference Server. Disponível dentro do Red Hat AI, o servidor de inferência de nível empresarial nasce a partir do poderoso projeto comunitário vLLM, aprimorado pela integração das tecnologias Neural Magic às da Red Hat, oferecendo mais velocidade, eficiência no uso de aceleradores e melhor relação custo-benefício para ajudar a concretizar a visão da Red Hat de rodar qualquer modelo de gen AI,em qualquer acelerador de IA e em qualquer ambiente de nuvem.
A inferência se tornou o motor do sucesso da IA, é por meio dele que modelos pré-treinados traduzem dados para mundo real. À medida que os modelos de gen AI se tornam mais complexos e suas implantações em produção se expandem, a disciplina pode se tornar um gargalo significativo, consumindo recursos de hardware, comprometendo a capacidade de resposta e inflacionando os custos operacionais. Dessa forma, servidores de inferência robustos não são mais um luxo, mas sim uma necessidade para desbloquear o verdadeiro potencial da IA em escala.
A Red Hat aborda diretamente esses desafios com o Red Hat AI Inference Server — uma solução de inferência aberta, projetada para funcionar com alto desempenho e equipada com as principais ferramentas de compressão e otimização de modelos. A inovação permite que as organizações desfrutem da gen AI, por meio experiências do usuário exponencialmente mais rápidas e uma liberdade única para escolher aceleradores de IA, modelos e ambientes de TI.
vLLM: ampliando a inovação em inferência
O Red Hat AI Inference Server é baseado no projeto vLLM, líder do setor, iniciado pela Universidade da Califórnia, Berkeley, em meados de 2023. Esse projeto comunitário oferece inferência de gen AI de alto rendimento, suporte a grandes contextos de entrada (input context), aceleração multi-GPUs de modelos, suporte para agrupamento contínuo (continuous batching) e muito mais.
O amplo suporte do vLLM a modelos disponíveis publicamente, aliado à sua integração desde o princípio com modelos de ponta como DeepSeek, Gemma, Llama, Llama Nemotron, Mistral, Phi entre outros, o posiciona como o padrão para inovações futuras em inferência de IA.
Apresentando o Red Hat AI Inference Server
O Red Hat AI Inference Server incorpora a inovação vLLM e a empacota em soluções empresariais. O servidor está disponível como uma oferta conteinerizada independente ou como parte do RHEL AI e do Red Hat OpenShift AI.
Em qualquer ambiente de implantação, o Red Hat AI Inference Server fornece aos usuários uma distribuição sólida e com suporte no vLLM, além de:
Visão da Red Hat: qualquer modelo, qualquer acelerador, qualquer nuvem
O futuro da IA deve ser definido por oportunidades ilimitadas e não restrito por silos de infraestrutura. A Red Hat enxerga um horizonte no qual as organizações possam implantar qualquer modelo, em qualquer acelerador, em qualquer nuvem, entregando uma experiência de usuário excepcional e mais consistente, sem custos exorbitantes. Para desbloquear o verdadeiro potencial dos investimentos em gen AI, as empresas precisam de uma plataforma universal de inferência — um novo padrão para inovações em IA contínuas e de alto desempenho, tanto no presente quanto nos próximos anos.
Assim como a Red Hat foi pioneira na transformação do Linux em base fundamental da TI moderna, a empresa está agora preparada para arquitetar o futuro da inferência de IA. O vLLM tem o potencial de se tornar a peça-chave para uma inferência padronizada em gen AI, e a empresa está comprometida em construir um ecossistema próspero não apenas em torno da comunidade vLLM, mas também do llm-d, voltado para inferência distribuída em larga escala. O objetivo é claro: independentemente do modelo de IA, do acelerador subjacente ou do ambiente de implantação, a Red Hat pretende tornar o vLLM o padrão aberto definitivo para inferência na nova nuvem híbrida.
Red Hat Summit
Participe das keynotes principais do Red Hat Summit para ouvir as últimas novidades de executivos, clientes e parceiros da Red Hat:
Sobre a Red Hat
A Red Hat é líder em tecnologia de nuvem híbrida aberta, e proporciona uma base confiável, consistente e abrangente para uma inovação transformadora em TI e aplicações de inteligência artificial (IA). Seu portfólio de tecnologias de nuvem, desenvolvimento, IA, Linux e automação permite a implementação de qualquer aplicação, em qualquer lugar, desde data centers até a edge. Como líder mundial no fornecimento de soluções de software open source empresarial, a Red Hat investe em ecossistemas e comunidades abertas para resolver os desafios de TI do futuro. Por meio da colaboração, a Red Hat ajuda clientes e parceiros a construir, conectar, automatizar, proteger e gerenciar seus ambientes de TI, com o suporte de serviços de consultoria, treinamento e certificação reconhecidos mundialmente.
Notícia distribuída pela saladanoticia.com.br. A Plataforma e Veículo não são responsáveis pelo conteúdo publicado, estes são assumidos pelo Autor(a):
ERIC REALE FINGER
[email protected]
