端到端加速企业GenAI创新,英伟达NIM微服务成为软件企业看中的亮点!

百家 作者:51CTO技术栈 2024-03-21 21:08:31



3月20日,软件开发企业Cloudera宣布了一项重要的合作信号:要与NVIDIA一起加速生成式AI应用的部署。具体来讲,就是通过将NVIDIA的AI微服务集成到其Cloudera数据平台(CDP)中,帮助企业能够快速构建和扩展基于自身数据的定制化大型语言模型(LLMs)。
 
此次合作中,Cloudera将利用NVIDIA AI Enterprise,包括NVIDIA Inference Manager(NIM)微服务,解锁CDP中超过25E字节数据的洞察。这些丰富的企业信息将输入到Cloudera机器学习平台中,该平台是公司的端到端AI工作流程服务,将推动新一轮的生成式AI创新。
 
Cloudera的AI/ML产品副总裁Priyank Patel表示:“企业数据结合为大型语言模型优化的全栈平台,在将组织的生成式AI应用从试点推向生产方面起着至关重要的作用。Cloudera正在集成NVIDIA NIM和CUDA-X微服务,以驱动Cloudera机器学习平台,帮助客户将AI的炒作转变为商业现实。”
 
此次合作不仅展示了Cloudera和NVIDIA在技术创新上的实力,也反映了市场对生成式AI应用的需求正在快速增长。通过整合双方的资源和技术优势,双方共同推动AI在企业中的实际应用,为企业带来更高效、更智能的解决方案。
 
此外,通过利用CDP中的海量数据,结合Cloudera机器学习平台的强大功能,企业能够更深入地挖掘数据的价值,实现更精准的决策和更高效的业务运营。这一合作将为企业带来更加智能化、自动化的未来,推动整个行业的发展和进步。



连接模型与数据 

 
在连接模型与数据之间,企业AI面临着一个关键挑战,即如何将基础模型与相关的业务数据连接起来,以生成准确、符合上下文的输出。NVIDIA的NIM和NeMo Retriever微服务旨在通过使开发者能够将LLMs(大型语言模型)与从文本文档到图像和可视化等结构化和非结构化企业数据连接起来,从而弥合这一差距。
 
具体来说,Cloudera Machine Learning将提供集成的NIM模型服务功能,以增强推理性能,并在混合和多云环境中实现容错、低延迟和自动扩展。而NeMo Retriever的加入将简化检索增强生成(RAG)应用程序的开发,这种应用程序通过实时检索相关数据来提高生成式AI的准确性。
 
其中,NVIDIA NeMo Retriever是NVIDIA NeMo框架和工具系列的一项全新服务。NeMo是一个用于构建、自定义和部署生成式AI模型的框架和工具系列。作为一项语义检索微服务,NeMo Retriever借助经NVIDIA优化的算法,帮助生成式AI应用作出更加准确的回答。使用该微服务的开发者可以将其AI应用与位于各个云和数据中心的业务数据相连通。这种连接不仅增强了AI应用的准确性,还使得开发者能够更灵活地处理和利用企业数据。
 
概括来说,NVIDIA的NIM和NeMo Retriever等微服务为企业提供了一种有效的方式,将AI模型与业务数据紧密地结合在一起,从而生成更加准确和有用的输出。这为企业提供了强大的工具,可以进一步推动AI在各个领域的应用和发展。
 

数据到生成式AI部署,大大缩短时间

 
NVIDIA与Cloudera的合作正在为企业打开一扇全新的大门,引领他们更高效地利用海量数据来构建定制化的协同助手和生产力工具。NVIDIA企业产品副总裁Justin Boitano表示:“NVIDIA NIM微服务与Cloudera数据平台的集成,为开发者提供了一种更加灵活和简便的方式来部署大型语言模型,从而推动企业的业务转型。”
 
通过简化从数据到生成式AI部署的路径,Cloudera和NVIDIA旨在加速企业对诸如编码助手、聊天机器人、文档摘要工具和语义搜索工具等变革性应用的采纳。这一合作建立在两家公司之前通过将NVIDIA RAPIDS集成到CDP中利用GPU加速的基础上。
 
Patel强调了扩大合作带来的业务好处,他指出:“除了为客户提供强大的生成式AI能力和性能外,此次集成的结果还将使企业能够做出更准确、更及时的决策,同时减少预测中的不准确性、幻觉和错误——这些都是在当今数据环境中导航的关键因素。”
 
Cloudera将在3月18日至21日于加利福尼亚州圣何塞举行的NVIDIA GTC上展示其新的生成式AI能力。随着领先企业探索基础模型改变其运营的潜力,Cloudera和NVIDIA坚信他们的合作将使客户站在企业AI新兴时代的前沿。

——好文推荐——

无人能复刻英伟达B200!友商抄无可抄,谁能懂?预计30000美元起!黄仁勋摊牌:通用计算过时了!
字节年终奖发放大赏;复现类Sora代码,全细节开源;网友透析马斯克开源Grok;“Apple ID”将成历史;英伟达B100来了


关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接