更多精彩 >

趋境科技发布,首创“以存换算”和“全系统推理架构”,助力企业高趋境科技

2024-10-12 16:02:54   来源:投资家网  作者: 

摘要:随着大模型,尤其是开源大模型的持续进化,具备复杂推理能力的模型正在逐步应用于各行各业,并展现出超越人类专家的潜力。

随着大模型,尤其是开源大模型的持续进化,具备复杂推理能力的模型正在逐步应用于各行各业,并展现出超越人类专家的潜力。得益于此,未来的算力建设将更加聚焦于推理场景,而不仅仅是训练算力。

华福证券的研究指出,到2027年,推理端的人工智能服务器预计将占整体工作负载的72.6%。同时,OpenAI o1 所代表的大模型推理场景的 Scaling Law 也进一步助推了这一趋势的加速发展。

然而,尽管模型的效果有了显著的提升,数百亿参数、上百万上下文的一线模型在实际部署中仍面临高成本和低效率的挑战。这一现象导致了难以破解的“不可能三角”。

 

image.png

 

为了应对这一困境,亟需新型推理架构,打破传统主要为训练场景设计,以高端 GPU 为中心的算力架构设计思路。

在此背景下,趋境科技推出了“大模型知识推理一体机”,其搭载的业界首创的全系统推理架构能够通过协同存储、CPU、GPU、NPU等多种设备,充分释放异构算力,将推理成本降低10倍以上。

 

image.png

 

这一创新为企业实现大模型的高效落地提供了全新选择,开启了通向“推理自由”的新途径。

趋境大模型知识推理一体机不仅支持本地部署数百亿级别的一线大模型,还提供开放的API接口,便于第三方灵活调用。同时,用户可根据需求定制企业智能助手(assistant/copilot),实现真正的“开箱即用”。

协同 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系统异构设备,充分释放异构存力和算力资源

与当前行业主要针对 GPU 算力利用率进行单点优化的传统方案相比,趋境科技大模型知识推理一体机采用了业界首创的全系统推理架构。

 

image.png

 

其通过“以存换算”技术释放存力作为算力的补充,降低对算力的需求;同时采用“异构协同”的思路,紧密联动 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系统异构设备,突破显存容量的限制,充分释放全系统的存力和算力。

这一创新方案突破了以往方案的理论优化极限,实现了整合机器所有异构算力资源的目标,使得推理吞吐量提升超过10倍,大幅降低了大模型的落地成本。

此外,据财通证券发布的行业深度分析报告统计显示,国产GPU产品在单精度/半精度浮点算力、制程及显存容量上都与英伟达有2-4倍的显著差距。因此,仅依靠GPU单点优化,短时间内很难赶超英伟达GPU方案。

而采用全系统推理架构可以大幅降低GPU性能差距的影响,显著提升国产替代解决方案的竞争力,打破在大模型推理场景下国产GPU“卡脖子”的困境。

以存换算新范式,从“死记硬背”到“融合推理”

早期的大模型推理架构将每次推理视为独立请求,缺乏高效处理所需的“记忆”能力。尽管后续引入了近似问题缓存(Semantic Query Cache)和前缀缓存(Prefix KVCache Cache),但仍主要依赖于“死记硬背”。这些方案要求新问题与已处理问题高度一致才能利用缓存去降低算力需求。

针对这一问题,趋境科技创新性地设计了“融合推理(Fusion Attention)”技术,即便是面对全新的问题也可以从历史相关信息中提取可复用的部分内容,与现场信息进行在线融合计算。这一技术显著提升了可复用的历史计算结果,进而降低了计算量。

 

image.png

 

通过这一新思路,趋境大模型知识推理一体机充分利用了存储资源。采用“以存换算”的方式释放存力作为对于算力的补充,在RAG场景中,响应延迟降低20倍,性能提升达10倍。

全系统异构协同新架构,从GPU单点优化到全系统协同优化

除了通过“以存换算”降低算力需求外,趋境大模型知识推理一体机还进一步通过全系统异构协同架构设计,将来自存储、CPU、GPU、NPU的算力高效融合,进一步提升大模型推理性能,降低成本。

此前,趋境科技与清华 KVCache.AI 团队合作,开源了一部分异构推理框架,项目名为“KTransformers”(GitHub链接:https://github.com/kvcache-ai/ktransformers),该开源框架仅需单个消费级 GPU 即可在本地运行 Mixtral 8x22B 和DeepSeek-Coder-V2 等千亿级大模型,性能数倍于 Llama.cpp。

在长达 1M 的超长上下文推理任务中,成为业界首个仅需单 GPU 卡的高性能推理框架,生成速度达到 16.91 token/s,比 Llama.cpp 快10倍以上,同时维持接近满分的“大海捞针”能力。

 

image.png

 

趋境科技大模型知识推理一体机采用的全系统推理架构是基于“KTransformers”进一步完善的商业版本,在开源版的基础上,协同性能更强,加入了多卡高并发调度、RAG支持等策略。经过测试及客户合作验证,Prefill 和 Generate 性能大幅领先业界方案:

Prefill阶段的 TTFT(响应延迟)相比业界方案快6倍以上

Generate阶段的 TPOT(生成速度)相比业界方案快3.48倍以上

趋境x长亭:为安全大模型开启千亿大模型时代

国内顶尖的网络信息安全公司长亭科技,使用趋境科技提供的全系统异构推理架构技术策略,无缝衔接到其原有的“问津(ChaitinAI)安全大模型”、MSS 安全托管服务等产品中,问津(ChaitinAI)安全大模型升级为千亿大模型,安全性能全方位升级:

核心指标攻击识别准确率提升至95.8%,检测时延降低至秒级。另外,其对漏洞的检测能力增强,不仅提升漏洞发现数量,对应的修复建议也更准确,还能基于不同场景选择更合适的工具和策略。同时,对不良内容识别能力升级,准确率和召回率均有提升。安全报告内容生成质量和评分也显著提高,综合输出更具健壮性和稳定性。

此外,长亭科技的安全大模型的部署资源成本降低50%,助推其更多业务加入大模型能力。

技术的不断进步和市场需求为大模型的未来发展提供了广阔的空间。随着算力基础设施的不断完善,提升算力的利用效率,使大模型能与更多的行业实践结合起来,未来大模型将在更多行业中发挥更大的作用。

趋境目前也正在和更多的大模型应用厂商一同协作,希望助推全面智能化的到来。


猜你喜欢
原创

腾讯游戏首次接入DeepSeek,《和平精英》引领游戏交互革新

腾讯游戏智能+DeepSeek

腾讯旗下战术竞技手游《和平精英》宣布,将接入DeepSeek,为数字代言人“吉莉”注入人工智能。

6小时前

杭州四小龙:闪耀的“东方神秘力量”

智能+杭州四小龙

甲辰岁末,多家杭州公司顶着“东方神秘力量”的光环,密集被放到国内外的聚光灯下。一时间,“杭州四小龙”...

2025-02-11

人工智能快速发展,中国AI人才缺口预计2030年达400万

天眼查智能+

随着人工智能技术的广泛应用,我国生成式人工智能产品的用户规模已超2.49亿人。

2025-02-10

北京科技庙会:机器人成新春“明星”,点燃春节“科技热”

天眼查智能+

春节期间,北京海淀区、亦庄等地举办的科技庙会活动备受瞩目,机器人成为此次庙会的“明星”。

2025-02-10

杭州世节极数科技引领智能零售新时代,全球战略蓝图稳步推进

智能+杭州世节极数科技

随着数字化转型的加速推进,智能零售领域正迎来前所未有的发展机遇。

2025-01-16

内生动力强劲!四维图新获头部跨国车企下属智能系统供应商定点

智能+四维图新

继前不久收到长城汽车定点通知后,四维图新(002405)10月10日再发公告,宣布公司于近日收到知名...

2024-10-10

老名酒新成就:老评委走进中国名酒·郎酒,共鉴酱香新辉煌

大消费郎酒

10月9日,“老名酒新成就|老评委走进中国名酒·郎酒”在郎酒庄园举行。

2024-10-10

地方政府生育补贴政策陆续落地,贝瑞基因持续完善生育健康产品布局

创新创业贝瑞基因

9月26日召开的中共中央政治局会议提出,“要支持和规范社会力量发展养老、托育产业,抓紧完善生育支持政...

2024-10-10

云鲸洗地机快速破圈:线上销额市占跻身行业TOP5

大消费云鲸

最近几年,在空、冰、洗、TV等传统类目面临增长挑战时,智能清洁家电品类正保持着逆势增长的态势。

2024-10-10

步长制药:上市八年回购、分红超90亿彰显信心,成立以来纳税近310亿回馈社会

步长制药医疗健康 峰

10月8日,步长制药(603858.SH)发布公告,截至2024年9月30日,公司已通过集中竞价交易...

2024-10-10

九游娱乐携手云达不莱梅俱乐部,共筑全新未来!

创新创业九游娱乐

近日,九游娱乐与德国足球劲旅云达不莱梅足球俱乐部正式达成合作协议,九游娱乐成为云达不莱梅官方区域合作...

2024-10-10

云鲸洗地机市占率跻身行业TOP5,新品S2 Island进一步抢占中高端市场

大消费云鲸智能

最近几年,在空、冰、洗、TV等传统类目面临增长挑战时,智能清洁家电品类正保持着逆势增长的态势。

2024-10-10

重庆皮皮虾科技有限公司旗下品牌‘贰维码’或800万A轮融资

创业创新重庆皮皮虾科技

近日,深圳市冠峰永越投资有限公司(以下简称“冠峰资本”)宣布完成对重庆皮皮虾科技有限公司其旗下品牌贰...

2024-10-10

一汽红旗:为全球可持续发展注入“绿色”动能

新能源一汽红旗

凭借这一案例,在近期举行的首届中欧“企业环境、社会和公司治理(ESG)”最佳案例大会上,红旗获得“环...

2024-10-10

投资家网(www.investorscn.com)是国内领先的资本与产业创新综合服务平台。为活跃于中国市场的VC/PE、上市公司、创业企业、地方政府等提供专业的第三方信息服务,包括行业媒体、智库服务、会议服务及生态服务。长按右侧二维码添加"投资哥"可与小编深入交流,并可加入微信群参与官方活动,赶快行动吧。

沙特天空塔投资设立专项基金带领中国氢能独角兽扎根沙特

2016年注册于北京的中氢新能技术有限公司,下设位于大兴的装备制造公司、位于海淀区的技术研究院、材料...

挑战奔驰的明星车企,突然“翻车”了

一度无比高光的理想汽车,猝不及防遭遇重挫。

深圳天使母基金姚小雄:将来股权投资行业竞争是服务能力的竞争

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

避免卡脖子,硬科技如何“逆境”突围?

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

VC/PE眼中的“专精特新”

2024年1月10日,由投资家网主办,财经锐眼、有时间协办,北京微金科技有限公司承办的“第十二届股权...

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会将盛大启幕

第二届中匈可再生能源、新材料商业投资峰会于2025年4月9日在匈牙利布达佩斯盛大启幕。

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

雕刻耐心|第18届中国投资年会·有限合伙人峰会在沪召开

“中国投资年会”作为私募股权行业的年度盛会,已成功举办了18届,吸引了全国VC/PE领域从业者的广泛...

雕刻耐心|第18届中国投资年会·有限合伙人峰会即将启幕

雕刻耐心|第18届中国投资年会·有限合伙人峰会即将启幕

2024年的一级市场,“耐心”是最高命题,也引发了持续全年的讨论。

不响不辍|第18届中国投资年会·年度峰会在沪召开

不响不辍|第18届中国投资年会·年度峰会在沪召开

5月8-10日,由投中信息、投中网主办的“第18届中国投资年会·年度峰会”在上海外滩W酒店盛大召开。

2024汽车科技创新与成果转化大会在常州成功召开

2024汽车科技创新与成果转化大会在常州成功召开

4月12日,2024汽车科技创新与成果转化大会在常州经开区成功召开。