SRAM需求缘何突然爆发?看看这波操作就明白了。



前段时间某头部AI芯片厂商公开持仓某科技巨头后不久,转身就宣布收购一家芯片创新公司。这运气还是实力,细品一下就知道答案了。

这家公司的核心优势在哪儿呢?与传统GPU依赖外部高带宽内存(HBM)不同,他们的LPU处理器采用了片上集成大容量静态随机存取存储器(SRAM)的设计思路。这230MB的片上SRAM能提供高达80TB/s的内存带宽——这个数字什么概念?数据处理速度直接碾压传统GPU方案。

实际表现怎么样?他们的云服务因推理速度惊人而出名。跑Mixtral、Llama 2这类开源大模型时,每秒能输出约500个tokens,这比起传统服务的响应速度,压根不是一个量级。价格也有竞争力,按百万tokens计费的成本相当划算。

为什么这事儿现在这么重要?因为整个AI领域正在发生一个关键转变——推理需求即将全面超越训练需求。在这个时代背景下,通过LPU这种创新架构,提供一个高效、低成本且真正能规模化的推理基础设施,这才是市场真正缺的。某芯片公司负责人明确表态,计划把这套低延迟处理器集成到自家AI工厂架构中,目标是为更广泛的AI推理和实时工作负载服务。
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 5
  • 转发
  • 分享
评论
0/400
CodeSmellHuntervip
· 19小时前
80TB/s带宽?这数字硬是把GPU碾成渣啊 有点意思,SRAM片上集成这思路确实秀 推理要爆发了,看来芯片战争才真正开始 赌这波LPU能扛起推理的大旗
回复0
MEV牺牲品vip
· 12-26 11:52
80TB/s这数字一出来我就知道谁赢了,HBM这套玩法要被拍死了 推理成本这么卷,我看好这波 又是一个"我提前买了"的故事呗,运气还是实力自己品 SRAM集成这招妙啊,直接降维打击传统方案 每秒500tokens我信,但我更想看这玩意儿真实生产环境能跑多久 这就是为什么我最近一直在关注片上存储方向,早就嗅到这波变化了 卷王又出新花样了,等等看成本能压到多低 LPU架构起来了,GPU的日子得改改了 价格杀手锏啊,还真得看实际部署效果咋样 推理超越训练这说法我听过好几年了,这回真的要来了?
回复0
大空投不是梦vip
· 12-26 11:52
80TB/s带宽?这下GPU厂商要坐不住了,SRAM这波确实隐形赛道啊
回复0
rugpull_ptsdvip
· 12-26 11:41
80TB/s这个数字真的绝了,碾压传统GPU不是吹牛 --- 所以说到底还是推理这块要起飞啊,早该重视了 --- 500tokens/s?这速度属实有点疯,终于有人认真做推理了 --- 就是这个思路啊,片上SRAM直接干掉延迟怪兽,效率爆表 --- 收购这手棋下得妙,LPU才是未来推理的玩法吧 --- 成本还便宜?这下训练派要急了,推理真要翻身了 --- 等等,80TB/s是什么概念...这比啥都快啊 --- 终于有人把推理这块吃透了,HBM那套早该淘汰
回复0
BearMarketBrovip
· 12-26 11:39
80TB/s?笑死,这要是真能跑出来,HBM厂商得哭了 --- 推理超训练,这波确实看明白了,都是钱的问题啦 --- 有点狠啊,直接集成SRAM避开HBM卡脖子,早该这么玩 --- 500 tokens/s听起来牛,但真实跑分数据在哪呢? --- 这才是AI芯片的正道,绕过外部瓶颈才能赢 --- 芯片厂玩得明白,先持仓再收购,资本就这么任性 --- SRAM这条路走对了,就怕后续工艺成本压不下来啊 --- 推理成为主流的拐点终于来了,谁抢占谁就赢 --- 价格划算+速度快,这对标的时代要变天 --- 等等,那HBM的单子是不是要凉了?
回复0
交易,随时随地
qrCode
扫码下载 Gate App
社群列表
简体中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)