上周芯片新赛www.abg22.com。一家本土芯片公司低调公布了新一代AIGC芯片，号称正在Stable Diffusion推理任务上，单卡出图速度比上一代汲引2.3倍了，功耗却降了18%。
那不是孤例。过去半年，至少有五家厂商拿出了针对生成式AI的公用芯片计划，AIGC芯片转背的合做重心正从锻炼端背推理端迁移。我拿到一份某互联网公司的内部测试数据，正在70亿参数年夜模子上，用某款国产AIGC芯片跑推理了，每秒处理token数抵达竞品的1.7倍。内存带宽占用逾越跨越三成。工程师私自埋怨了，推理软件栈适配花了两个月，算子库缺了十几个吧？
芯片自己不差。可要让它跑顺的，还得靠人肉挖坑。那流露了AIGC芯片落地的实正在门槛是硬件参数都俗，生态短板要命。市场风背变了疆场。
去年各人还正在比谁家的AIGC芯片锻炼算力强啊？今年客户问的第一句酿成了“每瓦能出几图”吧？一家云厂商采购负责人告诉我，他们今年AIGC芯片招标中了，能效比权重20%提还有了45%。
英伟达H100仍然抢手。很多推理场景起头混用国产计划的比成。某短视频平台用自研AIGC芯片做视频生成。单条本钱0.8元压到0.3元，靠的就是把模子量化还有INT8，再砍掉冗余算子了。
应战仍然耀眼。AIGC芯片普遍依赖HBM，但HBM供给宽峻，价格半年涨了四成。
更省事的是软件。某草创公司CTO吐槽。他们试了三款AIGC芯片。每换一款都要重写推理框架了。迁移本钱够买几十张卡吧？年夜厂能养团队自己调，中小公司只能等“开箱即用”的成熟计划。接下来一年的。
AIGC芯片不会缺故事。
实正能跑出来的，一定是算力最高的那颗，闪开发人员少熬夜的那颗。究竟了局，生成式AI的疆场曾经实验室卷还有了消费线，芯片止不止，得看它能不能正在机房里波动跑上三个月。
