财中社 冯静涵 2024-12-17 14:16 1.8w阅读
财通证券发布计算机行业报告称,2024年12月18-19日,字节火山引擎将于上海举行冬季原动...
12月17日,财通证券发布计算机行业报告称,2024年12月18-19日,字节火山引擎将于上海举行冬季原动力大会,大会主题围绕AI展开。根据官网信息,大会中将有豆包系列大模型全面升级,以及事关AI+企业服务、AI+产业转型等AI赋能实体经济案例与话题分享。豆包大模型家族涵盖全模态能力,DAU稳坐国内AI应用第一。视频生成模型仍处于测试阶段,随着Open AISora正式商用,字节豆包视频类大模型有望在近期大会中发布并开启商用。
推理算力需求露出“冰山一角”,AI原生应用、视频生成应用、AI改造传统应用,带来国内推理需求从百万卡向千万卡迈进。基于Open AI的论文,推理算力需求与模型参数量、处理token数、活跃用户量的乘积大约成正比关系。当前国内大模型APP推理算力需求或在数十万颗GPU级别。而在实际产业中,真正海量的活跃用户仍暂时在传统应用中,这部分用户量庞大,推理算力需求更为广阔。
假设未来20%短视频由AI生成的前提下,仅考虑短视频且清晰度较低的情况,芯片需求为百万颗级别,未来AI生成高清长视频渗透率提升,将带来推理算力需求的飞跃。总体,国内推理需求正在从百万卡向千万卡迈进。