大语言模型发展对终端设备需求分析( 23 页)

    2023-06-01

大语言模型发展对终端设备需求分析( 23 页)


目录

百亿参数大模型具备涌现能力,训练数据需等比例提升...... 5

大模型的参数下限:AI2.0 时代,基础大模型参数指数级增长.... 5

大模型的参数上限:参数的增加需要同等量级的训练集增加...... 6

大模型训练对硬件的挑战:算力、内存和通信...... 8

终端部署具有必要性,轻量化技术优化模型....... 11

超低时延的智慧场景,终端部署具有必要性....... 11

缩减优化模型,部署终端设备....... 12

“贾维斯”式智能管家,引领全新换机需求....... 16

大语言模型有望成为复杂AI 系统的控制中心和交互入口.... 16

当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型....... 19

风险提示..... 23

图表目录

图1: AI2.0 时代的特征是通过超级海量数据无需标注训练一个大模型.....5

图2: 过去五年LLM 模型参数快速增长.... 6

图3: 参数量的指数提升线性提高模型性能.... 6

图4: 当模型的参数量大于一定程度时模型效果会突然提升...... 6

图5: 小模型的性能也随着规模扩大而逐步提高.... 6

图6: 2022 年最大的五个transfomer 模型条件.....7

图7: 各模型位于LM 损失等高线图上的位置....... 7

图8: LaMDA 模型训练数据来源.......7

图9: 静态内存.... 8

图10: 动态内存....... 8

图11: 模型大小与设备内存的增长示意图..... 9

图12: 算力计算公式...... 10

图13: 近年推出的大预言模型有效算力比率...... 10

图14: 边缘计算的应用场景.... 11

图15: 云计算与边缘计算的区别.... 11

图16: 云计算与边缘计算...... 11

图17: 边缘AI 的数据传输..... 12

图18: 量化可以降低功耗和占用面积.... 13

图19: NVIDIA Turing GPU 体系结构中各种数据类型相对的张量运算吞吐量和带宽减少倍数.... 13

图20: 优化AI 完全在终端侧高效运行Stable Diffusion ....... 13

图21: 骁龙8 Gen2 旗舰芯片组15 秒出图.... 13

图22: 知识蒸馏基本框架...... 14

图23: 单独训练子模型反哺主模型...... 14

图24: 联邦学习的升级版FedCG ..... 14

图25: 两种经典剪枝方法...... 15

图26: 剪枝算法流程...... 15

图27: 钢铁侠和Jarvis .... 16

图28: 微软亚洲研究院的Jarvis 项目....... 16

图29: Hugging Face AI 模型写作系统四个步骤....... 17

图30: Plugin 插件界面.... 17

图31: PaLM2 的从小到大的四种版本..... 18

图32: PaLM2 在部分测试中体现出了优异性....... 18

图33: ChatGPT App 欢迎界面....... 18

图34: 微软bing chat 应用.... 18

图35: 2019 年美国语音助理市场份额.... 19

图36: 全球智能音箱市场下滑...... 19

图37: 语音交互过程示意图.... 19

图38: Siri 信号流示意图...... 20

图39: 双通检测(AOP 唤醒主CPU) ..... 20

图40: 苹果A11 芯片开始搭载NPU ....... 20

图41: 全球手机分处理器频率销量占比...... 21

图42: 全球手机分价格段销量占比...... 21

图43: AIGC 支撑AI 多模交互....... 21

图44: 鸟鸟和类ChatGPT 模型分身对话...... 21

图45: 全球AR/VR 出货量预测...... 22

图46: 全球智能家居啊出货量预测...... 22

表1: GPT 参数和训练集规模快速增长.....8

表2: 大语言模型的计算.... 9

表3: 大预言模型算力测算..... 10


[报告关键词]:   ChatGPT    AIGC  
合作共赢,共创未来

需要行业分析相关资料和报告?

每年为数千个企事业和个人提供专业化服务;量身定制你需要的行业分析的资料和报告

相信我们!企业客户遍及全球,提供政府部门、生产制造企业、物流企业、快消品行业专业化咨询服务;个人客户可以提供各类经济管理资料、商业计划、PPT、MBA/EMBA论文指导等。

点此填写您的需求

15+年的经验,值得信赖

可以QQ联系我们:896161733;也可以电话:18121118831

**涉及个人信息严格保密,敬请放心

商务服务

可以微信或者电话联系:18121118831

商业计划书

商务文档撰写

提供商业计划书、投资计划书咨询、撰写和指导

点击查看详细

可行性研究报告

商务咨询业务

服务企业、政府和投资者,提供各个产业可行性研究报告撰写和咨询服务

点击查看详细

物流产业园区规划

商务咨询业务

为企业提供物流园区规划咨询,包括市场调研、可行性、总体战略和运营规划等等

点击查看详细

PPT设计制作

商务PPT制作

商业计划书是一份全方位的项目计划,它从企业内部的人员、制度、管理以及企业的产品、营销、市场等各个方面对即将展开的商业项目进行可行性分析(包含论文PPT)。

点击查看详细