ChatGPT发展分析报告( 30 页)

---

目 录

1、 ChatGPT：AIGC 现象级应用，商业化落地打开成长空间 ....... 4

2、 大模型+大数据+高算力，ChatGPT 不断突破 .... 6

2.1、 预训练大模型：GPT 大模型多次迭代，训练结果持续优化 ..... 6

2.2、 数据：数据量提升显著优化大模型表现 .... 10

2.3、 算力：微软是独家云计算供应商，预计每月成本近千万美元 .... 12

3、 技术、产业、政策共振，AIGC 迎加速发展 .... 13

4、 巨头积极布局，产业落地加速 ...... 16

4.1、 微软：产品全线整合ChatGPT，想象空间广阔 .... 16

4.2、 谷歌：推出对标产品Bard，或将与微软正面竞争 ....... 18

4.3、 百度：AI 领域全栈布局，文心一言生态持续扩大 ...... 21

4.4、 国内其他巨头也纷纷布局，产业落地加速 .... 27

5、 投资建议 ...... 29

6、 风险提示 ...... 30

图表目录

图1： ChatGPT 是OpenAI 于2022 年11 月30 日发布的通用型对话系统 ....... 4

图2： 大型语言模型在多项测试中已经超过人类 .... 5

图3： GhatGPT 日活用户超过1000 万人 ..... 5

图4： ChatGPT 已推出收费的Plus 版本 ...... 6

图5： ChatGPT 是以Transformer 为基础的预训练模型 ...... 6

图6： GPT 大模型多次迭代，参数量大幅提升 ....... 7

图7： GPT-3 系列已经发展出50 多种模型 ...... 7

图8： ChatGPT 训练包括三个步骤 ....... 8

图9： ChatGPT 通过RLHF 优化训练结果 ....... 8

图10： InstructGPT 相比GPT-3 更符合人类偏好 .... 9

图11： InstructGPT 较GPT-3 毒性降低 .... 9

图12： ChatGPT 的信息相比InstructGPT 更加有效 .... 9

图13： ChatGPT 在无害性方面也有所提升 ..... 9

图14： Common Crawl 数据规模达PB 级 ...... 10

图15： Common Crawl 英文数据占比约45%..... 10

图16： GPT-3 预训练数据量大幅提升.... 11

图17： ChatGPT 预训练数据仅更新至2021 年 ..... 11

图18： ChatGPT 每次聊天成本约为几美分 ....... 12

图19： AI 技术持续突破创新，引领AIGC 产业发展 ....... 13

图20： 预训练模型通过大数据和巨量参数的训练，生成质量显著提升 .... 13

图21： 预训练大模型从单模态向多模态的发展 .... 14

图22： AIGC 产业生态持续完善 ..... 14

图23： 微软与OpenAI 持续深度合作..... 16

图24： 微软ChatGPT 版Bing，可以自动抓取关键内容并生成回答 ...... 17

图25： 2022 年12 月Google、Bing 在搜索领域的市场份额分别为84.08%、8.95% .... 17

图26： 2018 年谷歌推出自然语言预训练模型BERT .... 18

图27： 谷歌已将预训练模型用于改善搜索.... 18

图28： 2023 年2 月，谷歌推出对标ChatGPT 的对话机器人Bard ..... 19

图29： Bard 基于谷歌LaMDA 模型，表现已接近人类水平 ....... 19

图30： 未来谷歌AI 技术将率先应用于搜索业务 ..... 20

图31： 昆仑芯2 单卡算力达128TFLOPS ...... 21

图32： 第三代昆仑芯3 将采用4nm 制程 ...... 21

图33： 百度飞桨是国内规模第一的深度学习框架和赋能平台 .... 21

图34： 百度在大模型领域积累深厚 ....... 22

图35： 百度已发布4 个基础通用大模型以及11 个行业大模型 ...... 22

图36： 文心ERNIE 大模型已在百度百余个产品中应用 ...... 23

图37： 百度推出AI 作画产品“文心一格” ...... 23

图38： 百度推出产业级搜索系统“文心百中” .... 23

图39： 百度即将推出对标ChatGPT 的AI 聊天机器人“文心一言” .... 24

图40： ERNIE 具备业界领先的复杂知识推理能力 ....... 24

图41： 百度ERNIE 3.0 可节省50%训练时间 ....... 25

图42： ERNIE 3.0 基于“鹏城云脑II”高性能集群训练 ...... 25

图43： 京东宣布推出产业版“ChatJD” .... 27

图44： 阿里多模态大模型M6 参数规模达10 万亿 ...... 28

图45： 科大讯飞已开源了6 大类、超过40 个通用领域的中文预训练语言模型 ...... 28

表1： ChatGPT 数据主要来自Common Crawl、新闻、帖子、书籍及各种网页 ....... 10

表2： GPT-3 预训练数据量大幅提升...... 11

表3： “文心一言”生态圈持续扩大 ...... 25