【课程简介】
本课程介绍了chatGPT相关模型的具体案例实践,通过实操更好的掌握chatGPT的概念与应用场景,可以作为chatGPT领域学习者的入门到进阶级课程。
详细提纲可威信了解详情amliy007
【课程时长】
1天(6小时/天)
【课程对象】
理工科本科及以上,且至少了解一门编程语言。
【课程大纲】
时间
内容
Day1上午
Transformer
1、你需要的仅仅是“注意力”
2、Transformer中的block
3、自注意力机制
4、多头注意力
5、位置编码(抛弃RNN)
6、Batch Norm与Layer Norm
7、解码器的构造
初代GPT
* “独角兽”的威力
* GPT的内部架构
* 基于Transformer的改造
* 自注意力机制的改进
Day1下午
GPT的演进
1、GPT2
2、GPT3
3、InstructGPT
chatGPT的原理实践
1、指示学习(Instruct Learning)
2、相关数据集
3、有监督微调(SFT)
4、从人类反馈中RL的思路
5、奖励建模(RM)
6、PPO
7、chatGPT的应用领域
8、chatGPT引发的讨论
chatGPT的国内替代品
1、问东风AI
2、其他替代品