自己使用或学习chatGPT或prompt的笔记心得。

主要参考来源：

• 《生产力超频：成为 ChatGPT 全域调教高手》

概念

GPT分解

• G generative 生成式
• P pre-trained 预训练
• T transformer 转换器 （GPT的核心机制，也是 GPT 让大部分人惊叹的「理解能力」的核心原理）
  • Transformer 解决的问题，就是 AI 如何快速准确地理解上下文，并且以通用且优雅、简洁的方式。而「注意力机制」就是解决这个问题的关键。

涌现

「涌现」，也就是突然出现，是指大型语言模型（LLM）在达到一定规模后自发表现出一些新的能力，比如零样本学习、上下文学习、多步推理等。这些能力在较小的模型中不出现，而在较大的模型中出现，因此被称为「涌现」。涌现能力反映了 LLM 对自然语言数据中的规律和模式的学习和理解，也为 LLM 领域的发展提供了新的视角和挑战。