ChatGPT背后的主要技术是:
• 基于转置语言模型的大规模机器学习。
ChatGPT使用 transformers(特别是GPT语言模型架构)进行大量训练,学会了从大量文本资料中学到抽象的概念和语法规则。
• 自循环神经网络(RNN)。
ChatGPT使用RNN来建模词之间的序列关系,为下一个字符或单词预测上下文。
• 注意力机制。
ChatGPT采用注意力机制来更好地捕捉输入序列中的关键信息。
• 优化的过滤策略。
ChatGPT采用一系列过滤步骤来避免生成有害或不真实的内容。
• 蒙特·卡罗树搜索。
ChatGPT使用树搜索来生成候选rensponse,然后基于得分选择最终响应。
• 使用大量计算资源。
ChatGPT运行在大量的GPU服务器上,需要大量的训练数据和计算资源。
• 开放域知识图谱。
ChatGPT调用外部知识图谱来查证信息和获得更多背景。
总的来说,ChatGPT主要依赖于大规模机器学习,特别是 transformer模型;它使用RNN等技术来建模上下文;采用过滤和树搜索优化输出;并利用庞大的计算资源和开放域知识图谱。
但其本质上仍是一个统计模型,不是通用的人工智能。