转换器 LLM 能够进行无监督的演习，但更精确的阐明是转换器可以实行自主学习。通过此过程，转换器可学会理解基本的语法、措辞和知识。
与早期按顺序处理输入的循环神经网络（RNN）不同，转换器并行处理全体序列。这可让数据科学家利用 GPU 演习基于转换器的 LLM，从而大幅度缩短演习韶光。
借助转换器神经网络架构，您可利用非常大规模的模型，个中常日具有数千亿个参数。这种大规模模型可以摄取常日来自互联网的大量数据，但也可以从包含 500 多亿个网页的 Common Crawl 和拥有约 5700 万个页面的 Wikipedia 等来源摄取数据。
发展进程 根据维基百科上的信息，自然措辞处理（NLP）的历史与大型措辞模型的发展紧密干系。以下是一些关键的历史时候： （1）早期探索： 机器翻译的历史可以追溯到17世纪，哲学家如莱布尼茨和笛卡尔提出了关于措辞之间单词关系的编码提案。1950年，艾伦·图灵揭橥了著名的文章《打算机器与智能》，提出了现在称为图灵测试的智能标准。 （2）NLP系统的早期成功： 1960年代，涌现了一些显著的NLP系统，如SHRDLU，这是一个在限定性“块天下”中事情的自然措辞系统。 1970年，William A. Woods引入了增强过渡网络（ATN），用于表示自然措辞输入。 （3）机器学习的引入： 1980年代末，NLP领域发生了革命，引入了用于措辞处理的机器学习算法。 这一期间，研究逐渐聚焦于统计模型，这些模型基于输入数据的特色授予实值权重，做出软性、概任性的决策。 （4）最近的研究趋势： 最近的研究越来越多地聚焦于无监督和半监督学习算法，这些算法能够从未经手动标注的数据中学习。 （5）国际平台发展 Google的BERT（2018年）： BERT（Bidirectional Encoder Representations from Transformers）是谷歌推出的模型，采取了Transformer架构，特殊在理解措辞高下文方面取得了打破。 OpenAI的GPT系列（2018年起）： GPT（Generative Pre-trained Transformer）系列，从GPT到GPT-3，逐步提升了模型的规模和能力，特殊是GPT-3以其巨大的参数规模和广泛的运用能力而有名。 GitHub Copilot（2021年）： GitHub Copilot是由GitHub和OpenAI共同开拓的AI编程助手，基于OpenAI的Codex模型，专门针对编程措辞进行了演习。它能够根据注释自动天生代码片段，支持多种编程措辞。 Anthropic的Claude： Claude是由Anthropic开拓的一种大型措辞模型，这个模型在设计时特殊看重安全性和可阐明性，旨在创建一个更可靠、更符合伦理的AI。 （6）中国平台发展 百度的ERNIE系列： ERNIE（Enhanced Representation through Knowledge Integration）是百度推出的一系列模型，特殊在中文NLP任务中表现出色。 文心一言（百度）： 文心一言是百度开拓的谈天机器人，能够与人互动、回答问题及协作创作，被视为ChatGPT的中国竞争对手。 通译千问（科大讯飞）： 通译千问是科大讯飞推出的大型措辞模型，专注于机器翻译和跨措辞理解，供应高质量的翻译做事。 天工开物（华为）： 天工开物是华为推出的大型预演习措辞模型，旨在提高机器理解和天生自然措辞的能力。 讯飞星火（科大讯飞）： 讯飞星火是科大讯飞推出的另一个主要的措辞模型，紧张用于语音识别和语音合成，强化了讯飞在语音技能领域的领先地位。 运行逻辑 LLMs是通过深度学习演习出来的神经网络模型，能够实行各种措辞任务，如文本天生、翻译、择要、问答等。 （1）模型核心 大部分LLMs基于一个叫做“Transformer”的神经网络架构。Transformer架构根据Encoder编码得到的高下文语义，再通过Decoder多轮把稳力解码实现措辞理解与天生。 （2）演习过程 预演习: 在海量文本数据上进行无监督预演习，学习文本的统计规律和措辞表示。预演习可提高模型对措辞的理解能力。 微调: 针对特界说务（如翻译、择要等）进一步演习，利用少量标注数据对预演习模型进行微调，使其在特定领域表现更优。 （3）事情事理 输入: 用户输入一段文本，如问题或提示。处理: 模型通过自把稳力机制处理输入文本，理解高下文和语义。输出: 模型天生相应，这可能是答案、续写的文本或其他干系信息。 LLMs有很多实际运用。 （1）文本天生 LLM能够根据用户给出的提示词，天生自然措辞，例如文案、小说、脚本、问卷等一系列书面内容。用户给出的提示越详细，天生的内容质量也越高。 （2）知识库回答 该技能常日称为知识密集型自然措辞处理（KI-NLP），是指可以根据数字存档中的信息帮助回答特定问题的 LLM。 （3）搜索 LLM比较传统的搜索引擎，可以更深入地理解措辞并找到干系的结果。它不仅支持用户输入关键词，还支持是非句以及详细明确的问题。 （4）机器翻译 LLM可以自动从源措辞文本数据中提取出关键词、短语等特色，从而更好地理解句子的语义和构造，提高机器翻译的准确性和流畅性。 （5）代码天生 LLM 善于根据自然措辞提示天生代码，例如 JavaScript、Python、PHP、Java 和 C# 等编程措辞的代码。 （6）文本分类 利用集群， LLM可以对含义或感情相似的文本进行分类。用场包括衡量客户感情、确定文本之间的关系和文档搜索。 特殊解释：本文仅供学习互换，如有欠妥欢迎后台联系 - END - 原创来源：北外CAT课程展示-张恩桐、罗邵雯-2023 推文编辑：张恩桐、罗邵雯
