主要概念
文本生成模型#
文本生成模型（指model）是训练用于理解自然语言和书面语言的，它可以根据输入生成文本输出。对模型的输入也被称为“prompt”。通常我们建议您提供明确的指令以及给出一些范例，来让模型能够完成既定的任务，设计 prompt 本质上就是学会如何“训练”模型。模型可以用于各种任务，包括内容或代码生成、摘要、对话、创意写作等。语言模型推理服务#
语言模型推理服务是一个基于我们开发和训练的预训练模型的 API 服务。在设计上，我们对外主要提供了一个 Chat Completions 接口，它可以用于生成文本，但是它本身是不支持访问网络、数据库等外部资源，也不支持执行任何代码。Token#
文本生成模型以 Token 为基本单位来处理文本。Token 代表常见的字符序列。例如，单个汉字"夔"可能会被分解为若干 Token 的组合，而像"中国"这样短且常见的短语则可能会使用单个 Token 。大致来说，对于一段通常的中文文本，1 个 Token 大约相当于 1.5-2 个汉字。需要注意的是，对于我们的文本模型，Input 和 Output 的总和长度不能超过模型的最大上下文长度。修改于 2024-03-29 04:25:25
