LLM 节点
我们相信,像 通义千问 这样的大型语言模型(LLM)将改变软件的使用方式和我们的工作方式。有了 BetterYeah AI,使用 LLM 变得非常简单。 与 LLM 的通信是通过自然语言和书面形式进行的。用于向 LLM 提供信息和指令的文本称为 "提示(Prompt)"。 每次使用 LLM 时,您都需要:写好提示和选择合适的模型。
如何使用 LLM 节点
- 点击两个节点间连线中的
+
号按钮; - 选择 LLM 节点;
- 选择要使用的模型,并写下您的提示。
Prompt提示
提示语是一种书面文字,其中包括您要提供给语言模型的信息以及指令和期望。提示必须清晰明确,是完成需求的关键。
有关提示语工程的说明和最佳实践,可以参阅提示工程指南。
Prompt文本框中访问其它变量
使用 {{}}
语法,提示输入既可接受常规文本,也可接受变量模板。例如,获取start节点的content值,可以使用 {{start.content}}
将其包含在提示符中。
你也可以在文本框中的左侧直接选择要使用的变量。
LLM 配置项
Model
我们不仅提供 通义千问 的支持,还提供国内其他大模型的接入如:智普和百度千帆大模型等等。
名称 | 模型 | 提供商 |
---|---|---|
阿里通义千问系列模型 | qwen-v1 | 阿里 |
阿里通义千问系列模型 | qwen-plus-v1 | 阿里 |
百度千帆大模型 | ERNIE-Bot-turbo | 百度 |
百度千帆大模型 | AquilaChat-7B | 百度 |
百度千帆大模型 | ChatGLM2-6B-32K | 百度 |
百度千帆大模型 | Qianfan-Chinese-Llama-2-7B | 百度 |
百度千帆大模型 | Llama-2-70b-chat | 百度 |
百度千帆大模型 | Llama-2-7b-chat | 百度 |
百度千帆大模型 | BLOOMZ-7B | 百度 |
百度千帆大模型 | ERNIE-Bot | 百度 |
智谱 ChatGLM 系列模型 | chatglm_std | 智谱 |
智谱 ChatGLM 系列模型 | chatglm_pro | 智谱 |
智谱 ChatGLM 系列模型 | chatglm_lite | 智谱 |
智谱 ChatGLM 系列模型 | chatglm_lite_32k | 智谱 |
讯飞星火认知大模型 | general | 讯飞 |
讯飞星火认知大模型 | generalv2 | 讯飞 |
创造性(temperature)
值较大时,模型输出的概率分布更平均,呈现更多样性;较小时,模型更倾向于选择概率高的选项,输出结果更稳定。
流式输出(stream)
开启后,AI会以字符为单位分批返回数据,关闭后AI会在生成完整结果后一次返回,在LLM节点为最后一个时可开启。
System
系统提示:定义人工智能的角色、目标和行为,以及具体任务或规则。可以用于指导对话的整体流程、提供背景知识或设置上下文。
Chat
- USER: 用户提示:为模型提供输入或对话,以获得所需的输出结果
- ASST(Assistant):Assistant是模型本身,通过与System和User用户的交互,提供适当的回复和响应。Assistant可以接受用户的问题、指示、需求,并努力提供有用的答案、执行特定任务或提供相关信息,以满足用户的需求。