logoBetterYeah AI 帮助文档

On this page

LLM 节点

我们相信,像 通义千问 这样的大型语言模型(LLM)将改变软件的使用方式和我们的工作方式。有了 BetterYeah AI,使用 LLM 变得非常简单。 与 LLM 的通信是通过自然语言和书面形式进行的。用于向 LLM 提供信息和指令的文本称为 "提示(Prompt)"。 每次使用 LLM 时,您都需要:写好提示和选择合适的模型。

如何使用 LLM 节点

  • 点击两个节点间连线中的+号按钮;
  • 选择 LLM 节点;
  • 选择要使用的模型,并写下您的提示。

image-20230920171941134

image-20230920172719166

Prompt提示

提示语是一种书面文字,其中包括您要提供给语言模型的信息以及指令和期望。提示必须清晰明确,是完成需求的关键。

有关提示语工程的说明和最佳实践,可以参阅提示工程指南

Prompt文本框中访问其它变量

使用 {{}} 语法,提示输入既可接受常规文本,也可接受变量模板。例如,获取start节点的content值,可以使用 {{start.content}} 将其包含在提示符中。

你也可以在文本框中的左侧直接选择要使用的变量。

使用变量

LLM 配置项

Model

我们不仅提供 通义千问 的支持,还提供国内其他大模型的接入如:智普和百度千帆大模型等等。

名称模型提供商
阿里通义千问系列模型qwen-v1阿里
阿里通义千问系列模型qwen-plus-v1阿里
百度千帆大模型ERNIE-Bot-turbo百度
百度千帆大模型AquilaChat-7B百度
百度千帆大模型ChatGLM2-6B-32K百度
百度千帆大模型Qianfan-Chinese-Llama-2-7B百度
百度千帆大模型Llama-2-70b-chat百度
百度千帆大模型Llama-2-7b-chat百度
百度千帆大模型BLOOMZ-7B百度
百度千帆大模型ERNIE-Bot百度
智谱 ChatGLM 系列模型chatglm_std智谱
智谱 ChatGLM 系列模型chatglm_pro智谱
智谱 ChatGLM 系列模型chatglm_lite智谱
智谱 ChatGLM 系列模型chatglm_lite_32k智谱
讯飞星火认知大模型general讯飞
讯飞星火认知大模型generalv2讯飞

创造性(temperature)

值较大时,模型输出的概率分布更平均,呈现更多样性;较小时,模型更倾向于选择概率高的选项,输出结果更稳定。

流式输出(stream)

开启后,AI会以字符为单位分批返回数据,关闭后AI会在生成完整结果后一次返回,在LLM节点为最后一个时可开启。

System

系统提示:定义人工智能的角色、目标和行为,以及具体任务或规则。可以用于指导对话的整体流程、提供背景知识或设置上下文。

Chat

  • USER: 用户提示:为模型提供输入或对话,以获得所需的输出结果
  • ASST(Assistant):Assistant是模型本身,通过与System和User用户的交互,提供适当的回复和响应。Assistant可以接受用户的问题、指示、需求,并努力提供有用的答案、执行特定任务或提供相关信息,以满足用户的需求。
Start 节点Memory 节点
Copyright © 2024 | Powered by BetterYeah AI