Skip to content

多模态知识上传

当需要做跨模态搜索时(比如图搜文、图搜图、文搜图等等),请将知识内容上传到多模态知识库: image

多模态知识上传

目前暂时仅支持图片知识上传(支持jpg、jpeg、png、bmp、tiff等常用图片格式),其他类型的知识会陆续迭代 image 可以选择不同的解析方式,从图片中解析出详细的图片描述或图片中的文本信息,用于在搜索时提高检索的准确度。

1.1、AI解析

AI解析会使用多模态模型理解图片,解析出图片的详细信息,在检索时辅助检索模型提高检索准确率 image

1.2、OCR解析

OCR解析会解析出图片中所有的文字,在检索时辅助检索模型提高检索准确率,一般适用于有结构化数据或者主要是表达文本信息的图片 image

内容管理

上传完多模态知识后,可以在知识库中对不同类型的多模态知识进行增、删、改的操作 image 因目前仅支持图片,以图片为例,点击某个具体的图片知识后,可以编辑此图片的说明、关键词,用来提高检索准确率 image

知识检索

可以使用图片、文本或者图片+文本的形式进行搜索,多模态知识库支持文搜图、图搜图及混合搜图多种方式进行图片知识检索 image