Skip to content

知识库自定义分隔符分块问题 #5954

@ThisIsQingYun

Description

@ThisIsQingYun

例行检查

  • [ x] 我已确认目前没有类似 issue
  • [ x] 我已完整查看过项目 README,以及项目文档
  • [ x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x ] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • 公有云版本
  • [x ] 私有部署版本, 具体版本号: 4.14.1

问题描述, 日志截图,配置文件等
在知识库中,对文本数据集进行处理时,我选择的处理方式是分块存储并自定义分隔符(两个换行符),这个选项不能自定义分块长度。发现这个方式是强制以1000字符分割的,导致分割后的内容碎片化严重。

我希望能够添加自定义分块长度,而不是强制1000字符分块

相关截图

Image Image

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't working

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions