知识库搜索返回不相关的结果：分块策略、嵌入模型和 Top-K/Score 阈值的联合调优

简介

尽管 Dify 的知识库确实有文档，但用户的问题却得到了不相关的答案——这是企业部署中最常报告的问题之一。许多团队尝试先修复提示，但根本原因往往在提示之前的搜索层。

本文重点介绍了 Dify 知识库搜索的三个要素：Top-K、Score Threshold 和 Rerank 模型，并讲解了包括分块策略和嵌入模型选择在内的综合调优方法。

症状

如果您看到以下行为，则可能需要调整搜索图层。

原因分析

了解搜索管道的整体结构

Dify 的知识库搜索不是由单个参数控制的。假设您了解以下多层结构。

flowchart TD
    A[ユーザーの質問] --> B[クエリ前処理]
    B --> C{検索モード選択}
    C -->|ベクトル検索| D[Embedding → ANN検索]
    C -->|全文検索| E[キーワードマッチング]
    C -->|ハイブリッド検索| F[ベクトル + 全文 並列]
    D --> G[候補チャンク群 Top-N]
    E --> G
    F --> G
    G --> H{Rerank有効?}
    H -->|Yes| I[Rerank モデルで再スコアリング]
    H -->|No| J[スコア順でそのまま返却]
    I --> K[Top-K + Score Threshold でフィルタ]
    K --> L[LLM に渡すコンテキスト]
    J --> L

第 1 层：分块问题

搜索精度的基础在于块的质量。无论您如何调整搜索参数，块本身是否损坏都没有关系。

常见故障模式：

• 块大小太大（超过 2000 个标记）：多个主题混合在一个块中，嵌入向量变得不明确。
• 块大小太小（少于 100 个标记）：上下文丢失，导致块本身没有意义
• 无重叠：重要信息在段落边界处被精确切断
• 依赖自动分割：由于 PDF 和 HTML 标签中的换行符，剪切发生在语义上不自然的位置。

推荐的块设置：

第二层：嵌入模型选择

嵌入模型负责将块映射到向量空间。对于日语内容，模型选择与搜索准确性直接相关。

日本兼容嵌入模型比较：

注意：如果更改嵌入模型，现有知识库将需要重新索引。模型更改不会自动更新现有块的向量。

第三层：选择搜索模式

Dify 在高质量索引模式下支持以下搜索方式：

• 矢量搜索：基于语义相似性的搜索。擅长口语和歧义问题
• 全文搜索：关键字匹配。准确的字符串搜索能力很强，例如型号和错误代码
• 混合搜索：将矢量搜索和全文搜索结合使用，并将它们与 Rerank 集成

# ナレッジベース検索設定の例
retrieval_mode: hybrid        # hybrid / vector / fulltext
top_k: 5                      # 最終的にLLMに渡すチャンク数
score_threshold: 0.5          # この値未満のチャンクは除外
reranking_model:
  provider: cohere
  model: rerank-multilingual-v3.0

第四层：Top-K、分数阈值、Rerank 的配合

这是最容易被误解的一点。正如 Dify 官方文档和 GitHub 讨论 (#3171) 中清楚解释的那样：

**如果启用了重新排序模型，则 Top-K 和分数阈值将应用于重新排序后过滤。 **

换句话说，这些参数的行为会有所不同，具体取决于是否启用或禁用重新排序。

禁用重新排名时：

ベクトル検索 → Top-K 件取得 → Score Threshold で足切り → LLM へ

启用重新排名时：

ベクトル検索 → 初期候補 N 件取得 → Rerank で再スコアリング →
Top-K 件に絞り込み → Score Threshold で足切り → LLM へ

如果不理解这种差异，参数调整将无法按预期进行。

典型的错误配置模式和诊断

模式 1：Top-K 太小（Top-K = 1~2）

問題：ユーザーの表現とドキュメントの表現にギャップがある場合、
      正解チャンクが候補に入らずに漏れる
対策：Top-K を 5〜8 に拡大し、Rerank で絞り込む

模式 2：分数阈值太高（0.8 或更高）

問題：「該当する情報が見つかりません」が頻発する
      実際にはスコア 0.6〜0.7 の有用なチャンクが存在している
対策：閾値を 0.3〜0.5 に下げてから徐々に調整

模式 3：增加 Top-K 而不重新排序

問題：類似度スコアの低いノイズチャンクが大量に LLM に渡される
      コンテキストウィンドウが無関係な情報で埋まる
対策：Top-K を大きくするなら必ず Rerank を有効にする

模式 4：无需重新排名的混合搜索

問題：ベクトル検索と全文検索の結果がスコア体系の異なるまま混在
      統合的なランキングができず、結果の質が不安定
対策：ハイブリッド検索には Rerank を必ず併用する

解决方案

第 1 步：检查块的质量

首先，在 Dify 的知识库管理屏幕上直观地检查实际的块内容。

确认点：

• 一个块是否对应一个主题？
• 重要信息是否被切断？
• 是否有任何不必要的文本，例如页眉和页脚？

如果出现问题，请更改块设置并重新索引。

第 2 步：设置搜索模式和重新排名

推荐配置：

步骤 3：选择 Rerank 模型

# Cohere Rerank（多言語対応、日本語精度高）
reranking_model:
  provider: cohere
  model: rerank-multilingual-v3.0

# Jina Rerank（軽量、コスト低）
reranking_model:
  provider: jina
  model: jina-reranker-v2-base-multilingual

第四步：逐步调整参数

推荐的调整步骤：

1. 将 Top-K 设置为较大的值（8 到 10）并确保有足够的候选者。
2. 将分数阈值设置为较低水平 (0.3)，以确保切割不会太粗糙。
3. 启用重新排名以查看重新评分后最佳结果的质量
4. 逐渐减少Top-K (5-6)
5. 逐渐提高分数阈值 (0.4-0.5)
6. 用真实的用户问题进行测试，检查准确性和噪音之间的平衡

步骤 5：检查工作流程节点中的搜索设置

工作流中的知识搜索节点允许您独立于知识库本身的设置来覆盖参数。如果这些双重设置不一致，就会导致意外行为。

# Workflow ナレッジ検索ノードの設定例
knowledge_retrieval:
  dataset_ids:
    - "dataset_abc123"
  retrieval_mode: "multiple"    # single / multiple
  top_k: 5
  score_threshold: 0.5
  reranking:
    enabled: true
    model: "rerank-multilingual-v3.0"

注意事项

1.知识库设计指南

• 坚持1个知识库=1个领域的原则。避免在一个知识库中混合来自不同领域的文档
• 在上传文档之前执行预处理以删除不必要的页眉、页脚和目录页面
• 定期对块质量进行采样并检查分割的有效性。

2. 嵌入模型选择清单

• 是否支持目标内容的主要语言？
• 日语技术术语和专有名词可以正确矢量化吗？
• 输入令牌的最大数量是否足以满足块大小？
• 成本和准确性之间的平衡是否符合运营要求？

3.搜索质量监控

建立一个系统来持续监控搜索结果的质量。

# 検索品質テストスクリプトの例
test_queries = [
    {"query": "有給休暇の申請方法は？", "expected_doc": "就業規則_休暇.pdf"},
    {"query": "VPN接続がタイムアウトする", "expected_doc": "IT_FAQ_ネットワーク.pdf"},
    {"query": "経費精算の締め日はいつ？", "expected_doc": "経理マニュアル.pdf"},
]

for test in test_queries:
    results = dify_api.knowledge_retrieval(
        query=test["query"],
        dataset_id="your_dataset_id",
        top_k=5
    )
    # 期待するドキュメントが上位に含まれているか確認
    hit = any(test["expected_doc"] in r["document_name"] for r in results)
    print(f"Query: {test['query']} -> {'PASS' if hit else 'FAIL'}")

4. 运行期间故障排除清单

• 知识库的块粒度是否合适？ （检查是否太粗或太细）
• 完整的上下文是否由于块划分而断开？
• Embedding 模型是否适合目标语言？
• [ ]多个知识库之间是否存在相似内容重复的情况？
• 工作流节点的搜索设置与主知识库的设置是否不一致？
• 是否启用了重新排序模型（尤其是在混合搜索期间）？
• 分数阈值是否过于严格并排除有效结果？

总结

当搜索结果不合适时，首先要检查的不是“模型为什么出错”，而是“系统搜索了什么以及发现了什么”。 Dify 的知识库搜索是一个分块 → 嵌入 → 搜索模式 → Rerank → Top-K/Score Threshold 的多层流程，仅调整一层并不能产生足够的效果。

特别重要的是，当与 Rerank 关联时，Top-K 和 Score Threshold 的行为会发生变化。了解此规范并从检查块质量开始逐步调整，是实现稳定搜索精度的最短路径。

参考资料

-インデックス方法と検索設定を指定 | Dify Docs -Re-ranking | Dify Legacy Docs -Integrate Knowledge Base within Application | Dify Legacy Docs -GitHub Discussion #3171: Top-K and threshold usage in rerank stage