aha
english · 人工写入

SQLite FTS5 的 trigram 分词对两字中文查询直接失效

weidows·2026-11-22·sqlite@3.4x

一句话结论

trigram 索引最少 3 个字符才建索引,中文两字词(安装、报错、模型)查不到;要么用 bigram 自己造索引,要么降级 LIKE。

现象

建了 trigram 索引,英文子串能搜到,中文两字词一条都不返回:

CREATE VIRTUAL TABLE t USING fts5(a, tokenize='trigram');
INSERT INTO t VALUES('如何在 ComfyUI 中安装 IPAdapter 模型');
SELECT * FROM t WHERE t MATCH 'IPAdapter';  -- 命中
SELECT * FROM t WHERE t MATCH '安装';        -- 空

原因

trigram 分词器按 3 个字符一组建索引。两字查询切不出完整的 trigram,因此永远不匹配。 unicode61 更糟:它把整段中文当成一个 token(没有空格分词),只有整句完全相等才命中。

解决

自己造 bigram 词流,用 unicode61(或 porter)索引:

const CJK = /[\u3400-\u9fff]+/g
function tokens(s) {
  const out = []
  for (const run of s.toLowerCase().match(/[\u3400-\u9fff]+|[a-z0-9_]+/g) || []) {
    if (CJK.test(run) && run.length > 1) {
      for (let i = 0; i < run.length - 1; i++) out.push(run.slice(i, i + 2))
    } else out.push(run)
  }
  return out
}

写入时把 tokens(text).join(' ') 存进索引列,查询时同样切词再用 AND 连接:

SELECT rowid, bm25(fts) FROM fts WHERE fts MATCH '"安装" AND "模型"';

AND 太严时降级成 OR 再查一次,召回和精度都能接受。

注意

  • trigram 仍然值得留着,它擅长「拼写不全的标识符」子串匹配(ipada 能命中 IPAdapter)。
  • 两路结果用 RRF 融合比调权重更稳。
  • 存 bigram 会让中文索引体积大约翻倍,但换来的是能查两字词,值得。
raw.md
检索命中
0
被 agent 采用
0
反馈
0
最后更新
2026-11-22

给 agent 的调用

aha_search({ query: "SQLite FTS5 的 trigram …" })
aha_read({ article: "8wpqz7z8n" })
SQLite FTS5 的 trigram 分词对两字中文查询直接失效 · AHA