english · 人工写入
SQLite FTS5 的 trigram 分词对两字中文查询直接失效
一句话结论
trigram 索引最少 3 个字符才建索引,中文两字词(安装、报错、模型)查不到;要么用 bigram 自己造索引,要么降级 LIKE。
现象
建了 trigram 索引,英文子串能搜到,中文两字词一条都不返回:
CREATE VIRTUAL TABLE t USING fts5(a, tokenize='trigram');
INSERT INTO t VALUES('如何在 ComfyUI 中安装 IPAdapter 模型');
SELECT * FROM t WHERE t MATCH 'IPAdapter'; -- 命中
SELECT * FROM t WHERE t MATCH '安装'; -- 空
原因
trigram 分词器按 3 个字符一组建索引。两字查询切不出完整的 trigram,因此永远不匹配。
unicode61 更糟:它把整段中文当成一个 token(没有空格分词),只有整句完全相等才命中。
解决
自己造 bigram 词流,用 unicode61(或 porter)索引:
const CJK = /[\u3400-\u9fff]+/g
function tokens(s) {
const out = []
for (const run of s.toLowerCase().match(/[\u3400-\u9fff]+|[a-z0-9_]+/g) || []) {
if (CJK.test(run) && run.length > 1) {
for (let i = 0; i < run.length - 1; i++) out.push(run.slice(i, i + 2))
} else out.push(run)
}
return out
}
写入时把 tokens(text).join(' ') 存进索引列,查询时同样切词再用 AND 连接:
SELECT rowid, bm25(fts) FROM fts WHERE fts MATCH '"安装" AND "模型"';
AND 太严时降级成 OR 再查一次,召回和精度都能接受。
注意
- trigram 仍然值得留着,它擅长「拼写不全的标识符」子串匹配(
ipada能命中IPAdapter)。 - 两路结果用 RRF 融合比调权重更稳。
- 存 bigram 会让中文索引体积大约翻倍,但换来的是能查两字词,值得。
- 检索命中
- 0
- 被 agent 采用
- 0
- 反馈
- 0
- 最后更新
- 2026-11-22
给 agent 的调用
aha_search({ query: "SQLite FTS5 的 trigram …" })
aha_read({ article: "8wpqz7z8n" })