求推荐中小型项目敏感词检测 Python 案例

[demonps]

目前使用 re 去做，样本越来越大，效率逐渐降低很多

[Mohanson]

一般用字典树

[ila]

如果是你负责，建议用 bat 的 API 。

[momo1999]

Trie Tree

[demonps]

re + trie tree 因为要记录命中的敏感词，需要分组捕获。目前一个场景 build 出来的 pattern 大概有 300w 长，匹配一次感觉快要 1s ，用 bat 的 api 加上请求时间都比本地快好几倍。。。

[demonps]

@Mohanson 是的，我是正则字典树去搞的，但是词库太大，有点担忧

[demonps]

@ila 也有在用，本地做第一层拦截

[fengjianxinghun]

hyperscan

[documentzhangx66]

1.目前主流的做法是，先分词，然后再去匹配敏感词列表。优点是性能高，速度快。缺点是匹配覆盖率低。

2.但如果要保证匹配覆盖率，运算量必然超大，因为不能分词后再去匹配，而是反过来要用词库来匹配现有内容。可优化的就只有在匹配过程中对字典树进行剪枝了。

[ipwx]

https://zhuanlan.zhihu.com/p/146369212

AC 自动机？

[LeegoYih]

我之前写了个 AC 自动机用来匹配和过滤关键词，现在生产环境大概有 1 亿个关键词，性能非常好。
不过只有 Go 和 Java 版本，看看能不能帮到你，代码实现很简单，照着直接“翻译”成 Python 应该没啥问题。

Go： https://github.com/yihleego/trie
Java： https://github.com/yihleego/trie4j

[demonps]

@LeegoYih 感谢感谢，我去看看

[acehowxx]

在意性能可以用布隆过滤器

[demonps]

@fengjianxinghun 这个感觉有点子臃肿，好多依赖🤣

[demonps]

@documentzhangx66 分词这个方向目前还没考虑到，居家办公比较闲，研究研究

[demonps]

@ipwx 测试过 ahocorasick 这个库，感觉差不是太多

[documentzhangx66]

@demonps 不用研究，Python 有现成的，叫 结巴分词。

[raycool]

这应该就是 AC 状态自动机干的事吧

[t2jk4000]

楼主可以看看这个 https://github.com/G-Research/ahocorasick_rs

[TimePPT]

flashtext

[paopjian]

https://github.com/intel/hyperscan
https://www.colm.net/open-source/ragel/
好像是 v2 以前有个帖子,当时特别震撼

[paopjian]

这个帖子 https://www.v2ex.com/t/828016

[fengjianxinghun]

@demonps 这个就是性能最好的，比什么 AC 字典树都快，安全防火墙都用这个代替以前 AC 了

[demonps]

@fengjianxinghun 🙏我去研究下这个

[demonps]

@documentzhangx66 o..o

[demonps]

@paopjian 都推 hyperscan ，我去测试下😂

[gitgabige]

哎, 作孽啊

[demonps]

@gitgabige [叹气]