揭秘 profanity-check 训练数据20 万条人工标注样本如何炼成 95% 准确率【免费下载链接】profanity-checkA fast, robust Python library to check for offensive language in strings.项目地址: https://gitcode.com/gh_mirrors/pr/profanity-check脏话检测是内容审核的第一道防线但大多数 Python 库仍停留在黑名单匹配的原始阶段。profanity-check是一款基于机器学习的 Python 脏话检测库它没有一行硬编码的脏话词表却能单条文本 0.2 毫秒内完成判定、测试准确率高达 95%。这份成绩的秘密就藏在大约 20 万条人工标注样本实际 184,354 条的训练数据里。本文将拆解这些数据的来源、结构与分布并剖析它们如何喂出一个又快又准的模型。为什么不用黑名单机器学习方案完胜 传统方案如 profanity、better-profanity 依赖人工维护的脏话词表只要词表漏词就会误判。举个典型例子You cocksucker这句脏话profanity库因为词表里没有cocksucker会判定为干净。profanity-check 则完全不同——它通过 20 万条人工标注样本训练模型让模型自动学习哪些词是脏的、脏到什么程度。词表是死的模型是活的这就是它能脱颖而出的根本原因。20 万条训练数据从哪里来两大公开数据源 训练数据并非凭空制造而是合并了两个权威公开数据集数据源说明Hate Speech and Offensive Language来自 Davidson 等人论文Automated Hate Speech Detection and the Problem of Offensive Language的配套数据Toxic Comment Classification ChallengeKaggle 知名毒性评论分类挑战赛的维基百科评论数据两份数据合并、去重、清洗后沉淀为项目中的 clean_data.csv约 63MB这也是整个模型的地基。训练数据内部结构一行一条人工标注 打开 clean_data.csv结构非常简单每一行是一条文本样本由is_offensive是否冒犯和text文本内容两列组成1代表脏话、0代表干净is_offensive,text 0,Then go to the village pump and suggest they change the language... 1,Dis hoe wasnt dis violent on Lottery Ticket 0,Nonetheless lactose has a hemiacetal group...注意文本字段里可能包含换行所以文件共 58 万余行但实际样本是184,354 条与 README 宣称的约 20 万条基本吻合。想亲手查看数据可以克隆仓库后直接翻阅git clone https://gitcode.com/gh_mirrors/pr/profanity-check80% 干净 20% 脏话数据分布有讲究 ⚖️统计全部标注结果会发现一个精心设计的比例✅ 干净样本147,509 条约 80% 冒犯样本36,845 条约 20%这个分布很关键脏话样本只占两成模型必须学会在大量正常文本中精准找出少数脏话而不是无脑判负。同时约 20% 的正样本占比也保证了模型见过足够多脏话长什么样从而学到词与词之间的细微差别——比如把go to hell, you scum识别为冒犯。从数据到模型三步流水线炼成 95% 准确率 原始文本不会直接喂给模型而是经过 profanity_check.py 背后这条三步流水线词袋向量化用CountVectorizer把每条文本拆成词频向量线性分类用LinearSVC线性支持向量机根据词向量判断是否冒犯概率校准用CalibratedClassifierCV把分类结果转化为 0~1 的置信概率训练完成后词向量器与模型被序列化为两个文件随库分发vectorizer.joblib3.9MB与 model.joblib607KB使用时直接加载、无需重训。模型记住的是每个词在脏话样本中的出现频率等于自动从 20 万条数据中提炼出了一份动态黑名单——比人工词表聪明得多。实测对决95% 准确率碾压同类库 用维基百科毒性评论数据测试profanity-check 的成绩全面领先库准确率平衡准确率精确率召回率F1profanity-check95.0%93.0%86.1%89.6%0.88profanity-filter91.8%83.6%85.4%70.2%0.77profanity85.6%65.1%91.7%30.8%0.46尤其注意召回率profanity只有 30.8%意味着近七成脏话被放行而 profanity-check 的召回率达到 89.6%真正做到了漏得少、判得准。性能怪兽比同类库快 300–4000 倍 ⚡准确率高还不够在批量审核场景下速度就是生命线。同一份基准测试中2018 款 MacBook Pro库1 条预测10 条预测100 条预测profanity-check0.2ms0.5ms3.5msprofanity-filter60ms1200ms13000msprofanity0.3ms1.2ms24ms得益于线性 SVM 的轻量计算profanity-check 比深度学习路线的 profanity-filter快 300~4000 倍同时准确率还更高——鱼与熊掌兼得。两分钟上手安装与快速检测 安装只需一行命令pip install profanity-check使用同样简单核心就两个函数from profanity_check import predict, predict_prob predict([fuck you]) # [1] 表示冒犯 predict([Hello there, how are you]) # [0] 表示干净 predict_prob([go to hell, you scum]) # [0.76] 冒犯概率predict返回 0/1 判定predict_prob返回冒犯概率两者都直接返回 numpy 数组方便接入你的过滤逻辑。配套的 test_profanity_check.py 中还覆盖了大小写混合fUcK u、空文本、超长文本等边界情况可作为使用参考。别把 95% 当 100%模型的边界与正确用法 ⚠️最后必须泼一盆冷水profanity-check 并非完美。由于训练语料中变体拼写出现频率太低它对f4ck you、you b1tch这类数字替换的脏话识别效果不佳。正确姿势是把它当作启发式过滤器Heuristic而非绝对真理。先用它快速筛出高概率冒犯文本再配合人工审核兜底——兼顾速度、准确率与误伤控制。这也是 20 万条标注数据最合理的打开方式。【免费下载链接】profanity-checkA fast, robust Python library to check for offensive language in strings.项目地址: https://gitcode.com/gh_mirrors/pr/profanity-check创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考