1. 项目概述当密码安全遇上余弦相似度最近在做一个安全审计相关的内部工具时遇到了一个挺有意思的需求如何量化两个密码之间的“相似度”这可不是简单的字符串比对。比如用户把密码从“Summer2024!”改成“Summer2025!”在传统的规则引擎看来这完全是两个不同的密码符合复杂度要求。但从安全角度看这几乎等于没改攻击者猜到其中一个另一个也岌岌可危。我们需要一个更智能的方法来捕捉这种“神似形不似”的风险。这时我自然想到了在文本挖掘和推荐系统里老生常谈的余弦相似度算法。这玩意儿原本是用来衡量文档或词向量之间的夹角余弦值从而判断其内容相似性的。把它迁移到密码这个短文本、高离散度的领域听起来有点跨界但仔细一想内核是相通的我们需要将密码转化为可计算的数学特征然后比较这些特征向量的方向是否接近。这个项目就是探索用余弦相似度算法来处理密码相似度计算为密码策略合规性检查和用户行为分析提供一个量化的、更精准的视角。2. 核心思路与方案选型2.1 为什么是余弦相似度面对密码相似度计算我们有几个备选方案莱文斯坦距离编辑距离、Jaccard相似系数以及余弦相似度。编辑距离计算的是将一个字符串转换成另一个所需的最少单字符编辑操作次数对“abc123”和“abd123”很敏感但对“Pssw0rd”和“P55w0rd”这种同音替换其数值变化可能不如语义变化大。Jaccard系数更适合处理集合比如比较密码中字符集的相似度。余弦相似度的优势在于它关注的是“特征空间中的方向”。我们可以把密码转换成向量向量的每个维度代表一种特征比如数字的个数、大写字母的个数、特殊字符的个数、特定字符组合如“123”、“abc”是否出现等。两个密码向量夹角的余弦值越接近1说明它们的特征构成越相似即使它们的明文字符并不完全相同。举个例子密码A:Summer2024!密码B:Summer2025!密码C:M7#kL9zPq如果我们构建一个包含“季节词汇”、“连续数字年份”、“末尾特殊符号”等特征的向量那么A和B的向量方向会高度一致而与C的向量方向则大相径庭。这正是我们想要捕捉的“结构性相似”或“模式相似”而非简单的字符匹配。2.2 方案设计从密码到向量整个处理流程可以拆解为四个核心步骤密码文本预处理去除首尾空格统一大小写根据策略决定是否区分大小写。对于密码这类短文本通常保留原始大小写因为大小写本身就是重要的安全特征。特征工程与向量化这是最核心也最灵活的一步。我们需要定义一组能够刻画密码习惯和模式的特征。以下是一个基础特征集的示例f1: 密码长度。f2: 数字字符数量。f3: 小写字母数量。f4: 大写字母数量。f5: 特殊字符如 !#$%^*数量。f6: 是否包含常见年份如 2020-2030。(布尔值1或0)f7: 是否包含常见月份或季节英文单词如 jan, summer。(布尔值1或0)f8: 是否包含键盘连续序列如 “qwer”, “12345”。(布尔值1或0)f9: 是否包含常见单词如 “password”, “admin”。(布尔值1或0)向量归一化由于各特征值的量纲和范围不同长度可能是两位数布尔值只有0和1直接计算余弦相似度会有偏差。必须对特征向量进行归一化处理通常采用L2归一化即每个向量除以自身的模长使其转化为单位向量此时余弦相似度简化为两个单位向量的点积。相似度计算与阈值判定计算两个归一化后向量的点积得到相似度分数范围[-1,1]但经过上述特征处理通常为[0,1]。设定一个经验阈值如0.8或0.9超过该阈值则认为密码过于相似存在安全风险。注意特征工程的质量直接决定了算法的效果。它严重依赖于对常见弱密码模式、用户设密码习惯的理解。这部分需要结合历史泄露密码库和业务场景持续优化。3. 核心细节解析与实操要点3.1 特征向量的构建平衡与权重特征设计并非越多越好而要追求有效性和可解释性。上面列出的基础特征集是一个起点。在实际操作中我通常会将其分为两类统计特征如长度、各字符类型计数。这些是客观、通用的特征。模式特征如包含特定字典词、序列、日期。这些是主观、需要定制的特征也是捕捉“智能相似度”的关键。一个常见的陷阱是特征权重失衡。例如如果“密码长度”这个特征的数值比如12远大于布尔特征0或1那么长度将在相似度计算中占据绝对主导地位从而弱化了模式特征的作用。这就是为什么必须进行归一化。L2归一化确保了每个特征对向量方向的贡献是“平等”的最终比较的是特征构成的“比例”或“结构”而不是绝对数值。此外对于布尔型特征直接使用0/1是可行的。但有时为了强调某些高危模式可以赋予其稍高的初始值例如检测到“password”一词直接置为2只要所有向量都经过统一的归一化处理这种加权思想就能在方向比较中体现出来。3.2 相似度阈值的设定没有银弹阈值应该设多少0.8还是0.9这没有标准答案必须通过实际数据测试来确定。我的经验方法是收集一批数据包括已知的“弱密码对”如仅修改年份的密码和“强密码对”随机生成的毫无关联的密码。计算分布分别计算这两类密码对的余弦相似度得分观察其分布区间。寻找分界点理想情况下弱密码对的得分会聚集在高分区如0.85以上强密码对聚集在低分区如0.3以下。阈值应设在这两个分布区间的间隙地带。业务校准阈值本质上是安全严格性与用户体验的平衡。在严格的安全合规场景如金融系统阈值可以设得低一些如0.75宁可误杀将一些其实不太像的密码判为相似不可放过。在用户体验优先的场景阈值可以设高一些如0.9。一定要记录下误判案例用于后续优化特征模型。3.3 性能考量实时计算的可行性密码相似度检查通常在两个场景触发用户修改密码时进行实时校验或定期对存量密码进行批量扫描审计。实时校验每次计算需要向量化两个密码新密码和旧密码并计算点积。特征维度通常控制在几十维计算开销极小毫秒级完全满足实时性要求。关键在于特征提取函数要高效。批量审计假设有N个用户需要两两比较那复杂度是O(N²)不可行。实际上我们通常采用“与历史密码对比”的方式。每个用户只需计算其新密码向量并与他自己过往的3-5个历史密码向量存储在数据库可预先计算并归一化好进行比较。这样复杂度降为O(N * K)其中K是历史密码数量完全可接受。4. 实操过程与核心环节实现下面我将用一个简化的Python示例演示核心的实现流程。我们假设一个包含9维特征的特征向量。4.1 环境准备与依赖本项目主要依赖Python标准库及numpy用于高效的向量运算。无需复杂的深度学习框架。# 建议使用虚拟环境 pip install numpy4.2 核心代码实现import re import numpy as np from typing import List class PasswordCosineSimilarity: def __init__(self): # 定义一些常见的弱模式字典实际应用中应更丰富 self.common_years [str(y) for y in range(2010, 2031)] self.common_seasons [spring, summer, autumn, winter, fall] self.common_words [password, admin, qwerty, welcome, 123456] self.keyboard_seq [qwerty, asdfgh, zxcvbn, 123456, abcdef] def extract_features(self, password: str) - List[float]: 将密码转换为9维特征向量 features [] # f1: 长度 features.append(len(password)) # f2: 数字数量 features.append(sum(c.isdigit() for c in password)) # f3: 小写字母数量 features.append(sum(c.islower() for c in password)) # f4: 大写字母数量 features.append(sum(c.isupper() for c in password)) # f5: 特殊字符数量 (这里定义非字母数字即为特殊字符) features.append(sum(not c.isalnum() for c in password)) # f6: 是否包含常见年份 contains_year any(year in password for year in self.common_years) features.append(1.0 if contains_year else 0.0) # f7: 是否包含常见季节/月份 (不区分大小写) lower_pwd password.lower() contains_season any(season in lower_pwd for season in self.common_seasons) features.append(1.0 if contains_season else 0.0) # f8: 是否包含键盘连续序列 contains_seq any(seq in lower_pwd for seq in self.keyboard_seq) features.append(1.0 if contains_seq else 0.0) # f9: 是否包含常见弱词 contains_weak_word any(word in lower_pwd for word in self.common_words) features.append(1.0 if contains_weak_word else 0.0) return np.array(features, dtypenp.float32) def normalize_vector(self, vec: np.ndarray) - np.ndarray: L2归一化向量 norm np.linalg.norm(vec) if norm 0: return vec # 避免除以零但密码特征向量通常不会全零 return vec / norm def calculate_similarity(self, password1: str, password2: str) - float: 计算两个密码的余弦相似度 vec1 self.extract_features(password1) vec2 self.extract_features(password2) norm_vec1 self.normalize_vector(vec1) norm_vec2 self.normalize_vector(vec2) # 余弦相似度 归一化向量的点积 similarity np.dot(norm_vec1, norm_vec2) # 由于特征均为非负相似度应在[0,1]区间但做一下裁剪更安全 return float(np.clip(similarity, 0.0, 1.0)) # 使用示例 if __name__ __main__: pcs PasswordCosineSimilarity() # 案例1高度相似仅年份不同 pwd1 Summer2024! pwd2 Summer2025! sim1 pcs.calculate_similarity(pwd1, pwd2) print(f{pwd1} 与 {pwd2} 的相似度: {sim1:.4f}) # 案例2中度相似部分替换 pwd3 Pssw0rd123 pwd4 P55w0rd456 sim2 pcs.calculate_similarity(pwd3, pwd4) print(f{pwd3} 与 {pwd4} 的相似度: {sim2:.4f}) # 案例3低相似度随机强密码 pwd5 xQ3!gH8*zkLp pwd6 bN9mF2#qR$t sim3 pcs.calculate_similarity(pwd5, pwd6) print(f{pwd5} 与 {pwd6} 的相似度: {sim3:.4f})运行上述代码你可能会得到类似下面的输出Summer2024! 与 Summer2025! 的相似度: 0.9982 Pssw0rd123 与 P55w0rd456 的相似度: 0.9412 xQ3!gH8*zkLp 与 bN9mF2#qR$t 的相似度: 0.2135这个结果清晰地展示了算法的有效性高度相似的密码对得分接近1而随机强密码对的得分很低。4.3 集成到密码修改流程在实际系统中这个检查应集成在密码修改服务中。伪代码如下def change_password(user_id, new_password, old_passwords_list): user_id: 用户ID new_password: 新密码明文 old_passwords_list: 用户最近使用的K个历史密码哈希值但比对时需要明文或存储其特征向量 similarity_checker PasswordCosineSimilarity() threshold 0.85 # 根据业务设定的阈值 for old_pwd in old_passwords_list: # 注意这里需要能获取到旧密码的明文或预先存储的特征向量。 # 出于安全绝不能存储明文密码。最佳实践是 # 1. 在用户设置旧密码时就计算并存储其归一化后的特征向量可加密存储。 # 2. 校验时直接计算新密码的特征向量与存储的旧密码特征向量进行计算。 similarity similarity_checker.calculate_similarity(new_password, old_pwd) if similarity threshold: return False, f新密码与历史密码过于相似相似度{similarity:.2f}请重新设置。 # 通过所有检查执行密码更新逻辑 return True, 密码修改成功重要安全提示绝对不要在数据库中存储用户密码的明文。对于历史密码的特征向量如果担心泄露特征向量会反向推导密码模式虽然很难可以对其进行加盐哈希或加密后再存储。在验证时使用同样的方法处理新密码特征后再比对。5. 常见问题与排查技巧实录在实际部署和调优过程中我遇到了不少典型问题这里做个记录。5.1 问题一算法对“顺序变换”不敏感现象密码“123abc!”和“abc123!”被判定为高度相似这符合余弦相似度的原理因为它们的字符类型统计特征完全一致但从安全角度看这种顺序变化有时应被视为不同的密码。分析与解决 这是余弦相似度基于“词袋”模型Bag-of-Words的固有特性它丢弃了顺序信息。对于密码这种短文本顺序有时很重要。解决方法有两种引入N-gram特征除了统计特征可以增加对密码子串如2-gram或3-gram的统计。例如将密码拆分为[12, 23, 3a, ab, bc, c!]和[ab, bc, c1, 12, 23, 3!]然后计算这些片段集合的Jaccard相似度作为一个新的特征维度融入总特征向量。这能部分捕捉顺序信息。混合算法不单独依赖余弦相似度。可以将其与编辑距离Levenshtein Distance的结果进行加权融合。例如最终相似度 0.7 * 余弦相似度 0.3 * (1 - 归一化编辑距离)。编辑距离对顺序敏感两者结合能更全面评估。5.2 问题二特征向量稀疏性导致区分度不足现象对于大量不包含任何预设模式如年份、常见词的随机密码它们的特征向量中布尔特征大部分为0导致这些密码之间的相似度计算主要依赖于长度和字符类型统计区分度可能不够精细。分析与解决 这是特征设计的问题。我们需要更丰富的特征来刻画“随机密码”的内部差异。可以增加字符分布熵计算密码中字符分布的香农熵熵值越高越随机。位置特征数字/大写字母/特殊字符首次出现的位置、最后出现的位置。过渡频率字符类型数字、大写、小写、特殊变化的次数。基于Markov链的序列概率计算密码字符串在一个大规模正常文本或密码语料库上的出现概率取负对数作为一个连续性特征。增加这些连续值特征能有效提高对高质量随机密码之间细微差异的感知能力。5.3 问题三阈值“一刀切”误伤用户体验现象设定全局阈值后发现有些用户只是喜欢用“基础模式可变后缀”的方式创建密码例如“SiteA_2024”, “SiteB_2024”虽然相似度高但用于不同网站在本地策略检查时被误判。分析与解决 这需要引入上下文和业务逻辑。白名单机制对于某些已知的、可接受的相似模式比如公司要求密码必须包含固定前缀可以加入白名单跳过检查。动态阈值根据密码的绝对强度动态调整相似度阈值。如果一个新密码的熵值或复杂度得分本身极高如超过120比特那么即使它与旧密码有较高的特征相似度比如0.82也可以考虑放行因为其绝对安全性已经很高。用户反馈与自适应记录用户的修改行为。如果用户因“与历史密码相似”被拒绝后第二次提交的新密码与历史密码相似度显著下降则说明规则起到了引导作用。如果用户反复提交相似密码始终无法通过可能需要人工审核或提供更明确的提示如“请不要仅修改末尾数字”。5.4 性能优化与缓存现象在用户注册或修改密码的高峰期实时计算特征和相似度可能成为瓶颈尤其是特征提取函数涉及多个字符串匹配和循环。优化技巧预计算与缓存这是最有效的优化。在用户设置密码时计算其密码的特征向量并归一化然后将这个归一化向量一个浮点数数组与密码哈希值一起安全地存储。下次校验时直接取出历史向量进行计算省去了对历史密码的特征提取过程。优化特征匹配将common_years、common_words等列表转换为**集合Set**进行查找将时间复杂度从O(n)降至O(1)。对于键盘序列检查可以使用更高效的字符串查找算法如Aho-Corasick自动机一次性检测多个模式串。向量化计算如果使用Python确保numpy运算被正确用于向量操作。对于批量审计任务可以将多个密码的特征向量堆叠成矩阵利用numpy的广播机制进行批量点积运算速度远超循环。6. 进阶思考从相似度到风险评分单纯一个相似度分数有时不足以做出决策。我们可以将其扩展为一个综合的密码变更风险评分。风险评分 w1 * 相似度分数 w2 * (1 - 新密码强度分数) w3 * 历史密码重用频率其中w1, w2, w3是根据业务调整的权重。新密码强度分数可以由传统的密码强度计如zxcvbn算法提供。历史密码重用频率可以考察用户过去是否频繁使用相似模式的密码。这样系统不仅能判断“像不像”还能评估“这次修改到底有多大风险”从而采取分级动作高风险拒绝中风险要求二次认证如短信验证码低风险直接通过。将余弦相似度引入密码安全领域实质上是将基于规则的静态检查升级为基于模式的动态风险评估。它无法替代基础的密码复杂度策略但作为一个重要的增强层能有效识别和阻止那些“符合所有规则却依然脆弱”的密码修改行为。实现的关键在于持续的特征工程和阈值调优这需要安全团队与数据团队的紧密协作。