去重检测、搜索匹配、文本聚类预处理
这个Python文本相似度计算工具实现了余弦相似度和Jaccard相似度两种算法，支持中文文本的自动分词与停用词过滤。核心功能包括基于词频向量的余弦相似度计算，以及可配置n-gram参数的Jaccard相似度，无需安装第三方依赖即可运行——jieba分词为可选优化，缺失时自动降级为字符级切分。该工具适用于文档去重检测、搜索匹配召回、文本聚类预处理等NLP场景，特别适合资源受限环境或需要快速原型验证的Python项目，零依赖特性让代码可移植性更强。
cosine_similarity(a,b) / is_duplicate(a,b) / find_duplicates(list)
jieba（可选）