SimHash算法可计算文本间的相似度，实现文本去重。文本相似度的计算，可以使用向量空间模型，即先对文本分词，提取特征。

在项目中，有时客户需要判定两个文本的差异比较，求出差异的内容。二进制串A 和 二进制串B 的海明距离 就是 A xor B 后二进制中1的个数。

大数据下的去重一般指的都是模糊去重，通常来讲不是真的去比较两个文件或者段文本，而是通过一些简单方式模糊粗略的比较；一般来讲如果两个文件或者文本完全相同，那么比较结果一定是相等的，但比较结果相等有极小概率两个文件不相等；下面介绍两种常用的算法SimHash 和 布隆过滤器SimHa