|
|
51CTO旗下网站
|
|
移动端

URL 去重的 6 种方案!(附详细代码)

本文介绍了 6 种 URL 去重的方案,其中 Redis Set、Redis 布隆过滤器、数据库和唯一索引这 4 种解决方案适用于分布式系统,如果是海量的分布式系统,建议使用 Redis 布隆过滤器来实现 URL 去重,如果是单机海量数据推荐使用 Guava 的布隆器来实现 URL 去重。

作者: 磊哥 来源: Java中文社群|2020-09-09 08:23

本文转载自微信公众号「Java中文社群」,作者磊哥 。转载本文请联系Java中文社群公众号。 

URL 去重在我们日常工作中和面试中很常遇到,比如这些:

可以看出,包括阿里,网易云、优酷、作业帮等知名互联网公司都出现过类似的面试题,而且和 URL 去重比较类似的,如 IP 黑/白名单判断等也经常出现在我们的工作中,所以我们本文就来“盘一盘”URL 去重的问题。

URL 去重思路

在不考虑业务场景和数据量的情况下,我们可以使用以下方案来实现 URL 的重复判断:

  1. 使用 Java 的 Set 集合,根据添加时的结果来判断 URL 是否重复(添加成功表示 URL 不重复);
  2. 使用 Redis 中的 Set 集合,根据添加时的结果来判断 URL 是否重复;
  3. 将 URL 都存储在数据库中,再通过 SQL 语句判断是否有重复的 URL;
  4. 把数据库中的 URL 一列设置为唯一索引,根据添加时的结果来判断 URL 是否重复;
  5. 使用 Guava 的布隆过滤器来实现 URL 判重;
  6. 使用 Redis 的布隆过滤器来实现 URL 判重。

以上方案的具体实现如下。

URL 去重实现方案

1.使用 Java 的 Set 集合判重

Set 集合天生具备不可重复性,使用它只能存储值不相同的元素,如果值相同添加就会失败,因此我们可以通过添加 Set 集合时的结果来判定 URL 是否重复,实现代码如下:

  1. public class URLRepeat { 
  2.     // 待去重 URL 
  3.     public static final String[] URLS = { 
  4.             "www.apigo.cn"
  5.             "www.baidu.com"
  6.             "www.apigo.cn" 
  7.     }; 
  8.     public static void main(String[] args) { 
  9.         Set<String> set = new HashSet(); 
  10.         for (int i = 0; i < URLS.length; i++) { 
  11.             String url = URLS[i]; 
  12.             boolean result = set.add(url); 
  13.             if (!result) { 
  14.                 // 重复的 URL 
  15.                 System.out.println("URL 已存在了:" + url); 
  16.             } 
  17.         } 
  18.     } 

程序的执行结果为:

URL 已存在了:www.apigo.cn

从上述结果可以看出,使用 Set 集合可以实现 URL 的判重功能。

2.Redis Set 集合去重

使用 Redis 的 Set 集合的实现思路和 Java 中的 Set 集合思想思路是一致的,都是利用 Set 的不可重复性实现的,我们先使用 Redis 的客户端 redis-cli 来实现一下 URL 判重的示例:

从上述结果可以看出,当添加成功时表示 URL 没有重复,但添加失败时(结果为 0)表示此 URL 已经存在了。

我们再用代码的方式来实现一下 Redis 的 Set 去重,实现代码如下:

  1. // 待去重 URL 
  2. public static final String[] URLS = { 
  3.     "www.apigo.cn"
  4.     "www.baidu.com"
  5.     "www.apigo.cn" 
  6. }; 
  7.  
  8. @Autowired 
  9. RedisTemplate redisTemplate; 
  10.  
  11. @RequestMapping("/url"
  12. public void urlRepeat() { 
  13.     for (int i = 0; i < URLS.length; i++) { 
  14.         String url = URLS[i]; 
  15.         Long result = redisTemplate.opsForSet().add("urlrepeat", url); 
  16.         if (result == 0) { 
  17.             // 重复的 URL 
  18.             System.out.println("URL 已存在了:" + url); 
  19.         } 
  20.     } 

以上程序的执行结果为:

URL 已存在了:www.apigo.cn

以上代码中我们借助了 Spring Data 中的 RedisTemplate 实现的,在 Spring Boot 项目中要使用 RedisTemplate 对象我们需要先引入 spring-boot-starter-data-redis 框架,配置信息如下:

  1. <!-- 添加操作 RedisTemplate 引用 --> 
  2. <dependency> 
  3.     <groupId>org.springframework.boot</groupId> 
  4.     <artifactId>spring-boot-starter-data-redis</artifactId> 
  5. </dependency> 

然后需要再项目中配置 Redis 的连接信息,在 application.properties 中配置如下内容:

  1. spring.redis.host=127.0.0.1 
  2. spring.redis.port=6379 
  3. #spring.redis.password=123456 # Redis 服务器密码,有密码的话需要配置此项 

经过以上两个步骤之后,我们就可以在 Spring Boot 的项目中正常的使用RedisTemplate 对象来操作 Redis 了。

3.数据库去重

我们也可以借助数据库实现 URL 的重复判断,首先我们先来设计一张 URL 的存储表,如下图所示:

此表对应的 SQL 如下:

  1. /*==============================================================*/ 
  2. /* Table: urlinfo                                               */ 
  3. /*==============================================================*/ 
  4. create table urlinfo 
  5.    id                   int not null auto_increment, 
  6.    url                  varchar(1000), 
  7.    ctime                date
  8.    del                  boolean, 
  9.    primary key (id) 
  10. ); 
  11.  
  12. /*==============================================================*/ 
  13. /* Index: Index_url                                             */ 
  14. /*==============================================================*/ 
  15. create index Index_url on urlinfo 
  16.    url 
  17. ); 

其中 id 为自增的主键,而 url 字段设置为索引,设置索引可以加快查询的速度。

我们先在数据库中添加两条测试数据,如下图所示:

我们使用 SQL 语句查询,如下图所示:

如果结果大于 0 则表明已经有重复的 URL 了,否则表示没有重复的 URL。

4.唯一索引去重

我们也可以使用数据库的唯一索引来防止 URL 重复,它的实现思路和前面 Set 集合的思想思路非常像。

首先我们先为字段 URL 设置了唯一索引,然后再添加 URL 数据,如果能添加成功则表明 URL 不重复,反之则表示重复。

创建唯一索引的 SQL 实现如下:

  1. create unique index Index_url on urlinfo 
  2.    url 
  3. ); 

5.Guava 布隆过滤器去重

布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。

布隆过滤器的核心实现是一个超大的位数组和几个哈希函数,假设位数组的长度为 m,哈希函数的个数为 k。

以上图为例,具体的操作流程:假设集合里面有 3 个元素 {x, y, z},哈希函数的个数为 3。首先将位数组进行初始化,将里面每个位都设置位 0。对于集合里面的每一个元素,将元素依次通过 3 个哈希函数进行映射,每次映射都会产生一个哈希值,这个值对应位数组上面的一个点,然后将位数组对应的位置标记为 1,查询 W 元素是否存在集合中的时候,同样的方法将 W 通过哈希映射到位数组上的 3 个点。如果 3 个点的其中有一个点不为 1,则可以判断该元素一定不存在集合中。反之,如果 3 个点都为 1,则该元素可能存在集合中。注意:此处不能判断该元素是否一定存在集合中,可能存在一定的误判率。可以从图中可以看到:假设某个元素通过映射对应下标为 4、5、6 这 3 个点。虽然这 3 个点都为 1,但是很明显这 3 个点是不同元素经过哈希得到的位置,因此这种情况说明元素虽然不在集合中,也可能对应的都是 1,这是误判率存在的原因。

我们可以借助 Google 提供的 Guava 框架来操作布隆过滤器,实现我们先在 pom.xml 中添加 Guava 的引用,配置如下:

  1. <!-- 添加 Guava 框架 --> 
  2. <!-- https://mvnrepository.com/artifact/com.google.guava/guava --> 
  3. <dependency> 
  4.     <groupId>com.google.guava</groupId> 
  5.     <artifactId>guava</artifactId> 
  6.     <version>28.2-jre</version> 
  7. </dependency> 

URL 判重的实现代码:

  1. public class URLRepeat { 
  2.     // 待去重 URL 
  3.     public static final String[] URLS = { 
  4.             "www.apigo.cn"
  5.             "www.baidu.com"
  6.             "www.apigo.cn" 
  7.     }; 
  8.  
  9.     public static void main(String[] args) { 
  10.         // 创建一个布隆过滤器 
  11.         BloomFilter<String> filter = BloomFilter.create
  12.                 Funnels.stringFunnel(Charset.defaultCharset()), 
  13.                 10, // 期望处理的元素数量 
  14.                 0.01); // 期望的误报概率 
  15.         for (int i = 0; i < URLS.length; i++) { 
  16.             String url = URLS[i]; 
  17.             if (filter.mightContain(url)) { 
  18.                 // 用重复的 URL 
  19.                 System.out.println("URL 已存在了:" + url); 
  20.             } else { 
  21.                 // 将 URL 存储在布隆过滤器中 
  22.                 filter.put(url); 
  23.             } 
  24.         } 
  25.     } 

以上程序的执行结果为:

URL 已存在了:www.apigo.cn

6.Redis 布隆过滤器去重

除了 Guava 的布隆过滤器,我们还可以使用 Redis 的布隆过滤器来实现 URL 判重。在使用之前,我们先要确保 Redis 服务器版本大于 4.0(此版本以上才支持布隆过滤器),并且开启了 Redis 布隆过滤器功能才能正常使用。

以 Docker 为例,我们来演示一下 Redis 布隆过滤器安装和开启,首先下载 Redis 的布隆过器,然后再在重启 Redis 服务时开启布隆过滤器,如下图所示:

布隆过滤器使用布隆过滤器正常开启之后,我们先用 Redis 的客户端 redis-cli 来实现一下布隆过滤器 URL 判重了,实现命令如下:

在 Redis 中,布隆过滤器的操作命令不多,主要包含以下几个:

  • bf.add 添加元素;
  • bf.exists 判断某个元素是否存在;
  • bf.madd 添加多个元素;
  • bf.mexists 判断多个元素是否存在;
  • bf.reserve 设置布隆过滤器的准确率。

接下来我们使用代码来演示一下 Redis 布隆过滤器的使用:

  1. import redis.clients.jedis.Jedis; 
  2. import utils.JedisUtils; 
  3.  
  4. import java.util.Arrays; 
  5.  
  6. public class BloomExample { 
  7.     // 布隆过滤器 key 
  8.     private static final String _KEY = "URLREPEAT_KEY"
  9.      
  10.     // 待去重 URL 
  11.     public static final String[] URLS = { 
  12.             "www.apigo.cn"
  13.             "www.baidu.com"
  14.             "www.apigo.cn" 
  15.     }; 
  16.  
  17.     public static void main(String[] args) { 
  18.         Jedis jedis = JedisUtils.getJedis(); 
  19.          for (int i = 0; i < URLS.length; i++) { 
  20.             String url = URLS[i]; 
  21.             boolean exists = bfExists(jedis, _KEY, url); 
  22.             if (exists) { 
  23.                 // 重复的 URL 
  24.                 System.out.println("URL 已存在了:" + url); 
  25.             } else { 
  26.                 bfAdd(jedis, _KEY, url); 
  27.             } 
  28.         } 
  29.     } 
  30.  
  31.     /** 
  32.      * 添加元素 
  33.      * @param jedis Redis 客户端 
  34.      * @param key   key 
  35.      * @param value value 
  36.      * @return boolean 
  37.      */ 
  38.     public static boolean bfAdd(Jedis jedis, String key, String value) { 
  39.         String luaStr = "return redis.call('bf.add', KEYS[1], KEYS[2])"
  40.         Object result = jedis.eval(luaStr, Arrays.asList(key, value), 
  41.                 Arrays.asList()); 
  42.         if (result.equals(1L)) { 
  43.             return true
  44.         } 
  45.         return false
  46.     } 
  47.  
  48.     /** 
  49.      * 查询元素是否存在 
  50.      * @param jedis Redis 客户端 
  51.      * @param key   key 
  52.      * @param value value 
  53.      * @return boolean 
  54.      */ 
  55.     public static boolean bfExists(Jedis jedis, String key, String value) { 
  56.         String luaStr = "return redis.call('bf.exists', KEYS[1], KEYS[2])"
  57.         Object result = jedis.eval(luaStr, Arrays.asList(key, value), 
  58.                 Arrays.asList()); 
  59.         if (result.equals(1L)) { 
  60.             return true
  61.         } 
  62.         return false
  63.     } 

以上程序的执行结果为:

URL 已存在了:www.apigo.cn

总结

本文介绍了 6 种 URL 去重的方案,其中 Redis Set、Redis 布隆过滤器、数据库和唯一索引这 4 种解决方案适用于分布式系统,如果是海量的分布式系统,建议使用 Redis 布隆过滤器来实现 URL 去重,如果是单机海量数据推荐使用 Guava 的布隆器来实现 URL 去重。

【编辑推荐】

  1. 开源数据库SQLite、MySQL和PostgreSQL比较
  2. Gartner首次发布全球云计算IaaS和PaaS魔力象限:腾讯云入选
  3. Nali:一个离线查询IP地理信息和CDN提供商的终端利器
  4. 这些 ECMAScript 模块知识,都是我需要知道的
  5. TypeScript 从零到一,2020 开发必备
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

160人订阅学习

搭建数据中心实验Lab

搭建数据中心实验Lab

实验平台Datacenter
共5章 | ITGO(老曾)

102人订阅学习

大数据安全运维实战

大数据安全运维实战

CDH+Ambari
共20章 | 大数据陈浩

91人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微