(资料图)

1、scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始。

2、那么我拿到数据不是在set里面，我把他存入redis，mysql，mongo，在取数据的时候，pop一下不就可以实现断点续传了。

本文分享完毕，希望对大家有所帮助。