scrapy如何爬取iframe

1、判断URL指向网站的域名，

3、那么可以将其丢弃

5、然后查询新提取的URL在数据库中是否存在，

6、如果存在的话，当然就无需再去爬取了。

7、希望我的经验对你有所帮助