网站首页 美食营养 游戏数码 手工爱好 生活家居 健康养生 运动户外 职场理财 情感交际 母婴教育 时尚美容

Scrapy基础使用实例

时间:2024-10-24 22:44:10

1、root用户使用XShell连上CentOS7机器,已经新建了scrapy工程,tree命令显示当前目录结构。tree

Scrapy基础使用实例

3、在coderSpider.py中编写代码如下:#!/usr/bin/python#罕铞泱殳coding:utf8足毂忍珩import scrapyclass coderSpider(scrapy.Spider): name = 'coder' #爬虫名 allowed_domains = ['http://www.coder1024.site/'] #允许的域名 start_urls = ['http://www.coder1024.site'] # 开始爬地址 def parse(self,response): with open('coder.html','w') as f: f.write(response.body)

Scrapy基础使用实例

5、运行命令scrapy crawl coder

Scrapy基础使用实例Scrapy基础使用实例
© 2025 智德知识库
信息来自网络 所有数据仅供参考
有疑问请联系站长 site.kefu@gmail.com