首先需要搭建环境这里不多说了,可以查看一下两篇文章

conda安装说明,代理配置 以及安装crapy

第一个python爬虫(scrapy 使用)

1、创建爬虫项目

python -m scrapy startproject investment

2、进入项目并创建爬虫程序

cd investment
python -m scrapy genspider BaidujiJinSpilder jin.baidu.com

3、pycharm 打开项目,如下图所属

4、拷贝文件

D:\ProgramData\Miniconda3\pkgs\scrapy-1.6.0-py37_0\Lib\site-packages\scrapy\cmdline.py
到项目跟目录与 scrapy.cfg 文件同级如下图
【图4】

5、配置文件,如下图配置

6、执行

点击【图4】中的绿色箭头可执行

 

 

最后修改于 2020-02-28 17:24:25
如果觉得我的文章对你有用,请随意赞赏
扫一扫支付
上一篇