首先需要搭建环境这里不多说了，可以查看一下两篇文章

conda安装说明，代理配置 以及安装crapy

第一个python爬虫（scrapy 使用）

1、创建爬虫项目

python -m scrapy startproject investment

2、进入项目并创建爬虫程序

cd investment
python -m scrapy genspider BaidujiJinSpilder jin.baidu.com

3、pycharm 打开项目，如下图所属

4、拷贝文件

D:\ProgramData\Miniconda3\pkgs\scrapy-1.6.0-py37_0\Lib\site-packages\scrapy\cmdline.py
到项目跟目录与 scrapy.cfg 文件同级如下图
【图4】

5、配置文件，如下图配置

6、执行

点击【图4】中的绿色箭头可执行

 

 

最后修改于 2020-02-28 17:24:25
如果觉得我的文章对你有用，请随意赞赏
扫一扫支付
上一篇