文章目录
- 在终端里先后运行这个语句即可安装 pip install wheel pip install scrapy 在终端里输入scrapy即可验证是否安装成功，以下是没有安装前的情况。
- 这样就说明安装成功了。
- 代码如下： scrapy startproject comment（comment为你的工程名称） 创建成功如下 （这里注意，有些同学创建不成功报错的，需要在pycharm终端里再次执行pip install scrapy） 紧接着执行下面提示的两段代码来创建我们的爬虫主文件 cd comment 注意这里的example.com我们需要换成自己的起始url （这里随便设一个就好，这个不影响我们的任务） scrapy genspider news（这里的news为爬虫文件名称）www.xxx.com 然后配置成如下的形式 注意这里的allowed_domains可以注释掉，对我们的任务没有太大的影响。start_urls里的url换成我们需要请求的网址。（这里我就用腾讯新闻的主页来测试了） 在此之前我们需要在settings.py文件里完成如下配置： 然后在终端输入以下代码来运行爬虫文件： scrapy crawl news 运行成功！ 这样测试就完成了，可以进行后续的任务了。
目录
- 安装scrapy框架并测试
- 安装scrapy框架
- 以下是安装过后验证的情况
- 我们需要在pycharm终端里创建一个工程
- 总结
这是个系列文章，主要是能让大家快速的的做出一个小项目，主要是我现在在做计算机设计大赛，想把做过的东西记录下来，后续我会将整个计设的项目的制作过程写出来分享给大家。其中包括Django、mysql数据库、前端等。
这些文章主要是记录具体操作过程，具体的知识内容还请去刷视频，这里不做过多解释。
在终端里先后运行这个语句即可安装
pip install wheel pip install scrapy
在终端里输入scrapy即可验证是否安装成功，以下是没有安装前的情况。
这样就说明安装成功了。
代码如下：
scrapy startproject comment（comment为你的工程名称）
创建成功如下
（这里注意，有些同学创建不成功报错的，需要在pycharm终端里再次执行pip install scrapy）
紧接着执行下面提示的两段代码来创建我们的爬虫主文件
cd comment
注意这里的example.com我们需要换成自己的起始url （这里随便设一个就好，这个不影响我们的任务）
scrapy genspider news（这里的news为爬虫文件名称）www.xxx.com
然后配置成如下的形式
注意这里的allowed_domains可以注释掉，对我们的任务没有太大的影响。start_urls里的url换成我们需要请求的网址。（这里我就用腾讯新闻的主页来测试了）
在此之前我们需要在settings.py文件里完成如下配置：
然后在终端输入以下代码来运行爬虫文件：
scrapy crawl news
运行成功！
这样测试就完成了，可以进行后续的任务了。
以上为个人经验，希望能给大家一个参考，也希望大家多多支持风君子博客。
您可能感兴趣的文章:
- Python安装Scrapy库的常见报错解决
- Pycharm安装scrapy及初始化爬虫项目的完整步骤
- 解决pycharm安装scrapy DLL load failed:找不到指定的程序的问题
- 在python3.9下如何安装scrapy的方法
- pycharm无法安装第三方库的问题及解决方法以scrapy为例(图解)
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 图文详解python安装Scrapy框架步骤
- 详解Python网络框架Django和Scrapy安装指南