pyspider爬虫安装教程

之前一直用scrapy做采集,今天准备试用一下pyspider,安装步骤如下:

先安装python3.5版本,一定要安装3.5或低于3.5的版本,否则会报错:

Traceback (most recent call last):
  File "x\python37\lib\runpy.py", line 193, in _run_module_as_mai
n
    "__main__", mod_spec)
  File "x\python37\lib\runpy.py", line 85, in _run_code
    exec(code, run_globals)
  File "x\Python37\Scripts\pyspider.exe\__main__.py", line 5, in
<module>
  File "x\python37\lib\site-packages\pyspider\run.py", line 231
    async=True, get_object=False, no_input=False):
        ^
SyntaxError: invalid syntax

直接官方网站下载安装包,安装过程中选中添加到PATH环境变量。后面将安装pip打上勾,一定要装。

接下来安装pyspider.

运行命令:pip install pyspider

再运行:

pip install wheel #这个必须安装

再安装的时候依然会报错:Command "python setup.py egg_info" failed with error code 10 这个是要装pycurl包

打开:https://www.lfd.uci.edu/~gohlke/pythonlibs/

找到相应的包把它下载下来,一定要记得找对应自己python的版本,下载错了是安装不上的。版本错误会报:xxxx.whl is not a supported wheel on this platform

下载好对应的版本运行pip install pycurl-7.43.1-cp35-cp35m-win_amd64.whl 顺利安装成功则再运行: pip install pyspider

如果还报错就继续安装它提示差的包。








Tags python

留言(0)

评论