打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
在安装和使用pyspider中遇到的问题与解决

在安装和使用pyspider中遇到个问题,网上没找到答案自己解决了,记录一下,希望能给后来采坑者一些帮助。

1.首先安装

pip3 install pyspider # 我同时使用python2和python3,因为我想使用适用于python3的pyspider,因此我用的pip3来安装的

2.执行看是否成功

在命令行中输入:pyspider

3.报错:

详细报错信息是下面这样的:

C:\Users\username>pyspiderc:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\libs\utils.py:196: FutureWarning: timeout is not supported on your platform.warnings.warn("timeout is not supported on your platform.", FutureWarning)phantomjs fetcher running on port 25555[I 190330 14:42:22 result_worker:49] result_worker starting...[I 190330 14:42:22 processor:211] processor starting...[I 190330 14:42:22 scheduler:647] scheduler starting...[I 190330 14:42:22 scheduler:586] in 5m: new:0,success:0,retry:0,failed:0[I 190330 14:42:24 scheduler:782] scheduler.xmlrpc listening on 127.0.0.1:23333[I 190330 14:42:24 tornado_fetcher:638] fetcher starting...[I 190330 14:42:25 run:420] phantomjs exited.[I 190330 14:42:25 app:84] webui exiting...[I 190330 14:42:25 tornado_fetcher:671] fetcher exiting...[I 190330 14:42:25 scheduler:663] scheduler exiting...[I 190330 14:42:25 processor:229] processor exiting...[I 190330 14:42:26 result_worker:66] result_worker exiting...Traceback (most recent call last):File "c:\users\username\appdata\local\programs\python\python36\lib\runpy.py", line 193, in _run_module_as_main"__main__", mod_spec)File "c:\users\username\appdata\local\programs\python\python36\lib\runpy.py", line 85, in _run_codeexec(code, run_globals)File "C:\Users\username\AppData\Local\Programs\Python\Python36\Scripts\pyspider.exe\__main__.py", line 9, in <module>File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 754, in maincli()File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 722, in __call__return self.main(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 697, in mainrv = self.invoke(ctx)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 1043, in invokereturn Command.invoke(self, ctx)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 895, in invokereturn ctx.invoke(self.callback, **ctx.params)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 535, in invokereturn callback(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\decorators.py", line 17, in new_funcreturn f(get_current_context(), *args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 165, in clictx.invoke(all)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 535, in invokereturn callback(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\decorators.py", line 17, in new_funcreturn f(get_current_context(), *args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 497, in allctx.invoke(webui, **webui_config)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\core.py", line 535, in invokereturn callback(*args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\click\decorators.py", line 17, in new_funcreturn f(get_current_context(), *args, **kwargs)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\run.py", line 384, in webuiapp.run(host=host, port=port)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\webui\app.py", line 59, in runfrom .webdav import dav_appFile "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\pyspider\webui\webdav.py", line 216, in <module>dav_app = WsgiDAVApp(config)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\wsgidav\wsgidav_app.py", line 135, in __init___check_config(config)File "c:\users\username\appdata\local\programs\python\python36\lib\site-packages\wsgidav\wsgidav_app.py", line 119, in _check_configraise ValueError("Invalid configuration:\n  - " + "\n  - ".join(errors))ValueError: Invalid configuration:- Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

4.解决方法

  1. 打开报错最后的文件,我的报错提示的路径是:


    1. c:\users\username\appdata\local\programs\python\python36\lib\site-packages
    2. \wsgidav\wsgidav_app.py
  2. 在wsgidav_app.py这文件搜索:domaincontroller。我找到的是在96行这里

  3. 将domaincontroller改为http_authenticator.domaincontroller即可,改完如下所示:

 

5.查看是否能成功启动

重新在命令行窗口输入:pyspider

如果显示如下结果:

在浏览器输入http://localhost:5000/(这里的5000是和下方图片中红框的数字要一致),如果看到以下界面,说明启动成功了!

如果我的文章对您有帮助,就请客官给个赞吧

注:原创文章,如需转载,请注明出处

THE END!

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
【热】打开小程序,算一算2024你的财运
python3.7环境下安装pyspider遇到的问题及解决办法
pyspider all 会遇到的诸多拦路虎!(Python3.7)
Python3.7 scrapy遇到async报错
小白学 Python 爬虫(6):前置准备(五)爬虫框架的安装
爬虫福音:GitHub 超火爆开源 IP 代理池
安装pyspider出现的问题
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服