青少年叛逆
青少年叛逆
IT培训
广告招商

Python爬虫第三方库有多少?老男孩Python学习班

  提到Python爬虫,相信大家一定不陌生,Python可应用的领域不止爬虫,还包括人工智能、后端开发、机器学习等,今天借本篇文章给大家介绍下Python爬虫的三方库都有哪些,请看下文:

  网络(通用)

  urllib-网络库(stdlib)

  requests-网络库

  grab-网络库(基于pycurl)

  pycurl-网络库(绑定libcurl)

  urllib3-Python HTTP库,安全连接池、支持文件post、可用性高

  httplib2-网络库

  RoboBrowser-一个简单的、极具Python风格的Python库,无需独立的浏览器即可浏览网页。

  MechanicalSoup-一个与网站自动交互Python库。

  mechanize-有状态、可编程的web浏览库

  socker-底层网络接口(stdlib)

  Unirest for Python-Unirest是一套可用于多种语言的轻量级的HTTP库

  hyper-Python的HTTP/2客户端

  PySocks-SocksiPy更新并积极维护的版本,包括错误修复和一些其他的特征。作为socket模块的直接替换。

  异步:

  treq-类似于requests的API(基于twisted)

  aiohttp-asyncio的HTTP客户端/服务器(PEP-3156)

  网络爬虫框架

  功能齐全的爬虫

  grab-网络爬虫框架(基于pycurl/multicur)

  scrapy-网络爬虫框架(基于twisted),不支持Python3

  pyspider-一个强大的爬虫系统

  cola-一个分布式爬虫框架

  其他

  portia-基于Scrapy的可视化爬虫

  restkit-Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立的对象

  demiurge-基于PyQuery的爬虫微框架

  老男孩教育Python培训课程学完前端、后端、全栈都能做,偏向Python开发方向,讲师均为全职业内资深大牛;严格管理,对每一位学员负责;学风好,互帮互助;学员毕业以后均可以找到满意的工作,80%学员来自就业学员口碑介绍。


注意:吐槽知乎网只是一个问答与文章免费发布平台,所有信息均有会员免费发布,不产生金钱交易,如果你有资金往来,请及时通过电话与对方联系,调查清楚,确认无误在选择,否则造成你的损失,由自己承担,本平台概不负责,谢谢!

0 个评论

要回复文章请先登录注册

狗粮批发
嘿,进入会员专区!