Python爬虫第三方库有多少?老男孩Python学习班
提到Python爬虫,相信大家一定不陌生,Python可应用的领域不止爬虫,还包括人工智能、后端开发、机器学习等,今天借本篇文章给大家介绍下Python爬虫的三方库都有哪些,请看下文:
网络(通用)
urllib-网络库(stdlib)
requests-网络库
grab-网络库(基于pycurl)
pycurl-网络库(绑定libcurl)
urllib3-Python HTTP库,安全连接池、支持文件post、可用性高
httplib2-网络库
RoboBrowser-一个简单的、极具Python风格的Python库,无需独立的浏览器即可浏览网页。
MechanicalSoup-一个与网站自动交互Python库。
mechanize-有状态、可编程的web浏览库
socker-底层网络接口(stdlib)
Unirest for Python-Unirest是一套可用于多种语言的轻量级的HTTP库
hyper-Python的HTTP/2客户端
PySocks-SocksiPy更新并积极维护的版本,包括错误修复和一些其他的特征。作为socket模块的直接替换。
异步:
treq-类似于requests的API(基于twisted)
aiohttp-asyncio的HTTP客户端/服务器(PEP-3156)
网络爬虫框架
功能齐全的爬虫
grab-网络爬虫框架(基于pycurl/multicur)
scrapy-网络爬虫框架(基于twisted),不支持Python3
pyspider-一个强大的爬虫系统
cola-一个分布式爬虫框架
其他
portia-基于Scrapy的可视化爬虫
restkit-Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源,并围绕它建立的对象
demiurge-基于PyQuery的爬虫微框架
老男孩教育Python培训课程学完前端、后端、全栈都能做,偏向Python开发方向,讲师均为全职业内资深大牛;严格管理,对每一位学员负责;学风好,互帮互助;学员毕业以后均可以找到满意的工作,80%学员来自就业学员口碑介绍。
注意:吐槽知乎网只是一个问答与文章免费发布平台,所有信息均有会员免费发布,不产生金钱交易,如果你有资金往来,请及时通过电话与对方联系,调查清楚,确认无误在选择,否则造成你的损失,由自己承担,本平台概不负责,谢谢!