博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
[Python3网络爬虫开发实战] 1.2.6-aiohttp的安装
阅读量:5978 次
发布时间:2019-06-20

本文共 677 字,大约阅读时间需要 2 分钟。

之前介绍的Requests库是一个阻塞式HTTP请求库,当我们发出一个请求后,程序会一直等待服务器响应,直到得到响应后,程序才会进行下一步处理。其实,这个过程比较耗费资源。如果程序可以在这个等待过程中做一些其他的事情,如进行请求的调度、响应的处理等,那么爬取效率一定会大大提高。

aiohttp就是这样一个提供异步Web服务的库,从Python 3.5版本开始,Python中加入了async/await关键字,使得回调的写法更加直观和人性化。aiohttp的异步操作借助于async/await关键字的写法变得更加简洁,架构更加清晰。使用异步请求库进行数据抓取时,会大大提高效率,下面我们来看一下这个库的安装方法。

1. 相关链接

  • 官方文档:
  • GitHub:
  • PyPI:

2. pip安装

这里推荐使用pip安装,命令如下:

 

 

另外,官方还推荐安装如下两个库:一个是字符编码检测库cchardet,另一个是加速DNS的解析库aiodns。安装命令如下:

 

 

3. 测试安装

安装完成之后,可以在Python命令行下测试:

 

 

如果没有错误报出,则证明库已经安装好了。

4. 结语

我们会在后面的实例中用到这个库,比如维护一个代理池时,利用异步方式检测大量代理的运行状况,会极大地提升效率。

转载于:https://www.cnblogs.com/palace/p/9627628.html

你可能感兴趣的文章
React-Native组件
查看>>
css 实现文字自动换行切同行元素高度自适应
查看>>
在线图表编辑工具 draw.io 10.6.5 版本发布
查看>>
Python爬虫之Xpath学习
查看>>
CentOS 搭建 ftp 服务
查看>>
第一个 spring Boot 应用通过Docker 来实现构建、运行、发布
查看>>
在Windows平台上搭建Docker开发环境
查看>>
Flask 快速入门
查看>>
04.HTML5(拖放)
查看>>
video标签隐藏下载按钮
查看>>
生物药公司“普米斯”获1.8亿元融资,华金资本、珠海高科创投、弘晖资本联合投资...
查看>>
Spring Boot 最核心的 3 个注解详解
查看>>
Cisco Packet Tracer 6.0 实验笔记
查看>>
JavaScript高级程序设计学习(一)之介绍
查看>>
transform,transition,animation的混合使用——结业篇
查看>>
C# 实现对PPT插入、编辑、删除表格
查看>>
Python基础系列-判断字段是否IP
查看>>
python并发学习总结
查看>>
GAN如此简单的PyTorch实现,一张脸生成72种表情(附代码)
查看>>
如何用web3j编译solidity智能合约源代码
查看>>