使用Python下载文件之最佳实践
在本教程中，我们将学习到使用不同的Python模块从网页上下载文件，包括常规文件，网页和其它来源。
我们会在其中遇到各种可能的挑战，比如下载重定向，大文件下载，多线程下载等。
请来看本文。
使用 Requests
从某个网址下载文件可以使用 requests 模块。
请看如下代码：
import requests
url = 'https://www.python.org/static/img/python-logo@2x.png'
myfile = requests.get(url)
open('c:/users/21cto/downloads/PythonImage.png', 'wb').write(myfile.content)
只需要使用request模块的get方法获取URL，接着将结果存储到myfile变量中即可，最后将变量的内容写入到文件。
使用 wget
还可以使用 wget 模块来从URL上下载文件，它也是Python的标准模块，如果没有安装，使用pip命令开始安装：
pip install wget
如下代码，我们将下载Python的logo和相关图片：
import wget
url = "python-logo@2x.png"" rel="nofollow" target="_blank">https://www.python.org/static/ ... ot%3B
wget.download(url, 'c:/users/LikeGeeks/downloads/pythonLogo.png')
在以上代码中，URL和图片的全路径会传递到wget模块的download方法，最后文件如果存在就会下载到目的路径和文件存储。
下载重定向文件
在本节中，我们将学习到从URL下载，该URL将请求会重定向到另一个URL中，比如如下URL：
https://readthedocs.org/projec ... test/
想要下载该pdf文件，我们使用如下代码：
import requests
url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest/'
myfile = requests.get(url, allow_redirects=True)
open('c:/users/21cto/documents/PythonBook.pdf', 'wb').write(myfile.content)
在以上代码中，我们第一步是指定URL，然后使用requests模块的get方法来获取URL内容。在get方法中，需要设置allow_redirects为True，也就是允许URL重定向，然后将重定向的内容分配给myfile变量。
最后，打开一个文件用来写入获取到的内容，完成下载。
下载大尺寸文件
请看如下代码：
import requests
url = 'https://www.python.org/static/img/python-logo@2x.png'
myfile = requests.get(url)
open('c:/users/21cto/downloads/PythonImage.png', 'wb').write(myfile.content)
第一步，我们和前面一样使用requests模块的get方法，但是在此处，需要把stream属性设置为True。接下来，在当前工作目录中创建一个名叫PythonBook.pdf的文件，打开并开始写入。
接下来指定一次要下载的块尺寸，我们将其设置为1024字节，然后遍历每个块，接着把这些块写入文件中，直接块全部写完为止。
貌似不是很好看？不有担心，一会我们使用显示进度条的下载方式。
下载多个文件（并行/批量下载）
如果要一次下载多个文件，需要导入如下模块：
import os
import requests
from time import time
from multiprocessing.pool import ThreadPool
从上面代码中，我们可以导入了os和time模块，用来检查下载文件花了多少时间。模块ThreadPool线程池用来处理多个线程和进程。
我们来创建一个函数，将返回内容分块写入到文件中：
def url_response(url):
path, url = url
r = requests.get(url, stream = True)
with open(path, 'wb') as f:
for ch in r:
f.write(ch)
URL将是一个二维数组，用来指定下载的网页路径或文件。
urls = [("Event1", "https://www.python.org/events/ ... 6quot;),
("Event2", "https://www.python.org/events/ ... 6quot;),
("Event3", "https://www.python.org/events/ ... 6quot;),
("Event4", "https://www.python.org/events/ ... 6quot;),
("Event5", "https://www.python.org/events/ ... 6quot;),
("Event6", "https://www.python.org/events/ ... 6quot;),
("Event7", "https://www.python.org/events/ ... 6quot;),
("Event8", "https://www.python.org/events/ ... 6quot;)]
结合前一节所描述的那样，我们将URL传递给request.get，接着打开文件（URL中指定之路径）并写入页面内容。
现在，我们就可以为每个网址下载调用此函数，也可以同时为所有网址调用此函数。接下来分别在for循环中为每个URL进行操作，请注意计时器：
start = time()
for x in urls:
url_response (x)
print(f"Time to download: {time() - start}")
接下来，使用如下代码替换for循环：
ThreadPool(9).imap_unordered(url_response, urls)
运行该脚本即可。
下载显示进度条
Python中的进度条是clint模块的UI组件，需要安装Clint模块，命令如下：
pip install clint
接下来使用如下代码：
import requests
from clint.textui import progress
url = 'http://do1.dr-chuck.com/pythonlearn/EN_us/pythonlearn.pdf'
r = requests.get(url, stream=True)
with open("LearnPython.pdf", "wb") as Pypdf:
total_length = int(r.headers.get('content-length'))
for ch in progress.bar(r.iter_content(chunk_size = 2391975), expected_size=(total_length/1024) + 1):
if ch:
Pypdf.write(ch)
在这段代码中，我们引入了requests组件，接下来在clint.textui中导入进度条组件，与前面的唯一区别在于for循环，在把内容写入文件时，我们使用了progress模块的bar方法。
使用urllib下载
我们也可以使用urllib来下载网页。urllib库是Python的标准库，不需要额外再安装。
可以用如下代码来下载URL资源：
urllib.request.urlretrieve('url', 'path')
接下来要指定要保存的路径，如下：
urllib.request.urlretrieve('https://www.python.org/', 'c:/users/21cto/documents/PythonOrganization.html')
在此段代码中，使用urlretrieve方法，传给了源下载文件的网址以及文件存储的路径，扩展名为.html。
通过代理服务器下载
因为相关原因，我们需要使用代理服务器下载时，则可以使用urllib模块的ProxyHandler。
来看如下代码：
import urllib.request
>>> myProxy = urllib.request.ProxyHandler({'http': '127.0.0.2'})
>>> openProxy = urllib.request.build_opener(myProxy)
>>> urllib.request.urlretrieve('https://www.python.org/')
在此段代码中，首先创建了代理对象，通过调用urllib的build_opener方法打开代理服务器，传递代理对象。
接着，开始发起检索页面之请求。
另外，还可以使用Python官方文档中的requests模块来运行。代码如下：
import requests
myProxy = { 'http': 'http://127.0.0.2:3001' }
requests.get("https://www.python.org/", proxies=myProxy)
只需导入requests模块，创建自己的代理对象，就可以下载文件了。
使用urllib3
urllib3是urllib模块的改进版本。需要使用pip下载并安装它：
pip install urllib3
接下来下载一个网页，使用urllib3来把它存储在文本文件中。
import urllib3, shutil
shutil是用来处理文件时使用。接下来，初始化URL字符串变量：
url = 'https://www.python.org/'
接下来，使用PoolManager来跟踪相关的连接池。
c = urllib3.PoolManager()
接下来，创建一个文件。
filename = "mytest.txt"
最后，使用GET方式来请求并获取URL内容，接下来打开文件，将返回的响应写入该文件中。代码如下：
with c.request('GET', url, preload_content=False) as res, open(filename, 'wb') as out_file:
shutil.copyfileobj(res, out_file)
异步下载
asyncio模块专门用来处理系统事件，它围绕着事件循环来工作，循环等待，事件发生，然后对该事件进行反应，该反应可能是调用另一个函数。
asyncio模块使用协程进行事件处理。
接下来使用asyncio事件处理和协程功能，导入asyncio模块：
import asyncio
接下来，定义异步协程之方法：
async def coroutine():
await my_func()
这里给大家说明一下，关键字asyncz表示是一个本地asyncio协程。在协程主体内部，有await关键字，此关键字返回某值，亦可以使用return关键字。
现在，我们使用协程来创建一段完整代码，从Python官方网站下载文件：
>>> import os
>>> import urllib.request
>>> async def coroutine(url):
r = urllib.request.urlopen(url)
filename = "couroutine_downloads.txt"
with open(filename, 'wb') as f:
for ch in r:
f.write(ch)
print_msg = '下载已经成功'
return print_msg
>>> async def main_func(urls_to_download):
co = [coroutine(url) for url in urls_to_download]
downloaded, downloading = await asyncio.wait(co)
for i in downloaded:
print(i.result())
urls_to_download = ["https://www.python.org/events/ ... ot%3B,
"https://www.python.org/events/ ... ot%3B,
"https://www.python.org/events/ ... ot%3B,
"https://www.python.org/events/ ... ot%3B]
>>> eventLoop = asyncio.get_event_loop()
>>> eventLoop.run_until_complete(main_func(urls_to_download))
在上面的Python代码中，我们创建了一个异步协程函数，该函数下载文件后会返回一条消息，接下来有另一个异步协程调用，main_fun形成队列，asyncio等待功能完成后，协程结束。
如果要启动协程，需要使用asyncio的get_event_loop()方法把协程放入事件循环中，最后用run_until_complete()执行事件循环。
使用Pyton下载文件非常有趣，多磨练，会有更多有益的东西。希望本教程对大家有帮助！
作者：新楚
来源：21CTO学院
本文为 @ 21CTO 创作并授权 21CTO 发布，未经许可，请勿转载。
内容授权事宜请您联系 webmaster@21cto.com或关注 21CTO 公众号。
该文观点仅代表作者本人，21CTO 平台仅提供信息存储空间服务。
评论
