Python实用案例编程入门:第九章 爬虫下载VOA每日广播英语MP3

新闻资讯2024-08-13 05:35小乐

Python实用案例编程入门:第九章 爬虫下载VOA每日广播英语MP3

本章的主题是介绍如何利用爬虫的方法下载VOA每日广播的英文MP3文件,解决我们生活中遇到的实际问题。

9.1 应解决什么问题?首先介绍一个练习英语听力的好网站:https://learningenglish.voanews.com/。它有满足不同聆听需求的部分。每天还有30分钟的广播,可以帮助我们练习沉浸式听力。是美式英语播音员,速度比较慢,适合学习者练习。还有一些视频教程,我个人觉得不错,推荐给大家(缺点是需要通过代理访问网站)。

我在使用它时遇到的一个问题是我每次都在线收听。在手机上听会比较麻烦,所以就想过下载,但又觉得一一点击下载太麻烦了。所以我决定写一个Python程序来帮助我下载它。这就是了解如何使用Python的好处。

在开始一个实际的程序之前,我们需要思考我们的程序想要实现什么功能?

从上述网站下载mp3文件;下载设定日期内所有播放的mp3文件;支持在命令行传递开始和结束日期,如20190101 20190530;如果在命令行上传递日期,则该日期将用作开始日期,当天的时间用作截止日期;如果命令行中未输入日期,则将下载上次到当天之间的mp3 文件。如果没有最后一次,则只下载当天的mp3文件;代理设置,我们如何使用代理,需要正确设置对应的url和端口,然后将其赋给下载功能中使用的代理参数;基于我们想要实现的功能,我们开始思考如何实现。

9.2 实现思路这里我们简单想象一下如何实现。总体思路如下:

解析参数,确定下载日期,存入列表;将下载日期和下载链接拼接成下载链接;如果链接合法,则下载,否则创建一个以日期为名称的txt文件,并将下载链接存储在其中;保存当天的日期;需要先解析下载地址,先手动找到下载地址。

http://av.voanews.com/clips/VLE/2019/06/15/20190615-003000-VLE122-program_hq.mp3 download=1,就是这个样子,可以看到里面包含了2019/06/15/20190615这样的字符string,我可以推断任意一天的下载地址只是另一个固定字符串加上日期。随机找了一天去验证一下,发现确实如此。那么就简单了,不需要爬行。

下载过程中,由于每个文件大约30MB,下载需要几秒钟的时间(当然也取决于网速),所以我们的下载必须使用流式下载,所以在下面的函数中,stream=True就是使用流式下载下载中。

def download_file(file_url, file_name):'''下载文件'''with requests.get(file_url, stream=True, proxies=None) 作为响应, open(file_name, 'wb') as local_file:shutil.copyfileobj(response.raw ,local_file)9.3 相关模块的安装及介绍本节将介绍程序中用到的相关模块。

9.3.1shutil模块shutil模块主要用于文件处理,比如最基本的文件操作、删除、移动、复制、压缩和解压等,如果涉及到文件相关的操作,首先应该想到这个模块。

我们这里使用该模块的copyfileobject方法将流数据对象的内容复制到我们创建的MP3文件中。

def download_file(file_url, file_name):'''下载文件'''with requests.get(file_url, stream=True, proxies=None) 作为响应, open(file_name, 'wb') as local_file:shutil.copyfileobj(response.raw , local_file) 9.3.2 datetime 模块datetime 模块用于处理与日期相关的事务。这里我们将使用该模块的strptime() 接口来构造一个日期字符串。

def handle_parameters(parameters):end_date=datetime.datetime.strptime(time.strftime('%Y%m%d',time.localtime(time.time())), '%Y%m%d')begin_date=end_date #begin_date=datetime.datetime.strptime('20190701', '%Y%m%d')if len(parameters)=3:begin_date=datetime.datetime.strptime(parameters[1], '%Y%m%d') if is_valid_data(parameters[1]) else exit(-1)end_date=datetime.datetime.strptime(parameters[2], '%Y%m%d') if is_valid_data(parameters[2]) else exit(-1) elif len(parameters)=2:begin_date=datetime.datetime.strptime(parameters[1], '%Y%m%d') if is_valid_data(sys.argv[1]) else exit(-1)else:#if 有上次,我们使用它作为begin_date,否则我们使用end_date as begin_date.begin_date=get_last_date(last_date_file, begin_date)return begin_date, end_date 在我们的程序中,我们需要获取起始日期范围内的所有日期字符串。如果人工构造起来非常困难,但是基于datetime的timedelta()就可以相对容易地完成。同时,您也可以根据自己的需要设置间隔时间。这里我们需要每天,所以设置days=1。

def get_file_list(begin_date, end_date):'''获取我们要下载的所有文件''' date_list=[] while begin_date=end_date: date_dir=begin_date.strftime('%Y/%m/%d/') date_str=begin_date.strftime('%Y%m%d') date_list.append(date_dir+date_str) begin_date +=datetime.timedelta(days=1)return date_list9.3.3 shelve 模块shelve 模块是一个比较实用的模块,我们使用它打开文件并像字典一样读写数据。如果有程序需要保存一些临时数据,或者数据不大,可以使用这个模块。例如,我们在程序中使用此模块来存储最后的日期,以防止用户再次重新输入。

def store_current_date(file, date):'''将当前日期存储为下一个开始日期''' s=shelve.open(file, writeback=True) s[last_date_key]=date s.close() 上面的代码是什么我们使用来存储日期,下面看看当我们需要使用日期时如何获取日期。

def get_last_date(file, default_date):'''从文件中获取最后日期''' date=default_date if os.path.exists(file): s=shelve.open(file, writeback=True) last_date=s[last_date_key] s.close() date=datetime.datetime.strptime(last_date, '%Y%m%d')return date9.3.4 time 模块time 模块提供各种与时间相关的函数。

time.asctime() 函数可以将结构体struct_time 表示的时间转换为类似'Sun Jun 19 13:31:15 1994' 的字符串。我们可以通过time.localtime()函数获取结构体struct_time。

time.sleep()函数的输入参数单位为秒。如果需要挂起线程,可以通过调用该函数来达到目的。这里的输入参数还可以是小数,表示更精确的睡眠时间。我们将使用此函数进行必要的等待,以确保另一件事完成。

time.strftime() 函数也用于格式化时间。

导入时间time.strftime('%Y%m%d',time.localtime(time.time()))'20190714' time.strftime('%Y-%m-%d')'2019-07-14 '另一个常见的操作是使用time.strptime() 接口来确定给定的字符串是否是有效的日期。

def is_valid_data(date_str):'''检查日期字符串是否有效'''try: time.strptime(date_str, '%Y%m%d') return True except:return False9.3.5 sys 模块sys 模块是内置模块,不需要单独安装。

sys模块提供了对Python解释器使用的一些变量的访问,并且可以进行一些修改,比如读取和修改环境变量PATH,并提供了一定的与解释器交互的函数,以便我们的程序可以与解释器进行交互。

例如sys.argv会将命令行参数以列表的形式传递给Python脚本,sys.argv[0]是脚本的名称,sys.argv[1]是第一个参数,以此类推。

sys.exit()表示退出程序,也可以带参数表示退出码。如果有其他程序调用该程序,则可以通过返回的数字确定被调用程序的退出原因。

sys.implementation 查看当前运行的Python解释器的版本信息。

sys.implementationnamespace(cache_tag='cpython-36', hexversion=50726384, name='cpython', version=sys.version_info(major=3,minor=6,micro=5,releaselevel='final',serial=0) )sys.stdin、sys.stddout、sys.stderr 标准输入、标准输出和错误的解释器。

9.3.6 os 模块os 模块是一个比较常用的模块。从名字就可以看出它与操作系统有关。例如,当需要获取当前工作目录时,可以使用getcwd()接口。您还可以轻松分离路径的文件夹部分和文件名部分。

import os os.getcwd()'C:\\Users\\just right' os.path.abspath('.')'C:\\Users\\just right' path=r'E:\第09章爬虫每日下载voa广播英文MP3文件\auto-download-voa-broadcast.py' os.path.split(path)('E: \\第09章爬虫下载voa每日广播英文MP3文件', 'auto-download-voa-broadcast.py ') 我们这里的程序将使用os 模块来判断文件是否存在。代码如下。

path=r'E:\第09章爬虫下载voa每日广播英文MP3文件\auto-download-voa-broadcast.py' os.path.exists(path)True9.3.7 requests模块requests模块是用于访问网络模块,我们这里的程序需要先进行用户认证。通过用户名和密码的认证后,运行我们的程序来访问数据库,并对数据库进行相应的读写操作。

requests 模块还可以用于登录网页。这方面将在其他相关程序示例中介绍。这里我们只关注当前示例程序需要使用的内容。

以下代码片段是我们程序中用于确定链接有效性的函数。我们将链接和代理参数传递给get接口,然后使用接口返回的文本来判断链接是否有效。在我们的示例中,如果链接无效,页面文本将包含字符串“404 - 未找到文件或目录”。

def is_valid_link(file_url, invalid_msg):'''检查mp3_url 是否有效''' text='' return True with requests.get(file_url, proxies=http_proxies) as response: print(response.text) text=response.textreturn True if invalid_msg in text else False 以下函数展示了如何通过requests 模块下载文件,将Stream 参数设置为True,并在必要时为您自己的代理配置设置代理参数proxies。

def download_file(file_url, file_name):'''下载文件'''with requests.get(file_url, stream=True, proxies=None) 作为响应, open(file_name, 'wb') as local_file:shutil.copyfileobj(response.raw ,本地文件)

9.4 代码实现介绍完了相关模块,我们来看看代码是如何实现的。

9.4.1 编写伪代码我们首先编写必要的伪代码来了解程序的整体结构。

# 定义函数is_valid_link 来判断链接是否有效# 定义函数is_valid_date 来判断给定的字符是否是有效日期# 定义函数download() 来下载文件# 定义函数get_file_list() 来获取一个时间内的每一天给定日期范围日期字符串# 定义函数get_last_date() 用于从配置文件中获取最后日期# 定义函数store_current_date() 用于存储日期# 定义函数handle_parameters() 用于处理程序的参数if '__main__'==__name__: 利用handle_parameters()处理程序参数通过get_file_list()获取日期字符串列表,遍历日期字符串列表,并将其转换为url链接。如果url有效,则下载,否则创建txt文件,记录失败原因。 9.4.2 Python代码Python代码实现如下。

# -*-coding: utf-8 -*-'''此工具帮助每天自动下载voa广播。1。下载从上次到当天的所有mp3 文件。2. export http_proxy=''如何实现:#获取最后一次下载的日期#准备下载该时间段内的所有mp3文件#检查mp3的每个链接是否有效#如果有效则下载,或者使用txt文件代替#保存当前日期创建于Fri Jun 15 14:17:40 2019 @author: ggang.liu'''import Shutilimport datetimeimport shelveimport timeimport sysimport osimport requestsserver_error='404 - 文件或目录未找到'last_date_file='last_date'last_date_key='date'url_template='http://av .voanews.com/clips/VLE/{ 0}-003000-VLE122-program_hq.mp3 download=1'def is_valid_link(file_url, invalid_msg):'''检查mp3_url 是否有效'''text=''return Truewith requests .get(file_url, proxies=http_proxies) as response:print(response.text)text=response.textreturn True if invalid_msg in text else Falsedef is_valid_data(date_str):'''检查日期字符串是否有效'''try:time.strptime(date_str , '%Y%m%d') return True except:return Falsedef download_file(file_url, file_name):'''下载文件'''with requests.get(file_url, stream=True, proxies=None) 作为响应, open(file_name, 'wb') as local_file:shutil.copyfileobj(response .raw, local_file)def get_file_list(begin_date, end_date):'''获取我们要下载的所有文件'''date_list=[]while begin_date=end_date:date_dir=begin_date.strftime( '%Y/%m/%d/')date_str=begin_date.strftime('%Y%m%d')date_list.append(date_dir+date_str)begin_date +=datetime.timedelta(days=1)return date_listdef get_last_date( file, default_date):'''从文件中获取最后日期'''date=default_dateif os.path.exists(file):s=shelve.open(file, writeback=True)last_date=s[last_date_key]s.close() date=datetime.datetime.strptime(last_date, '%Y%m%d')return datedef store_current_date(file, date):'''将当前日期存储为下一个开始日期''s=shelve.open(file, writeback=True)s[last_date_key]=日期.close()def handle_parameters(parameters):end_date=datetime.datetime.strptime(time.strftime('%Y%m%d',time.localtime(time.time())) ), '%Y%m%d' )begin_date=end_date#begin_date=datetime.datetime.strptime('20190701', '%Y%m%d')if len(参数)=3:begin_date=datetime.datetime.strptime(参数[1], '%Y%m %d') if is_valid_data(parameters[1]) else exit(-1)end_date=datetime.datetime.strptime(parameters[2], '%Y%m%d') if is_valid_data(parameters[2]) else exit (-1)elif len(parameters)=2:begin_date=datetime.datetime.strptime(parameters[1], '%Y%m%d') if is_valid_data(sys.argv[1] ]) else exit(-1)else:# 如果有最后一次,则将其用作begin_date,否则将end_date 用作begin_date.begin_date=get_last_date(last_date_file, begin_date)return begin_date, end_dateif '__main__'==__name__:begin_date, end_date=handle_parameters(sys.argv)#获取日期listdate_list=get_file_list(begin_date, end_date)print(date_list)for date_list中的日期:file_url=url_template.format(date)if is_valid_link(file_url, server_error):print('正在下载:' + file_url)download_file( file_url, 'voa_broadcast_'+date[-8: ]+'.mp3')else:with open(date[-8:]+'.txt', 'w') as f:f.write(file_url)9.5 本章小结一般来说,思路比较简单,就是构造要下载的日期作为下载链接,一一下载。 Python是一门非常好的语言,可以极大的帮助我们节省开发时间。

学以致用才是正确的出路。这也是编程的乐趣所在。

欢迎关注、转发、点赞

Python编程入门实践案例:第一章Python概述以及为什么学习Python

Python编程入门实践案例:第二章字符串

Python实用案例编程简介:第3章列表和元组

Python实用案例编程入门:第4章字典和文件

Python实用案例编程入门:第6章控制流语句

Python实用案例编程入门:第五章函数和类

Python实用案例编程入门:第七章调整方法

Python实用案例编程入门:第八章如何自动连接WIFI

猜你喜欢