由于歌手个人主页的网页源代码中还嵌入了一个子网页(框架源代码里面包含了我们须要的信息),因此我们不能利用requests库来爬取,而利用selenium。
接下来,让我详细讲解全体爬取过程.
一,布局歌手个人主页的URL
前段韶光我们获取了网易云音乐全部歌手的id号
本日我们就利用全部歌手的id号来布局歌手个人主页的URL,从而实现用爬取全部歌手的热门歌曲及其id号的目的
以歌手薛之谦的个人主页 为例,来看一下他的主页的URL为:
https://music.163.com/#/artist?id=5781
因此只须要根据歌手对应的id就可以布局出歌手的个人主页,在歌手的个人主页我们能看到热门作品这一栏网易云音乐全部歌手id号点击获取(csv文件)
二,剖析网页源代码
现在我们就要用Python爬虫去爬取这些内容.如果你用requests库去爬取的话,返回的网页源代码中根本就没有这些信息
这时我们打开薛之谦的个人主页鼠标右键分别查看网页的源代码和查看框架的源代码
你会创造网页源代码和用requests库要求返回的源代码一摸一样(里面没有我们要爬取的信息),而在框架源代码中有我们要爬取的热门作品的信息
因此我们只须要将框架源代码爬取下来
然后再解析即可得到我们须要的歌手的热门作品的信息.
三,网页源代码和框架源代码的差异
网页源代码是指父级网页的源代码.其余网页中还有一种节点叫iframe，也便是子Frame，相称于网页的子页面
它的构造和外部网页的构造完备同等，框架源代码便是这个子网页的源代码.
四,获取框架源代码
这里我们利用selenium库来爬取,在selenium打开页面后
默认是在父级frame里面进行操作，而此时页面中还有子frame，它是不能获取到子frame里面的节点的，因此这时我们须要利用swith_to.frame()方法来切换到子frame中去
这时要求得到的代码就从网页源代码切换到了框架源代码
于是我们便能够提取我们须要的热门作品的信息了
通过歌手的个人主页的URL来爬取其框架源代码,详细爬取框架源代码的函数:
def get_html_src(url): # 可以任意选择浏览器,条件是要配置好干系环境,更多请参考selenium官方文档 driver = webdriver.Chrome() driver.get(url) # 切换成frame driver.switch_to_frame(\"大众g_iframe\公众) # 休眠3秒,等待加载完成! time.sleep(3) page_src = driver.page_source driver.close() return page_src
返回结果为歌手个人主页的框架源代码,里面包含了我们须要的信息.
五,解析源代码
我们利用bs4库进行解析,须要的信息包含在HTML5的下面代码片段中:
<span class=\"大众txt\"大众><a href=\"大众/song?id=(\d)\"大众><b title=\"大众(.?)\公众>
因此可定义下面函数对其进行解析:
def parse_html_page(html): # pattern = '<span class=\"大众txt\"大众><a href=\"大众/song?id=(\d)\"大众><b title=\"大众(.?)\公众>' # 这里是利用lxml解析器进行解析,lxml速率快,文档容错能力强,也能利用html5lib soup = BeautifulSoup(html, 'lxml') items = soup.find_all('span', 'txt') return items
六,写入csv文件
def write_to_csv(items, artist_name):
with open(\"大众music163_songs.csv\"大众, \"大众a\公众) as csvfile: writer = csv.writer(csvfile) writer.writerow([\"大众歌手名字\"大众, artist_name]) for item in items: writer.writerow([item.a['href'].replace('/song?id=', ''), item.b['title']]) print('歌曲id:', item.a['href'].replace('/song?id=', '')) song_name = item.b['title'] print('歌曲名字:', song_name)csvfile.close()
七,读取csv文件,布局全部歌手的个人主页
# 获取歌手id和歌手姓名def read_csv(): with open(\公众music163_artists.csv\"大众, \"大众r\"大众, encoding=\"大众utf-8\"大众) as csvfile: reader = csv.reader(csvfile) for row in reader: artist_id, artist_name = row if str(artist_id) is \"大众artist_id\"大众: continue else: yield artist_id, artist_name # 当程序的掌握流程离开with语句块后, 文件将自动关闭
八,程序主函数
# 主函数def main(): for readcsv in read_csv(): artist_id, artist_name = readcsv url = \"大众https://music.163.com/#/artist?id=\"大众 + str(artist_id) print(\"大众正在获取{}的热门歌曲...\"大众.format(artist_name)) html = get_html_src(url) items = parse_html_page(html) print(\"大众{}的热门歌曲获取完成!\公众.format(artist_name)) print(\公众开始将{}的热门歌曲写入文件\公众.format(artist_name)) write_to_csv(items, artist_name) print(\"大众{}的热门歌曲写入到本地成功!\"大众.format(artist_name))
末了小编我自己是一名高等python开拓工程师，这里有我自己整理了一套最新的python系统学习教程，包括从根本的python脚本到web开拓、爬虫、数据剖析、数据可视化、机器学习等。想要这些资料的可以关注小编，并在后台私信小编：“01”即可领取。
