用爬虫抓取网易云好听的歌曲

suger

最近，网易云音乐积极响应反垄断政策，取消了音乐的“独家”标签，然后很多好的音乐都听不到了。刚好小编最近学了很多爬虫的教程，跟进学习了一下，也集大全了吧，本来想优化一下的，但是发现问题还是有点复杂，最后另辟捷径，提供了简单的方法啊！

首先我们要需要找到歌曲的id,如果你只是想下载一首歌，比如静茹-勇气,那就没有必要爬虫，但是需要注意的是，网易返回的链接，数据是js动态加载，也就是爬虫得到的网页数据和浏览器得到的dom内容和结构不一样，其中，搜索列表爬虫回来的内容，完全得不到歌曲id。那遇到这样的情况要怎么解决呢？

解决方法就是使用使用selenium无头浏览器，如果我们需要大量获取数据，就一定要挂上代理，这是爬虫必备的工作。用python，就一定要简单，我认为复杂的东西，还是尽量少做，能取巧就取巧，所以代理我们就使用最简单的动态转发方式就好了。

1. from selenium import webdriver
   
2.     import string
   
3.     import zipfile
   
4. 
   
5.     # 代理服务器(产品官网 www.16yun.cn)
   
6.     proxyHost = "t.16yun.cn"
   
7.     proxyPort = "31111"
   
8. 
   
9.     # 代理验证信息
   
10.     proxyUser = "username"
    
11.     proxyPass = "password"
    
12. 
    
13.     def create_proxy_auth_extension(proxy_host, proxy_port,
    
14.                                    proxy_username, proxy_password,
    
15.                                    scheme='http', plugin_path=None):
    
16.         if plugin_path is None:
    
17.             plugin_path = r'D:/{}_{}@t.16yun.zip'.format(proxy_username, proxy_password)
    
18. 
    
19.         manifest_json = """
    
20.         {
    
21.             "version": "1.0.0",
    
22.             "manifest_version": 2,
    
23.             "name": "16YUN Proxy",
    
24.             "permissions": [
    
25.                 "proxy",
    
26.                 "tabs",
    
27.                 "unlimitedStorage",
    
28.                 "storage",
    
29.                 "",
    
30.                 "webRequest",
    
31.                 "webRequestBlocking"
    
32.             ],
    
33.             "background": {
    
34.                 "scripts": ["background.js"]
    
35.             },
    
36.             "minimum_chrome_version":"22.0.0"
    
37.         }
    
38.         """
    
39. 
    
40.         background_js = string.Template(
    
41.             """
    
42.             var config = {
    
43.                 mode: "fixed_servers",
    
44.                 rules: {
    
45.                     singleProxy: {
    
46.                         scheme: "${scheme}",
    
47.                         host: "${host}",
    
48.                         port: parseInt(${port})
    
49.                     },
    
50.                     bypassList: ["foobar.com"]
    
51.                 }
    
52.               };
    
53. 
    
54.             chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
    
55. 
    
56.             function callbackFn(details) {
    
57.                 return {
    
58.                     authCredentials: {
    
59.                         username: "${username}",
    
60.                         password: "${password}"
    
61.                     }
    
62.                 };
    
63.             }
    
64. 
    
65.             chrome.webRequest.onAuthRequired.addListener(
    
66.                 callbackFn,
    
67.                 {urls: [""]},
    
68.                 ['blocking']
    
69.             );
    
70.             """
    
71.         ).substitute(
    
72.             host=proxy_host,
    
73.             port=proxy_port,
    
74.             username=proxy_username,
    
75.             password=proxy_password,
    
76.             scheme=scheme,
    
77.         )
    
78. 
    
79.         with zipfile.ZipFile(plugin_path, 'w') as zp:
    
80.             zp.writestr("manifest.json", manifest_json)
    
81.             zp.writestr("background.js", background_js)
    
82. 
    
83.         return plugin_path
    
84. 
    
85.     proxy_auth_plugin_path = create_proxy_auth_extension(
    
86.         proxy_host=proxyHost,
    
87.         proxy_port=proxyPort,
    
88.         proxy_username=proxyUser,
    
89.         proxy_password=proxyPass)
    
90. 
    
91.     option = webdriver.ChromeOptions()
    
92. 
    
93.     option.add_argument("--start-maximized")
    
94. 
    
95.     # 如报错 chrome-extensions
    
96.     # option.add_argument("--disable-extensions")
    
97. 
    
98.     option.add_extension(proxy_auth_plugin_path)
    
99. 
    
100.     # 关闭webdriver的一些标志
     
101.     # option.add_experimental_option('excludeSwitches', ['enable-automation'])        
     
102. 
     
103.     driver = webdriver.Chrome(chrome_options=option)
     
104. 
     
105.     # 修改webdriver get属性
     
106.     # script = '''
     
107.     # Object.defineProperty(navigator, 'webdriver', {
     
108.     # get: () => undefined
     
109.     # })
     
110.     # '''
     
111.     # driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": script})     
     
112. 
     
113. 
     
114. 
     
115.     driver.get("https://music.163.com/#/song?id=557581284")

复制代码