多线程+代理池如何爬取新闻数据

suger

说到数据爬取，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。但是要真正的成为技术大牛，需要学会更多的爬虫技术，对于爬虫来说突破各种网站的反爬机制也是需要技术能力的。所以今天为了增加对目标网站爬虫机制的理解，我们可以通过手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。

本次使用腾讯新闻网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。

需要使用到的技术如下

• IP代理池
• 多线程
• 爬虫与反爬
  

首先，开始分析新闻网的一些数据。经过抓包分析，可知：.[url]https://new.qq.com/d/cd/[/url]包含所有新闻数据同时，该地址具有反爬机制，多次访问将会失败的情况。

分析完目标网站的网的数据后，搭建IP代理池，用于反爬作用。由于使用的代理商提供了参考demo，所以本代码里面直接使用的是代理商提供的代码。搭建完IP代理池后，我们开始着手多线程爬取数据的工作。一旦使用多线程，则需要考虑到数据的读写顺序问题。这里使用python中的队列queue进行存储新闻代码，不同线程分别从这个queue中获取新闻代码，并访问指定新闻的数据。由于queue的读取和写入是阻塞的，所以可以确保该过程不会出现读取重复和读取丢失新闻代码的，实现过程如下：

1. import asyncio
   
2. import aiohttp
   
3. import threading
   
4. from collections import Counter
   
5. 
   
6. # 定义一个全局变量，用于存储分类结果
   
7. categories = Counter()
   
8. 
   
9. # 定义一个函数，用于根据文本内容进行分类
   
10. def classify(text):
    
11.     # 这里可以使用任何文本分类的方法，例如正则表达式、机器学习等
    
12.     # 这里为了简单起见，只使用了简单的字符串匹配
    
13.     if "Python" in text:
    
14.         return "Python"
    
15.     elif "Java" in text:
    
16.         return "Java"
    
17.     elif "C++" in text:
    
18.         return "C++"
    
19.     else:
    
20.         return "Other"
    
21. 
    
22. async def fetch_page(url, proxy):
    
23.     # 创建一个 aiohttp 的 ClientSession 对象，并指定代理IP和端口
    
24.     async with aiohttp.ClientSession(proxy=proxy) as session:
    
25.         # 使用 session.get 方法发送请求，并获取响应对象
    
26.         async with session.get(url) as response:
    
27.             # 返回响应的文本内容
    
28.             return await response.text()
    
29. 
    
30. async def main():
    
31.     urls = ["https://www.baidu.com/s?wd=" + str(i) for i in range(10)] # 生成十个百度搜索网址
    
32.    
    
33.     # 假设有一个文件 16yun.txt，每行存储一个代理host和端口，例如 it帮论坛真好:3333
    
34.     # 读取文件中的所有代理，并存储在一个列表中
    
35.     with open("16yun.txt") as f:
    
36.         proxies = [line.strip() for line in f]
    
37.    
    
38.     tasks = [] # 创建一个空列表，用于存储 task 对象
    
39.    
    
40.     # 遍历 urls 和 proxies 列表，为每个 url 配对一个 proxy，并创建 task 对象
    
41.     for url, proxy in zip(urls, proxies):
    
42.         task = asyncio.create_task(fetch_page(url, proxy))
    
43.         tasks.append(task)
    
44.    
    
45.     results = await asyncio.gather(*tasks) # 同时运行所有 task 并获取结果
    
46.    
    
47.     # 创建一个线程池，用于执行分类任务
    
48.     pool = threading.ThreadPoolExecutor(max_workers=4)
    
49.    
    
50.     for result in results:
    
51.         print(result[:100]) # 打印每个网页的前 100 个字符
    
52.         
    
53.         # 使用线程池提交一个分类任务，并更新全局变量 categories
    
54.         category = pool.submit(classify, result).result()
    
55.         categories[category] += 1
    
56.    
    
57.     # 关闭线程池并等待所有任务完成
    
58.     pool.shutdown(wait=True)
    
59.    
    
60.     # 打印最终的分类结果
    
61.     print(categories)
    
62. 
    
63. asyncio.run(main()) # 运行主协程

复制代码