以下是使用BeautifulSoup库爬取多个页面的示例代码:
import requests
from bs4 import BeautifulSoup
# 定义要爬取的多个页面的URL列表
urls = ['http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3']
# 循环遍历每个URL进行爬取
for url in urls:
# 发送GET请求获取页面内容
response = requests.get(url)
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(response.text, 'html.parser')
# 在这里可以根据需要提取页面中的数据
# 例如:找到所有的标题并打印出来
titles = soup.find_all('h1')
for title in titles:
print(title.text)
以上代码中,首先定义了要爬取的多个页面的URL列表。然后使用循环遍历每个URL,发送GET请求获取页面内容。接着使用BeautifulSoup解析页面内容,并根据需要提取数据。在示例中,我们找到了页面中所有的标题,并将其打印出来。
请将示例代码中的URL替换为实际要爬取的页面的URL列表。同时根据需要修改代码以提取所需的数据。