要解决这个问题,您可以尝试以下步骤:
from bs4 import BeautifulSoup
import requests
def get_data(url):
# 发送HTTP请求并获取页面内容
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# 找到所需的元素并提取数据
elements = soup.find_all('div', class_='your_class_name')
for element in elements:
# 提取数据并进行处理
data = element.text.strip()
# 打印数据或进行其他操作
print(data)
def get_all_data(base_url, num_pages):
for i in range(1, num_pages + 1):
url = base_url + '?page=' + str(i)
get_data(url)
get_all_data
函数:base_url = 'https://example.com'
num_pages = 5
get_all_data(base_url, num_pages)
请注意,您需要根据实际情况修改上述代码中的class_
参数和其他元素选择器,以匹配您要提取的数据的实际HTML结构。