这个问题通常是因为BeautifulSoup对象没有找到您正在寻找的元素而导致的。一种可能的解决方案是添加条件语句以确保在将元素添加到列表之前检查元素是否存在。以下是一个示例代码:
from bs4 import BeautifulSoup
import requests
url_list = ['https://example1.com', 'https://example2.com', 'https://example3.com']
for url in url_list:
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
data = []
# 检查元素是否存在
if soup.find_all('div', {'class': 'example-class'}):
# 添加元素到列表
for item in soup.find_all('div', {'class': 'example-class'}):
data.append(item.text.strip())
print(data)
在这个例子中,我们使用了一个条件语句来检查要查找的元素是否存在于网页中,然后再将其添加到数据列表中。这样做可以避免出现索引超出范围的错误。