要使用Beautiful Soup来获取网站链接,可以使用以下代码示例来处理在每个循环页面中找不到链接的错误:
import requests
from bs4 import BeautifulSoup
# 创建一个空的链接列表
all_links = []
# 设置循环页面的数量
num_pages = 10
# 循环遍历每个页面
for page in range(1, num_pages+1):
# 构建页面的URL
url = f'https://example.com/page/{page}'
# 发送请求并获取页面内容
response = requests.get(url)
# 检查响应状态码
if response.status_code == 200:
# 使用Beautiful Soup解析页面内容
soup = BeautifulSoup(response.content, 'html.parser')
# 找到所有的链接标签
links = soup.find_all('a')
# 遍历每个链接标签,获取链接并添加到链接列表中
for link in links:
all_links.append(link.get('href'))
else:
# 如果页面请求失败,打印错误消息
print(f'Failed to retrieve page {page}')
# 打印所有链接
print(all_links)
在这个例子中,我们使用了一个循环来遍历每个页面,构建URL并发送请求。然后,我们使用Beautiful Soup解析页面内容,找到所有的链接标签,并将链接添加到链接列表中。如果请求失败,我们会打印错误消息。最后,我们打印所有的链接。
请注意,这只是一个简单的例子,实际情况可能更复杂。你可能需要根据具体的网站结构和需求进行适当的修改。