可以使用Selenium来模拟点击按钮,然后使用Beautiful Soup解析展开后的内容。以下是一段示例代码:
from selenium import webdriver
from bs4 import BeautifulSoup
# 使用Selenium打开页面
driver = webdriver.Chrome()
driver.get("http://example.com")
# 模拟点击按钮
expand_button = driver.find_element_by_id("expand_button")
expand_button.click()
# 获取展开后的内容
expanded_html = driver.page_source
soup = BeautifulSoup(expanded_html, 'html.parser')
# 进行解析
# ...
# 关闭浏览器
driver.quit()
其中,expand_button
指代展开按钮的标签,可以通过其id、class等属性找到。driver.page_source
可以获取展开后的网页HTML代码。