要进行API爬取,可以使用Python的requests库来发送HTTP请求,并使用json库来处理返回的数据。以下是一个示例代码:
import requests
import json
# 发送GET请求,并获取API返回的数据
def get_api_data(api_url):
response = requests.get(api_url)
if response.status_code == 200:
data = response.json()
return data
else:
return None
# 解析API返回的数据
def parse_api_data(api_data):
if api_data:
# 解析数据并进行相应处理
# ...
pass
# 主函数
def main():
api_url = "https://example.com/api/data" # 替换为实际的API地址
api_data = get_api_data(api_url)
parse_api_data(api_data)
if __name__ == "__main__":
main()
在上述代码中,get_api_data
函数发送GET请求并获取API返回的数据。如果请求成功(状态码为200),将返回的数据转为JSON格式并返回;否则返回None。parse_api_data
函数用于解析API返回的数据,并进行相应的处理。在main
函数中,使用实际的API地址调用get_api_data
函数获取数据,并将返回的数据传给parse_api_data
函数进行解析和处理。