python网页爬虫案例

下面是一个简单的Python网页爬虫示例，使用`requests`和`BeautifulSoup`库来抓取网页数据。这个示例将演示如何抓取一个网页的标题以及所有的链接。

安装所需库

在开始之前，确保你已经安装了`requests`和`beautifulsoup4`库。如果尚未安装，可以使用下面的命令来安装：

bash

pip install requests beautifulsoup4

爬虫示例代码

python

import requests

from bs4 import BeautifulSoup

# 确定目标网址

url = 'https://example.com' # 替换为你想爬取的网页

# 发起请求

response = requests.get(url)

# 检查请求是否成功

if response.status_code == 200:

# 解析网页内容

soup = BeautifulSoup(response.text, 'html.parser')

# 获取网页标题

title = soup.title.string

print(f"网页标题: {title}")

# 获取所有链接

links = soup.find_all('a')

print("所有链接:")

for link in links:

href = link.get('href')

text = link.string

print(f"{text}: {href}")

else:

print(f"请求失败，状态码: {response.status_code}")

代码解析

1. 导入库：我们导入了`requests`库来发起HTTP请求，以及`BeautifulSoup`类来解析HTML。

2. 设置目标网址：我们定义了一个变量`url`，其内容是我们希望爬取的网页网址。

3. 发起GET请求：使用`requests.get()`方法向目标网址发起请求，并将响应存储在`response`变量中。

4. 检查响应状态：通过检查`response.status_code`，我们确认请求是否成功（200表示成功）。

5. 解析HTML：如果请求成功，我们使用`BeautifulSoup`来解析获取的HTML文档。

6. 提取网页标题：通过`soup.title.string`获取网页标题并打印。

7. 提取所有链接：使用`soup.find_all('a')`找到所有链接（``标签），然后遍历它们并打印链接文本及其href属性。