AI 爬虫入门：用 Python 写第一个网页抓取脚本
很多同学想学爬虫，但被各种复杂的教程吓退。其实用 Python 写一个最基础的爬虫，代码比你想的简单得多。今天我们就从零开始，手把手写一个抓取网页的小脚本。 环境准备 只需要安装一个库： pip install requests 第一个爬虫 假设我们要抓取一个网页的标题。我们的思路很简单：请求网页 → 解析内容 → 提取数据。 import requests url = “https://example.com” response = requests.get(url) print(response.status_code) # 打印状态码 print(response.text[:500]) # 打印前500个字符 运行后你会看到网页的 HTML 源代码。右键查看网页源码，找到要抓的元素（比如 <h1> 标签），对照着写解析规则就行。 用 BeautifulSoup 解析 直接看 HTML 很痛苦，用 BeautifulSoup 来解析： pip install beautifulsoup4 from bsoup4 import BeautifulSoup html = response.text soup = BeautifulSoup(html, ‘html.parser’) … Read more