首先分析分页结构，确定是URL参数翻页还是AJAX动态加载；接着构造对应请求循环抓取，静态页通过修改页码参数，动态内容则调用API接口获取JSON；利用“下一页”链接或总页数信息判断终止条件；最后通过设置请求头、添加延迟等反爬策略确保稳定采集。

爬取分页数据是Python网络爬虫中的常见需求，尤其在抓取列表类网页（如新闻列表、商品页、搜索结果）时尤为关键。要完整获取所有页面的数据，必须识别分页结构、构造请求并循环抓取。以下是处理分页数据的实用流程。

分析分页结构

开始前先观察目标网站的分页机制。常见的分页方式有两种：

• URL参数翻页：页码通过URL中的参数传递，例如：https://example.com/page=2 或 https://example.com/?p=3
• AJAX动态加载：点击“下一页”时页面不刷新，内容通过JavaScript异步加载，通常需要抓包分析接口请求

使用浏览器开发者工具（F12）查看网络请求，确认数据来源是HTML直出还是API接口返回JSON。

构造请求并循环抓取

若为静态分页，可通过修改URL中的页码参数发起请求。示例代码如下：

import requests
from bs4 import BeautifulSoup
base_url = "https://www./link/0acecb86d3b3fab2fea045403bedfb1f={}"
headers = {
"User-Agent": "Mozilla/5.0"
}
for page in range(1, 6):  # 抓取前5页
url = base_url.format(page)
response = requests.get(url, headers=headers)
if response.status_code == 200:
soup = BeautifulSoup(response.text, 'html.parser')
items = soup.select('.news-item')  # 根据实际选择器调整
for item in items:
title = item.select_one('h2').get_text(strip=True)
link = item.select_one('a')['href']
print(title, link)

若为AJAX接口，需定位XHR请求地址，直接请求返回JSON数据：

api_url = "https://example.com/api/news?page={}"
for page in range(1, 6):
    response = requests.get(api_url.format(page), headers=headers)
    data = response.json()
    for item in data['results']:
        print(item['title'], item['url'])

自动检测最大页数或终止条件

有时不知道总页数，可通过以下方式判断是否结束：

• 解析当前页的“下一页”按钮是否存在
• 检查响应内容是否为空或返回错误码
• 从第一页提取总页数信息（如“共87条，每页10条”可推算出9页）

示例：基于“下一页”链接判断是否继续

url = "https://example.com/news"
while url:
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    parse_items(soup)  # 解析当前页数据
next_link = soup.select_one('a:contains("下一页")')
url = next_link['href'] if next_link else None
if url and not url.startswith('http'):
    url = "https://example.com" + url

注意事项与反爬策略
频繁请求容易触发反爬机制，建议采取以下措施：

设置合理time.sleep()间隔，避免请求过快
使用随机User-Agent或添加Referer头模拟真实访问
考虑使用requests.Session()保持会话状态
遇到验证码或封IP时，引入代理池或Selenium模拟浏览器操作

基本上就这些。掌握分页规律后，结合解析和循环逻辑，就能稳定抓取多页数据。关键是先搞清分页机制，再选择合适的请求方式。