Python爬虫（7）Python数据存储实战：CSV文件读写与复杂数据处理指南
目录
- 一、背景与核心价值
- 二、CSV基础与核心应用场景
- 2.1 CSV文件结构解析
- 2.2 适用场景
- 三、Python csv模块核心操作
- 3.1 安装与基础读写
- 3.2 高级功能：字典读写与自定义格式
- 四、处理复杂数据场景
- 4.1 含特殊字符的字段
- 4.2 嵌套数据（如JSON字段）
- 五、性能优化与最佳实践
- 5.1 大文件处理方案
- 5.2 与Pandas结合提升效率
- 5.3 避免常见陷阱
- 六、实战案例：爬虫数据存储
- 七、总结与扩展方向
- 7.1 核心总结
- 7.2 CSV的局限性
- Python爬虫相关文章（推荐）
一、背景与核心价值
在数据驱动开发中，结构化存储是数据处理流程的关键环节。CSV（Comma-Separated Values）作为一种轻量级、跨平台的文件格式，广泛用于数据交换、日志记录及中小规模数据存储。相比于数据库或JSON，CSV具有以下优势：
- 无需依赖：直接通过Python标准库csv模块操作。
- 人类可读：文本格式可直接用Excel或文本编辑器查看。
- 高效灵活：适合快速导出、导入表格型数据。
本文目标：结合Python csv模块，详解CSV文件的读写技巧、复杂数据处理（如嵌套字段、特殊字符）及性能优化方案，并提供可直接复用的代码模板。
二、CSV基础与核心应用场景
2.1 CSV文件结构解析
-
基本规则：
- 每行表示一条记录，字段以特定分隔符（默认为逗号）分隔。
- 支持文本引用（如双引号）包裹含特殊字符的字段。
- 首行可定义列名（表头）。
-
示例文件data.csv：
id,name,email,score
1,张三,zhangsan@example.com,95
2,李四,"li.si@test.com",88
3,王五,wangwu@demo.org,"92"2.2 适用场景
| 场景 | 说明 |
|---|---|
| 数据导出/备份 | 从数据库或API批量导出结构化数据 |
| 数据分析预处理 | 配合Pandas进行统计与可视化 |
| 跨系统数据交换 | 兼容Excel/R/MATLAB等工具 |
三、Python csv模块核心操作
3.1 安装与基础读写
Python内置csv模块，无需额外安装。
- 写入CSV文件：
import csvheaders = ["id", "name", "email"]
data = [[1, "张三", "zhangsan@example.com"],[2, "李四", "lisi@test.org"],[3, "王五", "wangwu@demo.net"]
]with open("output.csv", "w", newline="", encoding="utf-8") as f:writer = csv.writer(f)writer.writerow(headers) # 写入表头writer.writerows(data) # 批量写入数据- 读取CSV文件：
with open("data.csv", "r", encoding="utf-8") as f:reader = csv.reader(f)for row in reader:print(row)
# 输出：
# ['id', 'name', 'email', 'score']
# ['1', '张三', 'zhangsan@example.com', '95']
# ['2', '李四', 'li.si@test.com', '88']3.2 高级功能：字典读写与自定义格式
- 使用DictWriter和DictReader：
# 写入字典数据
with open("dict_output.csv", "w", newline="", encoding="utf-8") as f:writer = csv.DictWriter(f, fieldnames=["id", "name", "email"])writer.writeheader()writer.writerow({"id": 101, "name": "赵六", "email": "zhao@test.com"})# 读取为字典
with open("dict_output.csv", "r", encoding="utf-8") as f:reader = csv.DictReader(f)for row in reader:print(row["name"], row["email"])- 自定义分隔符与引号规则：
# 使用分号分隔，双引号包裹所有字段
with open("custom.csv", "w", newline="", encoding="utf-8") as f:writer = csv.writer(f, delimiter=";", quoting=csv.QUOTE_ALL)writer.writerow(["id", "name"])writer.writerow([1, "张三"])四、处理复杂数据场景
4.1 含特殊字符的字段
- 问题：字段包含逗号、换行符等破坏CSV结构的字符。
- 方案：使用引号包裹字段，并配置csv.QUOTE_MINIMAL或csv.QUOTE_NONNUMERIC。
data = [[4, "Alice, Smith", "alice@example.com"],[5, "Bob\nJohnson", "bob@test.org"]
]with open("special_chars.csv", "w", newline="", encoding="utf-8") as f:writer = csv.writer(f, quoting=csv.QUOTE_NONNUMERIC)writer.writerows(data)4.2 嵌套数据（如JSON字段）
- 场景：将JSON字符串作为CSV的一个字段存储。
- 代码示例：
import jsondata = [{"id": 1, "info": '{"age": 30, "city": "北京"}'},{"id": 2, "info": '{"age": 25, "city": "上海"}'}
]# 写入嵌套JSON
with open("nested_data.csv", "w", newline="", encoding="utf-8") as f:writer = csv.DictWriter(f, fieldnames=["id", "info"])writer.writeheader()writer.writerows(data)# 读取并解析JSON
with open("nested_data.csv", "r", encoding="utf-8") as f:reader = csv.DictReader(f)for row in reader:info = json.loads(row["info"])print(f"ID: {row['id']}, 城市: {info['city']}")五、性能优化与最佳实践
5.1 大文件处理方案
- 问题：单次读取大文件可能导致内存溢出。
- 方案：逐行读取或分块处理。
# 逐行读取大文件
with open("large_data.csv", "r", encoding="utf-8") as f:reader = csv.reader(f)for row in reader:process(row) # 自定义处理函数5.2 与Pandas结合提升效率
对于复杂操作（如数据清洗、聚合），可借助Pandas处理后再导出为CSV。
import pandas as pd# 读取CSV
df = pd.read_csv("data.csv")
# 过滤分数大于90的记录
filtered = df[df["score"] > 90]
# 导出为CSV
filtered.to_csv("high_score.csv", index=False)5.3 避免常见陷阱
- 文件未关闭：务必使用with语句确保资源释放。
- 编码问题：统一使用utf-8避免乱码。
- 表头不一致：写入数据时确保列名与数据对齐。
六、实战案例：爬虫数据存储
目标：将爬取的图书信息存储为CSV文件。
import csv
import requests
from bs4 import BeautifulSoupurl = "https://book.douban.com/top250"
headers = {"User-Agent": "Mozilla/5.0"}response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")books = []
for item in soup.select("tr.item"):title = item.select_one(".pl2 a")["title"]score = item.select_one(".rating_nums").textbooks.append({"title": title, "score": score})# 写入CSV
with open("douban_books.csv", "w", newline="", encoding="utf-8") as f:writer = csv.DictWriter(f, fieldnames=["title", "score"])writer.writeheader()writer.writerows(books)print("数据已存储至 douban_books.csv")七、总结与扩展方向
7.1 核心总结
- 基础能力：csv模块提供了灵活的方法处理CSV读写。
- 复杂场景：通过引号规则、结合JSON或Pandas处理嵌套数据。
- 性能优化：逐行处理大文件，避免内存瓶颈。
7.2 CSV的局限性
- 不支持数据类型：所有字段均为字符串，需手动转换。
- 无索引查询：复杂查询需加载至内存处理。
Python爬虫相关文章（推荐）
| Python爬虫介绍 | Python爬虫（1）Python爬虫：从原理到实战，一文掌握数据采集核心技术 |
| HTTP协议解析 | Python爬虫（2）Python爬虫入门：从HTTP协议解析到豆瓣电影数据抓取实战 |
| HTML核心技巧 | Python爬虫（3）HTML核心技巧：从零掌握class与id选择器，精准定位网页元素 |
| CSS核心机制 | Python爬虫（4）CSS核心机制：全面解析选择器分类、用法与实战应用 |
| 静态页面抓取实战 | Python爬虫（5）静态页面抓取实战：requests库请求头配置与反反爬策略详解 |
| 静态页面解析实战 | Python爬虫（6）静态页面解析实战：BeautifulSoup与lxml（XPath）高效提取数据指南 |