Pandas
处理有行列结构的数据:Series 表示一列,DataFrame 表示一张表。
安装与导入
python -m pip install pandas
import pandas as pd
df = pd.DataFrame({
"name": ["Lin", "Kai", "Lin", "Mei"],
"group": ["A", "B", "A", "B"],
"score": [82, None, 91, 76],
})
本页示例按顺序使用这张小表。
常用用法
快速了解一张表
print(df.head()) # 前几行
print(df.shape) # (4, 3)
print(df.dtypes) # 各列类型
print(df.describe()) # 数值列的统计摘要
print(df.isna().sum()) # 各列缺失数量
选行、选列与修改
names = df["name"] # Series
subset = df[["name", "score"]] # DataFrame
passed = df.loc[df["score"] >= 80, ["name", "score"]]
first_two = df.iloc[:2, :2] # 按整数位置选择
df.loc[df["name"] == "Mei", "score"] = 80 # 一次定位并赋值
loc 根据标签选择,iloc 根据整数位置选择;筛选后的索引不一定从零连续。
缺失值、重复与类型转换
clean = df.drop_duplicates().copy()
clean["score"] = pd.to_numeric(clean["score"], errors="coerce")
clean["score"] = clean["score"].fillna(clean["score"].mean())
clean["passed"] = clean["score"] >= 80
print(clean.sort_values("score", ascending=False))
errors="coerce" 将无法转换的内容变成缺失值。删除还是填补缺失值,要根据字段含义决定。
分组统计
summary = clean.groupby("group", as_index=False).agg(
mean_score=("score", "mean"),
count=("name", "size"),
)
print(summary)
size 统计行数;count 统计指定列的非缺失值数量。
合并与拼接
teachers = pd.DataFrame({"group": ["A", "B"], "teacher": ["Chen", "Wu"]})
joined = clean.merge(teachers, on="group", how="left", validate="many_to_one")
stacked = pd.concat([clean, clean], ignore_index=True)
merge 根据键匹配,concat 沿行或列拼接。validate 能检查右表键是否唯一,避免意外扩行;见合并指南。
CSV 读写
clean.to_csv("scores.csv", index=False, encoding="utf-8-sig")
loaded = pd.read_csv("scores.csv", dtype={"name": "string"})
CSV 不保留完整类型信息;编号等字段如果有前导零,读取时显式指定字符串类型。Excel 读写可另装 openpyxl 后使用 read_excel / to_excel。
进阶与不常用用法
透视表与长宽表转换
wide = clean.pivot_table(
index="name", columns="group", values="score", aggfunc="mean",
)
long = clean.melt(
id_vars=["name", "group"], value_vars=["score"],
var_name="metric", value_name="value",
)
pivot_table 可以聚合重复组合;pivot 要求对应组合唯一。见重塑数据。
时间序列重采样
logs = pd.DataFrame({
"date": ["2026-01-01 09:00", "2026-01-01 15:00", "2026-01-02 10:00"],
"hours": [1.0, 1.5, 2.0],
})
logs["date"] = pd.to_datetime(logs["date"])
daily = logs.set_index("date")["hours"].resample("D").sum()
print(daily)
先转成日期时间类型,再按天等频率汇总;见时间序列指南。
分块读取大文件
total, count = 0.0, 0
for chunk in pd.read_csv("scores.csv", usecols=["score"], chunksize=2):
total += chunk["score"].sum()
count += chunk["score"].count()
print(total / count if count else None)
真实大文件可增大 chunksize。求总体均值时累计总和与有效条数,不要直接平均各块均值。
易错点
- 使用
df.loc[条件, "列"] = 值,避免df[条件]["列"] = 值这样的链式赋值。 - Pandas 3.0 使用 Copy-on-Write,修改派生对象不会同步修改原表,见官方说明。
- 多条件筛选使用
&/|,并给每个条件加括号。 - 算术运算可能按索引对齐,不能只看两列的长度。