Pandas数据处理入门

Pandas 是 Python 中最常用的数据处理库。它特别适合处理表格数据，例如 CSV、Excel、数据库导出的用户行为或实验结果。

读取CSV文件

import pandas as pd
 
df = pd.read_csv('data/users.csv')
print(df.head())
print(df.shape)

head() 查看前几行，shape 查看行数和列数。拿到陌生数据时，第一步永远是先看结构。

查看表结构

print(df.columns)
print(df.dtypes)

dtypes 能帮助你发现类型问题，例如本该是数字的列被读成字符串。

选择列和筛选行

names = df['name']
active_users = df[df['is_active'] == True]
high_score = df[df['score'] >= 80]

筛选是数据分析最常见操作。AI 项目中经常要筛掉空文本、异常值和低质量样本。

缺失值处理

print(df.isna().sum())
df['score'] = df['score'].fillna(0)
df = df.dropna(subset=['text'])

缺失值不能随便处理。分数缺失可以填 0 吗？文本缺失是否应该删除？要结合业务含义判断。

分组统计

summary = df.groupby('category')['score'].mean()
print(summary)

分组统计适合快速了解不同类别表现，例如不同来源数据质量、不同用户群体转化率。

AI数据清洗例子

df = pd.read_csv('qa.csv')
df = df.dropna(subset=['question', 'answer'])
df = df[df['question'].str.len() >= 5]
df = df.drop_duplicates(subset=['question'])
df.to_csv('qa_clean.csv', index=False)

这段代码去掉空问题、太短问题和重复问题。

常见错误

• 读取路径错误；
• 中文乱码；
• 列名有空格；
• 数字列被当成字符串；
• 直接删除数据但没有备份原始文件。

小结

Pandas 是 AI 项目前期处理数据的利器。建模之前，先用 Pandas 看清数据规模、缺失、重复、异常和分布，往往比直接换模型更重要。