Python数据分析：Pandas核心技巧

数据读取

import pandas as pd

df = pd.read_csv('data.csv')
df = pd.read_excel('data.xlsx')
df = pd.read_sql(query, conn)

数据清洗

# 处理缺失值
df.fillna(0)
df.dropna()

# 去重
df.drop_duplicates()

# 类型转换
df['col'] = df['col'].astype(int)

数据筛选

# 条件筛选
df[df['age'] > 18]

# 多条件
df[(df['age'] > 18) & (df['city'] == 'Beijing')]

分组聚合

df.groupby('category')['value'].agg(['sum', 'mean', 'count'])

数据合并

pd.merge(df1, df2, on='key')
pd.concat([df1, df2])

性能优化

1. 使用vectorized操作
2. 避免iterrows
3. 合理设置dtype