Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

作者：

在

文章目录

在真实场景中，数据往往以"脏乱差"的形态出现。某电商平台的用户行为日志可能包含缺失的商品ID、异常的点击时间戳，甚至混杂测试数据。面对这样的原始数据，我们首先需要建立数据探查的"三板斧"： import pandas as pd # 读取CSV文件时自动推断数据类型 df = pd.read_csv(‘sales_data.csv’, parse_dates=[‘order_date’]) # 基础信息概览 print(df.info()) # 内存占用、非空值统计 print(df.describe()) # 数值列统计指标 print(df.head(3)) # 预览前3行结构通过这三行代码，可以快速获取数据全貌。当发现order_date列存在NaT（缺失时间戳）时，需要结合业务场景判断：是数据采集遗漏，还是用户未完成支付的中间状态？

# 删除策略：当某列缺失率超过80%时 df.dropna(thresh=len(df)*0.2, axis=1, inplace=True) # 填充策略：时间序列用前向填充 df[‘price’].fillna(method=’ffill’, inplace=True) # 业务填充：用户年龄用中位数，地区用众数 df[‘age’].fillna(df[‘age’].median(), inplace=True) df[‘region’].fillna(df[‘region’].mode()[0], inplace=True)
# 3σ原则检测数值异常 z_scores = (df[‘price’] – df[‘price’].mean()) / df[‘price’].std() df = df[(z_scores > -3) & (z_scores < 3)] # 箱线图可视化辅助判断 import seaborn as sns sns.boxplot(x=df[‘price’])
# 字符串转分类变量 df[‘product_category’] = df[‘product_category’].astype(‘category’) # 拆分复合字段 df[[‘province’, ‘city’]] = df[‘location’].str.split(‘/’, expand=True) # 时间戳特征工程 df[‘hour’] = df[‘order_time’].dt.hour df[‘weekday’] = df[‘order_time’].dt.weekday

# 构建销售透视表 pivot = df.pivot_table( index=’region’, columns=’product_category’, values=’amount’, aggfunc=’sum’, fill_value=0 ) # 交叉表分析用户行为 cross = pd.crosstab( df[‘device_type’], df[‘purchase_flag’], normalize=’index’ )
# 计算移动平均销量 df[‘rolling_avg’] = df.groupby(‘product_id’)[‘sales’].transform( lambda x: x.rolling(7, min_periods=1).mean() ) # 排名函数应用 df[‘sales_rank’] = df.groupby(‘region’)[‘sales’].rank(ascending=False)
# 正则表达式清洗 df[‘clean_comment’] = df[‘raw_comment’].str.replace(r'[^a-zA-Z0-9s]’, ”) # 词频统计基础 from collections import Counter word_counts = Counter(‘ ‘.join(df[‘clean_comment’]).split())

import matplotlib.pyplot as plt # 双Y轴组合图表 fig, ax1 = plt.subplots(figsize=(10,6)) ax1.plot(df[‘date’], df[‘sales’], ‘b-‘, label=’销售额’) ax2 = ax1.twinx() ax2.plot(df[‘date’], df[‘conversion_rate’], ‘r–‘, label=’转化率’) # 动态标注极值点 max_idx = df[‘sales’].idxmax() ax1.annotate(f’峰值: {df.loc[max_idx,”sales”]}’, xy=(max_idx, df.loc[max_idx,”sales”]), xytext=(max_idx-3, df.loc[max_idx,”sales”]*0.9), arrowprops=dict(arrowstyle=’->’))
import plotly.express as px # 交互式热力图 fig = px.density_heatmap( df, x=’order_hour’, y=’day_of_week’, z=’order_count’, title=’订单时间分布热力图’ ) fig.show() # 桑基图展示用户流转 fig = px.sankey( df, node={‘label’: [‘访问’,’加购’,’下单’,’支付’], ‘color’: [‘lightblue’,’lightgreen’,’orange’,’red’]}, source=[0,0,1,1,2], target=[1,2,2,3,3], value=[800,200,150,50,100] )
色彩方案：使用ColorBrewer等工具选择色盲友好配色字体选择：西文用Arial/Helvetica，中文用思源黑体图表尺寸：根据展示媒介调整，PPT推荐16:9，A4报告用5:3 动态效果：交互式图表添加悬停提示、范围筛选器

某电商平台发现转化率下降，需要从用户行为数据中定位问题。数据集包含200万条用户行为日志，字段包括用户ID、商品ID、行为类型（点击/收藏/加购/购买）、时间戳等。
# 数据读取优化 df = pd.read_parquet(‘user_behavior.parquet’, engine=’pyarrow’) # 行为路径分析 behavior_flow = df.groupby([‘user_id’])[‘behavior_type’].apply( lambda x: ‘/’.join(x.unique()) ).value_counts().sort_index() # 漏斗转化计算 funnel = df[df[‘behavior_type’].isin([‘click’,’cart’,’buy’])].groupby( ‘session_id’ )[‘behavior_type’].agg(lambda x: ‘/’.join(x)).value_counts() # 绘制漏斗图 from pyecharts.charts import Funnel funnel = Funnel() funnel.add(“转化路径”, [list(z) for z in zip(funnel.index, funnel.values)], sort_=”descending”, label_opts={“position”: “inside”}) funnel.render(“conversion_funnel.html”)
移动端用户加购转化率比PC端低15% 夜间22-24点的点击购买转化率最高商品详情页加载时间超过3秒会导致30%的用户流失

自动化报告：使用Jupyter Notebook的nbconvert生成HTML报告仪表盘开发：将关键图表集成到Streamlit/Dash应用数据API：用FastAPI封装分析逻辑，提供实时查询接口文档编写：使用Markdown记录分析逻辑，插入可交互图表通过这种从数据采集到可视化交付的完整链路，即使面对TB级电商数据，也能高效完成从数据清洗到业务洞察的全流程。关键在于将每个处理步骤封装成可复用的函数模块，配合适当的自动化工具，使数据分析真正成为业务决策的加速器。以上就是Python数据分析与可视化的实战教程(从数据清洗到图表呈现)的详细内容，更多关于Python数据分析与可视化的资料请关注风君子博客其它相关文章！您可能感兴趣的文章: python Dtale库交互式数据探索分析和可视化界面 python Sweetviz探索性数据可视化分析库使用特征详解利用Python进行时间序列数据分析与可视化的代码示例使用Python分析文本数据的词频并词云图可视化基于Python的数据分析与可视化

import pandas as pd
 
# 读取CSV文件时自动推断数据类型
df = pd.read_csv('sales_data.csv', parse_dates=['order_date'])
 
# 基础信息概览
print(df.info())        # 内存占用、非空值统计
print(df.describe())    # 数值列统计指标
print(df.head(3))       # 预览前3行结构

通过这三行代码，可以快速获取数据全貌。当发现order_date列存在NaT（缺失时间戳）时，需要结合业务场景判断：是数据采集遗漏，还是用户未完成支付的中间状态？

# 删除策略：当某列缺失率超过80%时
df.dropna(thresh=len(df)*0.2, axis=1, inplace=True)
 
# 填充策略：时间序列用前向填充
df['price'].fillna(method='ffill', inplace=True)
 
# 业务填充：用户年龄用中位数，地区用众数
df['age'].fillna(df['age'].median(), inplace=True)
df['region'].fillna(df['region'].mode()[0], inplace=True)

# 3σ原则检测数值异常
z_scores = (df['price'] - df['price'].mean()) / df['price'].std()
df = df[(z_scores > -3) & (z_scores < 3)]
 
# 箱线图可视化辅助判断
import seaborn as sns
sns.boxplot(x=df['price'])

# 字符串转分类变量
df['product_category'] = df['product_category'].astype('category')
 
# 拆分复合字段
df[['province', 'city']] = df['location'].str.split('/', expand=True)
 
# 时间戳特征工程
df['hour'] = df['order_time'].dt.hour
df['weekday'] = df['order_time'].dt.weekday

# 构建销售透 视表
pivot = df.pivot_table(
    index='region', 
    columns='product_category',
    values='amount',
    aggfunc='sum',
    fill_value=0
)
 
# 交叉表分析用户行为
cross = pd.crosstab(
    df['device_type'],
    df['purchase_flag'],
    normalize='index'
)

# 计算移动平均销量
df['rolling_avg'] = df.groupby('product_id')['sales'].transform(
    lambda x: x.rolling(7, min_periods=1).mean()
)
 
# 排名函数应用
df['sales_rank'] = df.groupby('region')['sales'].rank(ascending=False)

# 正则表达式清洗
df['clean_comment'] = df['raw_comment'].str.replace(r'[^a-zA-Z0-9s]', '')
 
# 词频统计基础
from collections import Counter
word_counts = Counter(' '.join(df['clean_comment']).split())

import matplotlib.pyplot as plt
 
# 双Y轴组合图表
fig, ax1 = plt.subplots(figsize=(10,6))
ax1.plot(df['date'], df['sales'], 'b-', label='销售额')
ax2 = ax1.twinx()
ax2.plot(df['date'], df['conversion_rate'], 'r--', label='转化率')
 
# 动态标注极值点
max_idx = df['sales'].idxmax()
ax1.annotate(f'峰值: {df.loc[max_idx,"sales"]}',
            xy=(max_idx, df.loc[max_idx,"sales"]),
            xytext=(max_idx-3, df.loc[max_idx,"sales"]*0.9),
            arrowprops=dict(arrowstyle='->'))

import plotly.express as px
 
# 交互式热力图
fig = px.density_heatmap(
    df, 
    x='order_hour', 
    y='day_of_week',
    z='order_count',
    title='订单时间分布热力图'
)
fig.show()
 
# 桑基图展示用户流转
fig = px.sankey(
    df,
    node={'label': ['访问','加购','下单','支付'],
          'color': ['lightblue','lightgreen','orange','red']},
    source=[0,0,1,1,2],
    target=[1,2,2,3,3],
    value=[800,200,150,50,100]
)

色彩方案：使用ColorBrewer等工具选择色盲友好配色

字体选择：西文用Arial/Helvetica，中文用思源黑体

图表尺寸：根据展示媒介调整，PPT推荐16:9，A4报告用5:3

动态效果：交互式图表添加悬停提示、范围筛选器

某电商平台发现转化率下降，需要从用户行为数据中定位问题。数据集包含200万条用户行为日志，字段包括用户ID、商品ID、行为类型（点击/收藏/加购/购买）、时间戳等。

# 数据读取优化
df = pd.read_parquet('user_behavior.parquet', engine='pyarrow')
 
# 行为路径分析
behavior_flow = df.groupby(['user_id'])['behavior_type'].apply(
    lambda x: '/'.join(x.unique())
).value_counts().sort_index()
 
# 漏斗转化计算
funnel = df[df['behavior_type'].isin(['click','cart','buy'])].groupby(
    'session_id'
)['behavior_type'].agg(lambda x: '/'.join(x)).value_counts()
 
# 绘制漏斗图
from pyecharts.charts import Funnel
funnel = Funnel()
funnel.add("转化路径", 
           [list(z) for z in zip(funnel.index, funnel.values)],
           sort_="descending",
           label_opts={"position": "inside"})
funnel.render("conversion_funnel.html")

移动端用户加购转化率比PC端低15%

夜间22-24点的点击购买转化率最高

商品详情页加载时间超过3秒会导致30%的用户流失

自动化报告：使用Jupyter Notebook的nbconvert生成HTML报告

仪表盘开发：将关键图表集成到Streamlit/Dash应用

数据API：用FastAPI封装分析逻辑，提供实时查询接口

文档编写：使用Markdown记录分析逻辑，插入可交互图表

通过这种从数据采集到可视化交付的完整链路，即使面对TB级电商数据，也能高效完成从数据清洗到业务洞察的全流程。关键在于将每个处理步骤封装成可复用的函数模块，配合适当的自动化工具，使数据分析真正成为业务决策的加速器。

以上就是Python数据分析与可视化的实战教程(从数据清洗到图表呈现)的详细内容，更多关于Python数据分析与可视化的资料请关注风君子博客其它相关文章！

您可能感兴趣的文章:

python Dtale库交互式数据探索分析和可视化界面

python Sweetviz探索性数据可视化分析库使用特征详解

利用Python进行时间序列数据分析与可视化的代码示例

使用Python分析文本数据的词频并词云图可视化

基于Python的数据分析与可视化

华夏福临门盛世加强版怎么样？产品责任是重中之重

国寿福庆典版值得买吗？附投保建议

理财中低风险是几级？中低风险理财会亏吗

瑞泰泰安心防癌险优缺点是什么？这份分析不容错过

房贷审批会给家人打电话吗？这种情况不可避免

2020最新自助免费申请Office365教育版，免费5TOneDrive云盘详细图文教程

MacBook怎么绕过BootCamp安装Win10双系统？

国内知名的前端博客

域名为什么会被墙？如何检测域名是否被墙？域名被墙如何处理？

最新的windows xp sp3产品密匙 xp sp3序列号 xp sp3激活码

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

目录

# 3σ原则检测数值异常 z_scores = (df['price'] - df['price'].mean()) / df['price'].std() df = df[(z_scores > -3) & (z_scores < 3)] # 箱线图可视化辅助判断 import seaborn as sns sns.boxplot(x=df['price'])

# 字符串转分类变量 df['product_category'] = df['product_category'].astype('category') # 拆分复合字段 df[['province', 'city']] = df['location'].str.split('/', expand=True) # 时间戳特征工程 df['hour'] = df['order_time'].dt.hour df['weekday'] = df['order_time'].dt.weekday

# 构建销售透 视表 pivot = df.pivot_table( index='region', columns='product_category', values='amount', aggfunc='sum', fill_value=0 ) # 交叉表分析用户行为 cross = pd.crosstab( df['device_type'], df['purchase_flag'], normalize='index' )

# 计算移动平均销量 df['rolling_avg'] = df.groupby('product_id')['sales'].transform( lambda x: x.rolling(7, min_periods=1).mean() ) # 排名函数应用 df['sales_rank'] = df.groupby('region')['sales'].rank(ascending=False)

# 正则表达式清洗 df['clean_comment'] = df['raw_comment'].str.replace(r'[^a-zA-Z0-9s]', '') # 词频统计基础 from collections import Counter word_counts = Counter(' '.join(df['clean_comment']).split())

色彩方案：使用ColorBrewer等工具选择色盲友好配色 字体选择：西文用Arial/Helvetica，中文用思源黑体 图表尺寸：根据展示媒介调整，PPT推荐16:9，A4报告用5:3 动态效果：交互式图表添加悬停提示、范围筛选器

某电商平台发现转化率下降，需要从用户行为数据中定位问题。数据集包含200万条用户行为日志，字段包括用户ID、商品ID、行为类型（点击/收藏/加购/购买）、时间戳等。

移动端用户加购转化率比PC端低15% 夜间22-24点的点击购买转化率最高 商品详情页加载时间超过3秒会导致30%的用户流失

更多文章

站内搜索

标签云

热门文章

友情链接

# 构建销售透视表 pivot = df.pivot_table( index='region', columns='product_category', values='amount', aggfunc='sum', fill_value=0 ) # 交叉表分析用户行为 cross = pd.crosstab( df['device_type'], df['purchase_flag'], normalize='index' )

色彩方案：使用ColorBrewer等工具选择色盲友好配色

字体选择：西文用Arial/Helvetica，中文用思源黑体

图表尺寸：根据展示媒介调整，PPT推荐16:9，A4报告用5:3

动态效果：交互式图表添加悬停提示、范围筛选器

移动端用户加购转化率比PC端低15%

夜间22-24点的点击购买转化率最高

商品详情页加载时间超过3秒会导致30%的用户流失