pandas统计分析基础知识及练习题

简介

本文介绍了pandas统计分析的基础知识，包括读写文件、DataFrame常用操作、转换与处理时间序列数据等模块的函数及相关参数，并以代码举例说明；同时包括12道关于chipotle.tsv的练习题，最后给出了练习代码及tsv文件。

读取不同数据源的数据

数据库数据读取

pandas提供了读取与存储关系型数据库数据的函数和方法，除此之外还需要使用SQLAIchemy库建立对应的数据库连接。使用create_engine函数建立数据库连接。

import pandas as pd
from sqlalchemy import create_engine
engin = create_engine('mysql+pymysql://root:mysql@127.0.0.1:3306/datafenxi?charset=utf8')
# 数据库产品名称+连接工具名：//用户名：密码@数据库IP地址：端口号/数据库名称？charset=数据库编码
data = pd.read_sql_table('meal_order_detail1', con=engin)
data1 = pd.read_sql_query('select * from meal_order_detail1', con=engin)
data2 = pd.read_sql('meal_order_detail1', con=engin)
data3 = pd.read_sql('select * from meal_order_detail1', con=engin)

使用pandas进行数据库的读取：

pandas三个数据库操作函数所具有的参数基本一致，区别在于输入的是表名还是语句。

pandas的数据库操作中数据存储只有一个方法为 to_sql 方法

读写文本文件

import pandas as pd
data = pd.read_table('./data/job_info.csv', encoding='gbk', sep=',')
data1 = pd.read_csv('./data/job_info.csv')

csv文件是一种逗号分隔符的文件格式，又被称为字符分隔文件，是以纯文本形式存储表格数据

使用 read_table 来读取文本文件

使用 read_csv 来读取csv文件

常用参数说明：

文本文件的存储是通过pandas中的 to_csv 函数实现的（以csv文件格式存储）

读写excel文件

import pandas as pd
data = pd.read_excel('./data/chipotle.xlsx')

pandas可以读取“xls”和“xlsx”两种Excel文件，使用的是 read_excel 方法。

具有参数：

将文件存储为excel文件时可以使用 to_excel 方法

掌握DataFrame的常用操作

DataFrame的基本属性

数据查看基本方法，DataFrame是一个带有标签的二维数组，每一个标签都作为了这一列的列名。

可以使用两种方式进行数据访问。

• 以字典的方式使用某一列名，实现单列数据访问。
• 以属性的方式访问，实现单列数据访问（不建议使用，容易引起混淆）

import pandas as pd
data = pd.read_excel('./data/chipotle.xlsx')
print(data['quantity']) # 对quantity这一列进行数据访问
print(data[['order_id', 'item_name']]) # 对order_id 及 item_name 两列进行数据访问
print(data['quantity'][:5])# 对quantity这一列前5行进行数据访问

loc 及 iloc 切分方法

import pandas as pd
data = pd.read_excel('./data/chipotle.xlsx')
print(data.iloc[2:5, 2])
print(data.loc[2:5, 'item_name'])

loc及iloc访问方式，loc方法是针对DataFrame索引名称的切片方法，如果传入的不是索引名称，那么切片操作将无法执行。利用loc方法，能够实现所有单层索引切片操作。iloc和loc区别是iloc接受的必须是行索引和列索引的位置。

• DataFrame.loc[行索引名称或条件，列索引名称]
• DataFrame.iloc[行索引位置，列索引位置]

使用loc方法和iloc实现多列切片，其原理通俗的说就是将多列的列名或者位置作为一个列表或者数据传入。这两个方法可以取出DataFrame中的任意数据。在使用loc的时候内部传入的行索引名称如果为一个区间，则前后均为闭区间，iloc方法使用时内部传入的行索引位置或列索引位置为区间时，则为前闭后开区间。loc内部还可以传入表达式，结果返回满足表达式的所有值。

ix 切片方法

import pandas as pd
data = pd.read_excel('./data/chipotle.xlsx')
print(data.ix[2, 2])
print(data.ix[2, 'item_name'])

可以使用ix方法进行切片，ix方法更像是loc和iloc两种方法的结合，ix方法在使用时既可以接受索引名称也可以接受索引位置。

• DataFrame.ix[行索引的名称、位置或条件，列索引名称或位置]

使用ix方法需要注意几点：

• 在使用ix参数时，尽量保持行索引名称和行索引位置重叠，使用时就无需考虑取值时区间的问题。（一律为闭区间）
• 使用列索引名称，而非列索引位置。主要用来保证代码可读性。
• 使用列索引位置时，需要注解。同样保证代码可读性
• ix具有一个缺点，在面对数据量巨大的任务时，其效率会低于loc和iloc方法，所以日常使用时建议使用iloc和loc方法切片。

增添数据

DataFrame添加一列数据，只需新建一个列索引，并对该索引下的数据进行赋值操作即可。新增的一列值是相同的则直接赋值一个常量即可。

删除数据

删除某列或某行数据需要用到pandas中的drop方法。

• drop(labels, axis=0, level=None, inplace=False, errors='raise')

数值型特征的描述性统计

pandas基于Numpy库，可以使用这些函数对数据框进行描述性统计。

pandas还提供了一个方法叫做 describe，能够一次性得出数据框所有数值型特征的非空值数目、均值、四分位数、标准差。

类别型特征的描述性统计

描述类别型特征的分布状况，可以使用频数统计表。pandas库中实现频数统计的方法为value_counts。

pandas还提供了categories类，可以使用astype方法将目标特征的数据类型转换为category类别。

describe方法除了支持传统数值型以外，还能够支持对category类型的数据进行描述型统计，四个统计量分别为列非空元素的数目、类别的数目、数目最多的类别、数目最多类别的数目。

转换与处理时间序列数据

在多数情况下，对数据类型数据进行分析的前提就是将原本为字符串的时间转换为标准时间类型。pandas继承了Numpy库和datatime库的时间相关模块，提供了6种时间相关的类。

其中，Timestamp作为时间类中最基础的，也是最常用的。在多数情况下，时间相关字符串都会转换为Timestamp。pandas也提供了to_datetime函数，能够实现这一目标。Timestamp类型时间是有限制的。

练习题

探索快餐数据，完成以下问题（对应数据：chipotle.tsv）:

1、将数据集存入一个名为chipo的数据框内

2、查看前10行内容

3、数据集中有多少个列（columns）?

4、打印出全部的列名称

5、数据集的索引是怎样的？

6、被下单数最多的商品（item）是什么？

7、在item_name这一列中，一共有多少种商品被下单？

8、一共有多少个商品被下单？

9、将item_price转换为浮点数

10、在该数据集对应的时期内，收入（revenue）是多少？

11、在该数据集对应的时期内，一共有多少订单？

12、每一单（order）对应的平均总价是多少？

import pandas as pd
# === 第一题 ===
chipo = pd.read_table('./data/chipotle.tsv')
chipo.to_excel('./data/chipotle.xlsx')
# === 第二题 ===
no2 = chipo.head(10)
print("前十行内容如下表所示：\n",no2)
# === 第三题 ===
no3 = chipo.shape
print("一共有：", no3[1], "列")
# === 第四题 ===
no4 = chipo.columns
print("列名称为：", no4)
# === 第五题 ===
no5 = chipo.index
print("索引是:", no5)
# === 第六题 ===
no6 = chipo[['item_name','quantity']].groupby(by=['item_name']).sum().sort_values(by=['quantity'],ascending=False)
print("被下单最多的商品是：\n",no6.head(1))
# === 第七题 ===
no7 = chipo['item_name'].describe()
print("一共有", no7['unique'],"种商品被下单")
# === 第八题 ===
no8 = chipo['quantity'].sum()
print("一共有", no8,"个商品被下单")
# === 第九题 ===
for i in range(len(chipo['item_price'])) :
    chipo.loc[i, 'item_price'] = chipo.loc[i, 'item_price'].strip('$')
chipo['item_price'] = pd.to_numeric(chipo['item_price'])
# print(chipo['item_price'])
no9 = chipo['item_price'].dtype
print("更改后的数据类型是：",no9)
# === 第十题 ===
data = chipo.loc[:, ['order_id','quantity','item_price']]
# print(data)
data['row_sum'] = data['quantity'] * data['item_price']
print(data)
revenue = data['row_sum'].sum()
print("在该数据集对应的时期内，收入为",revenue,"$")
# === 第十一题 ===
no11 = chipo['order_id'].nunique()
print("在数据集对应的时期内，一共有",no11,"个订单")
# === 第十二题 ===
no12 = data[['order_id','row_sum']].groupby(by='order_id')
print("每一单对应的平均总价如下表所示：\n",no12.mean())
chipo['item_price_sum'] =chipo['quantity'] * chipo['item_price']
print((chipo[['order_id','item_price_sum']].groupby(by=['order_id']).sum()).mean())

博客CSDN链接：作业2：pandas统计分析基础知识（读写文件、DataFrame常用操作、转换与处理时间序列数据）及练习题

感谢浏览，欢迎关注祁彧w博客！