- 什么是Pandas
- pandas能干什么
- 怎么用pandas
- Series
- DataFrame
- 时间对象处理
- 数据分组和聚合
- 其他常用方法
当大家谈论到数据分析时,提及最多的语言就是Python和SQL,而Python之所以适合做数据分析,就是因为他有很多强大的第三方库来协助,pandas就是其中之一,它是基于Numpy构建的,正因pandas的出现,让Python语言也成为使用最广泛而且强大的数据分析环境之一。如果说没有pandas的出现,目前的金融数据分析领域还应该是R语言的天下。
Pandas的主要功能:
- 具备对应其功能的数据结构DataFrame,Series
- 集成时间序列功能
- 提供丰富的数学运算和操作
- 灵活处理缺失数据
- …..
以上就是pandas能完成的一些基础操作,当然并不完全,下面就来看看pandas到底是怎么用的。
安装方法:
pip install pandas
引用方法:
import pandas as pd
Series是一种类似于一维数组的对象,由一组数据和一组与之相关的数据标签(索引)组成。在数据分析的过程中非常常用。
| 第一种: |
| pd.Series([4,5,6,7,8]) |
| 执行结果: |
| 0 4 |
| 1 5 |
| 2 6 |
| 3 7 |
| 4 8 |
| dtype: int64 |
| |
| ----------------------------------------------- |
| 第二种: |
| pd.Series([4,5,6,7,8],index=['a','b','c','d','e']) |
| 执行结果: |
| a 4 |
| b 5 |
| c 6 |
| d 7 |
| e 8 |
| dtype: int64 |
| |
| ----------------------------------------------- |
| 第三种: |
| pd.Series({"a":1,"b":2}) |
| 执行结果: |
| a 1 |
| b 2 |
| dtype: int64 |
| |
| ----------------------------------------------- |
| 第四种: |
| pd.Series(0,index=['a','b','c']) |
| 执行结果: |
| a 0 |
| b 0 |
| c 0 |
| dtype: int64 |
| |
| ----------------------------------------------- |
对于Series,其实我们可以认为它是一个长度固定且有序的字典,因为它的索引和数据是按位置进行匹配的,像我们会使用字典的上下文,就肯定也会使用Series
- dropna() # 过滤掉值为NaN的行
- fill() # 填充缺失数据
- isnull() # 返回布尔数组,缺失值对应为True
- notnull() # 返回布尔数组,缺失值对应为False
| |
| |
| st = {"sean":18,"yang":19,"bella":20,"cloud":21} |
| obj = pd.Series(st) |
| obj |
| 运行结果: |
| sean 18 |
| yang 19 |
| bella 20 |
| cloud 21 |
| dtype: int64 |
| ------------------------------------------ |
| |
| a = {'sean','yang','cloud','rocky'} |
| ------------------------------------------ |
| |
| obj1 = pd.Series(st,index=a) |
| obj1 |
| |
| |
| rocky NaN |
| cloud 21.0 |
| sean 18.0 |
| yang 19.0 |
| dtype: float64 |
| |
通过上面的代码演示,对于缺失值已经有了一个简单的了解,接下来就来看看如何判断缺失值
| 1、 |
| obj1.isnull() |
| 运行结果: |
| rocky True |
| cloud False |
| sean False |
| yang False |
| dtype: bool |
| |
| 2、 |
| obj1.notnull() |
| 运行结果: |
| rocky False |
| cloud True |
| sean True |
| yang True |
| dtype: bool |
| |
| 3、过滤缺失值 |
| obj1[obj1.notnull()] |
| 运行结果: |
| cloud 21.0 |
| yang 19.0 |
| sean 18.0 |
| dtype: float64 |
| import numpy as np |
| import pandas as pd |
- 从ndarray创建Series:Series(arr)
| arr = np.arange(10) |
| |
| sr = pd.Series(arr) |
- 统计函数:mean()、sum()、cumsum()
| |
| sr.mean() |
| sr.sum() |
| sr.cumsum() |
| dic = {"A":1,"B":2,"C":3,"D":4,"E":5} |
| |
| |
| dic_arr = pd.Series(dic) |
- In运算:’a’in sr、for x in sr
| "A" in dic_arr |
| ------------------------------ |
| for i in dic_arr: |
| print(i) |
- 键索引:sr[‘a’],sr[[‘a’,’b’,’d’]]
| dic_arr.get("A",default=0) |
pandas当中的整数索引对象可能会让初次接触它的人很懵逼,接下来通过代码演示:
| sr = pd.Series(np.arange(10)) |
| sr1 = sr[3:].copy() |
| sr1 |
| 运行结果: |
| 3 3 |
| 4 4 |
| 5 5 |
| 6 6 |
| 7 7 |
| 8 8 |
| 9 9 |
| dtype: int32 |
| |
| sr1[1] |
解决方法:
- loc属性 # 以标签解释
- iloc属性 # 以下标解释
pandas在运算时,会按索引进行对齐然后计算。如果存在不同的索引,则结果的索引是两个操作数索引的并集。
| sr1 = pd.Series([12,23,34], index=['c','a','d']) |
| sr2 = pd.Series([11,20,10], index=['d','c','a',]) |
| sr1 + sr2 |
| 运行结果: |
| a 33 |
| c 32 |
| d 45 |
| dtype: int64 |
| |
| sr3 = pd.Series([11,20,10,14], index=['d','c','a','b']) |
| sr1 + sr3 |
| 运行结果: |
| a 33.0 |
| b NaN |
| c 32.0 |
| d 45.0 |
| dtype: float64 |
| |
将两个Series对象相加时将缺失值设为0:
| sr1 = pd.Series([12,23,34], index=['c','a','d']) |
| sr3 = pd.Series([11,20,10,14], index=['d','c','a','b']) |
| sr1.add(sr3,fill_value=0) |
| 运行结果: |
| a 33.0 |
| b 14.0 |
| c 32.0 |
| d 45.0 |
| dtype: float64 |
| |
灵活的算术方法:add,sub,div,mul
到这里可能就会说了pandas就这么简单吗,那我们接下来一起看看这个二维数组DataFraeme
DataFrame是一个表格型的数据结构,相当于是一个二维数组,含有一组有序的列。他可以被看做是由Series组成的字典,并且共用一个索引。接下来就一起来见识见识DataFrame数组的厉害吧!!!
创建一个DataFrame数组可以有多种方式,其中最为常用的方式就是利用包含等长度列表或Numpy数组的字典来形成DataFrame:
| 第一种: |
| pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]}) |
| |
| 运行结果: |
| one two |
| 0 1 4 |
| 1 2 3 |
| 2 3 2 |
| 3 4 1 |
| |
| > 指定列 |
| 可以通过columns参数指定顺序排列 |
| data = pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]}) |
| pd.DataFrame(data,columns=['one','two']) |
| |
| |
| |
| 第二种: |
| pd.DataFrame({'one':pd.Series([1,2,3],index=['a','b','c']),'two':pd.Series([1,2,3],index=['b','a','c'])}) |
| 运行结果: |
| one two |
| a 1 2 |
| b 2 1 |
| c 3 3 |
以上创建方法简单了解就可以,因为在实际应用当中更多是读数据,不需要自己手动创建
常用属性和方法:
- index 获取行索引
- columns 获取列索引
- T 转置
- values 获取值索引
- describe 获取快速统计
| one two |
| a 1 2 |
| b 2 1 |
| c 3 3 |
| |
| --------------------------------------------------------------------------- |
| df.index |
| |
| > Index(['a', 'b', 'c'], dtype='object') |
| --------------------------------------------------------------------------- |
| df.columns |
| |
| > Index(['one', 'two'], dtype='object') |
| -------------------------------------------------------------------------- |
| df.T |
| |
| > a b c |
| one 1 2 3 |
| two 2 1 3 |
| |
| ------------------------------------------------------------------------- |
| df.values |
| |
| > array([[1, 2], |
| [2, 1], |
| [3, 3]], dtype=int64) |
| ------------------------------------------------------------------------ |
| df.describe() |
| |
| > one two |
| count 3.0 3.0 |
| mean 2.0 2.0 |
| std 1.0 1.0 |
| min 1.0 1.0 |
| 25% 1.5 1.5 |
| 50% 2.0 2.0 |
| 75% 2.5 2.5 |
| max 3.0 3.0 |
- DataFrame有行索引和列索引。
- DataFrame同样可以通过标签和位置两种方法进行索引和切片。
DataFrame使用索引切片:
- 方法1:两个中括号,无论是先取行还是先取列都可以。
| import tushare as ts |
| |
| data = ts.get_k_data("000001") |
| |
| data['open'][:10] |
| data[:10]['open'] |
- 方法2(推荐):使用loc/iloc属性,一个中括号,逗号隔开,先取行再取列。
| data.loc[:10,"open":"low"] |
| |
| data.iloc[:10,1:5] |
- 向DataFrame对象中写入值时只使用方法2
- 行/列索引部分可以是常规索引、切片、布尔值索引、花式索引任意搭配。(注意:两部分都是花式索引时结果可能与预料的不同)
处理时间对象可能是我们在进行数据分析的过程当中最常见的,我们会遇到各种格式的时间序列,也需要处理各种格式的时间序列,但是一定不能对这些数据懵逼,我们需要找到最合适的招式来处理这些时间。接下来就一起来看吧!!!
- 时间戳:特定时刻
- 固定时期:如2019年1月
- 时间间隔:起始时间-结束时间
| import datetime |
| |
| |
| |
| today = datetime.date.today() |
| t1 = datetime.date(2019,4,18) |
| |
| |
| |
| now = datetime.datetime.now() |
| t2 = datetime.datetime(2019,4,18) |
| |
| |
| |
| today = datetime.datetime.today() |
| yestoday = today - datetime.timedelta(1) |
| print(today,yestoday) |
| |
| today.strftime("%Y-%m-%d") |
| yestoday.strftime("%Y-%m-%d") |
| |
| datetime.datetime.strptime('2019-04-18','%Y-%m-%d') |
| import dateutil |
| |
| |
| date = '2019 Jan 2nd' |
| t3 = dateutil.parser.parse(date) |
- pd.to_datetime([‘2018-01-01’, ‘2019-02-02’])
将字符串转换为为时间对象
| from datetime import datetime |
| import pandas as pd |
| |
| date1 = datetime(2019, 4, 18, 12, 24, 30) |
| date2 = '2019-04-18' |
| t4 = pd.to_datetime(date1) |
| t5 = pd.to_datetime(date2) |
| t6 = pd.to_datetime([date1,date2]) |
| |
| t4,t5,t6 |
| > |
| """ |
| (Timestamp('2019-04-18 12:24:30'), |
| Timestamp('2019-04-18 00:00:00'), |
| DatetimeIndex(['2019-04-18 12:24:30', '2019-04-18 00:00:00'], dtype='datetime64[ns]', freq=None)) |
| """ |
将索引设置为时间序列
| ind = pd.to_datetime(['2018-03-01','2019 Feb 3','08/12-/019']) |
| sr = pd.Series([1,2,3],index=ind) |
| |
| |
| """ |
| pd.to_datetime(['2018-03-01','2019 Feb 3','08/12-/019']).to_pydatetime() |
| |
| > array([datetime.datetime(2018, 3, 1, 0, 0), |
| datetime.datetime(2019, 2, 3, 0, 0), |
| datetime.datetime(2019, 8, 12, 0, 0)], dtype=object) |
| # 通过to_pydatetime()方法将其转换为ndarray数组 |
| """ |
- start 开始时间
- end 结束时间
- periods 时间长度
- freq 时间频率,默认为’D’,可选H(our),W(eek),B(usiness),S(emi-)M(onth),(min)T(es), S(econd), A(year),…
| pd.date_range("2019-1-1","2019-2-2",freq="D") |
| |
| > DatetimeIndex(['2019-01-01', '2019-01-02', '2019-01-03', '2019-01-04', |
| '2019-01-05', '2019-01-06', '2019-01-07', '2019-01-08', |
| '2019-01-09', '2019-01-10', '2019-01-11', '2019-01-12', |
| '2019-01-13', '2019-01-14', '2019-01-15', '2019-01-16', |
| '2019-01-17', '2019-01-18', '2019-01-19', '2019-01-20', |
| '2019-01-21', '2019-01-22', '2019-01-23', '2019-01-24', |
| '2019-01-25', '2019-01-26', '2019-01-27', '2019-01-28', |
| '2019-01-29', '2019-01-30', '2019-01-31', '2019-02-01', |
| '2019-02-02'], |
| dtype='datetime64[ns]', freq='D') |
时间序列就是以时间对象为索引的Series或DataFrame。datetime对象作为索引时是存储在DatetimeIndex对象中的。
| |
| dt = pd.date_range("2019-01-01","2019-02-02") |
| |
| a = pd.DataFrame({"num":pd.Series(random.randint(-100,100) for _ in range(30)),"date":dt}) |
| |
| a.index = pd.to_datetime(a["date"]) |
特殊功能:
- 传入“年”或“年月”作为切片方式
- 传入日期范围作为切片方式
- 丰富的函数支持:resample(), strftime(), ……
| a.resample("3D").mean() |
| a.resample("3D").sum() |
| ... |
时间序列的处理在数据分析当中非常重要,但是有时候时间的格式不一致又会让人非常烦躁,只要把以上秘籍都学会就可以把时间序列制得服服帖帖。
在数据分析当中,我们有时需要将数据拆分,然后在每一个特定的组里进行运算,这些操作通常也是数据分析工作中的重要环节。
分组聚合相对来说也是一个稍微难理解的点,需要各位有一定的功力来学习.
pandas对象(无论Series、DataFrame还是其他的什么)当中的数据会根据提供的一个或者多个键被拆分为多组,拆分操作实在对象的特定轴上执行的。就比如DataFrame可以在他的行上或者列上进行分组,然后将一个函数应用到各个分组上并产生一个新的值。最后将所有的执行结果合并到最终的结果对象中。
分组键可以是多种样式,并且键不一定是完全相同的类型:
- 列表或者数组,长度要与待分组的轴一样
- 表示DataFrame某个列名的值。
- 字典或Series,给出待分组轴上的值与分组名之间的对应关系
- 函数,用于处理轴索引或者索引中的各个标签
后三种只是快捷方式,最终仍然是为了产生一组用于拆分对象的值。
首先,通过一个很简单的DataFrame数组尝试一下:
| df = pd.DataFrame({'key1':['x','x','y','y','x', |
| 'key2':['one','two','one',',two','one'], |
| 'data1':np.random.randn(5), |
| 'data2':np.random.randn(5)}) |
| df |
| |
| > key1 key2 data1 data2 |
| 0 x one 0.951762 1.632336 |
| 1 x two -0.369843 0.602261 |
| 2 y one 1.512005 1.331759 |
| 3 y two 1.383214 1.025692 |
| 4 x one -0.475737 -1.182826 |
访问data1,并根据key1调用groupby:
| f1 = df['data1'].groupby(df['key1']) |
| f1 |
| |
| > <pandas.core.groupby.groupby.SeriesGroupBy object at 0x00000275906596D8> |
上述运行是没有进行任何计算的,但是我们想要的中间数据已经拿到了,接下来,就可以调用groupby进行任何计算
| f1.mean() |
| > key1 |
| x 0.106183 |
| y 2.895220 |
| Name: data1, dtype: float64 |
以上数据经过分组键(一个Series数组)进行了聚合,产生了一个新的Series,索引就是key1
列中的唯一值。这些索引的名称就为key1
。接下来就尝试一次将多个数组的列表传进来
| f2 = df['data1'].groupby([df['key1'],df['key2']]) |
| f2.mean() |
| > key1 key2 |
| x one 0.083878 |
| two 0.872437 |
| y one -0.665888 |
| two -0.144310 |
| Name: data1, dtype: float64 |
传入多个数据之后会发现,得到的数据具有一个层次化的索引,key1对应的x\y;key2对应的one\two.
| f2.mean().unstack() |
| |
| > key2 one two |
| key1 |
| x 0.083878 0.872437 |
| y -0.665888 -0.144310 |
补充:
- 1、分组键可以是任意长度的数组
- 2、分组时,对于不是数组数据的列会从结果中排除,例如key1、key2这样的列
- 3、GroupBy的size方法,返回一个含有分组大小的Series
| |
| f2.size() |
| > key1 key2 |
| x one 2 |
| two 1 |
| y one 1 |
| two 1 |
| Name: data1, dtype: int64 |
到这跟着我上面的步骤一步一步的分析,会发现还是很简单的,但是一定不能干看,还要自己下手练,只有多练才能融汇贯通!!!
聚合是指任何能够从数组产生标量值的数据转换过程。刚才上面的操作会发现使用GroupBy并不会直接得到一个显性的结果,而是一个中间数据,可以通过执行类似mean、count、min等计算得出结果,常见的还有一些:
函数名 |
描述 |
sum |
非NA值的和 |
median |
非NA值的算术中位数 |
std、var |
无偏(分母为n-1)标准差和方差 |
prod |
非NA值的积 |
first、last |
第一个和最后一个非NA值 |
自定义聚合函数
不仅可以使用这些常用的聚合运算,还可以自己自定义。
| |
| |
| def peak_to_peak(arr): |
| return arr.max() - arr.min() |
| f1.aggregate(peak_to_peak) |
| 运行结果: |
| key1 |
| x 3.378482 |
| y 1.951752 |
| Name: data1, dtype: float64 |
多函数聚合:
| f1.agg(['mean','std']) |
| 运行结果: |
| mean std |
| key1 |
| x -0.856065 0.554386 |
| y -0.412916 0.214939 |
最终得到的列就会以相应的函数命名生成一个DataFrame数组
以上我们是可以通过agg或者是aggregate来实现多函数聚合以及自定义聚合函数,但是一定要注意agg方法只能进行聚合操作,进行其他例如:排序,这些方法是会报错的。agg返回的是数据的标量,所以有些时候并不适合使用agg,这就要看我们接下来的操作了。
GroupBy当中自由度最高的方法就是apply,它会将待处理的对象拆分为多个片段,然后各个片段分别调用传入的函数,最后将它们组合到一起。
df.apply(
[‘func’, ‘axis=0’, ‘broadcast=None’, ‘raw=False’, ‘reduce=None’, ‘result_type=None’, ‘args=()’, ‘**kwds’]
func:传入一个自定义函数
axis:函数传入参数当axis=1就会把一行数据作为Series的数据
| |
| import pandas as pd |
| |
| url="https://en.wikipedia.org/wiki/List_of_European_Cup_and_UEFA_Champions_League_finals" |
| eu_champions=pd.read_html(url) |
| a1 = eu_champions[2] |
| a1.columns = a1.loc[0] |
| a1.drop(0,inplace=True) |
| a1.drop('#',axis=1,inplace=True) |
| a1.columns=['Season', 'Nation', 'Winners', 'Score', 'Runners_up', 'Runners_up_Nation', 'Venue','Attendance'] |
| |
| a1.tail() |
| a1.drop([64,65],inplace=True) |
| a1 |
运行结果:
现在想根据分组选出Attendance
列中值最高的三个。
| |
| def top(df,n=3,column='Attendance'): |
| return df.sort_values(by=column)[-n:] |
| top(a1,n=3) |
运行结果:
接下来,就对a1分组并且使用apply调用该函数:
| a1.groupby('Nation').apply(top) |
运行之后会发现,我们通过这个操作将每个国家各个年份时段出席的人数的前三名进行了一个提取。
以上top函数是在DataFrame的各个片段上调用,然后结果又通过pandas.concat组装到一起,并且以分组名称进行了标记。
以上只是基本用法,apply的强大之处就在于传入函数能做什么都由自己说了算,它只是返回一个pandas对象或者标量值就行
pandas常用方法(适用Series和DataFrame)
- mean(axis=0,skipna=False)
- sum(axis=1)
- sort_index(axis, …, ascending) # 按行或列索引排序
- sort_values(by, axis, ascending) # 按值排序
- apply(func, axis=0) # 将自定义函数应用在各行或者各列上,func可返回标量或者Series
- applymap(func) # 将函数应用在DataFrame各个元素上
- map(func) # 将函数应用在Series各个元素上