量化分析师的Python日记【第5天:数据处理的瑞士军刀pandas】

来源:https://uqer.io/community/share/54ffd96ef9f06c276f651aac

第一篇:基本数据结构介绍

一、Pandas介绍

终于写到了作者最想介绍,同时也是Python在数据处理方面功能最为强大的扩展模块了。在处理实际的金融数据时,一个条数据通常包含了多种类型的数据,例如,股票的代码是字符串,收盘价是浮点型,而成交量是整型等。在C++中可以实现为一个给定结构体作为单元的容器,如向量(vector,C++中的特定数据结构)。在Python中,pandas包含了高级的数据结构SeriesDataFrame,使得在Python中处理数据变得非常方便、快速和简单。

pandas不同的版本之间存在一些不兼容性,为此,我们需要清楚使用的是哪一个版本的pandas。现在我们就查看一下量化实验室的pandas版本:

  1. import pandas as pd
  2. pd.__version__
  3. '0.14.1'

pandas主要的两个数据结构是SeriesDataFrame,随后两节将介绍如何由其他类型的数据结构得到这两种数据结构,或者自行创建这两种数据结构,我们先导入它们以及相关模块:

  1. import numpy as np
  2. from pandas import Series, DataFrame

二、Pandas数据结构:Series

从一般意义上来讲,Series可以简单地被认为是一维的数组。Series和一维数组最主要的区别在于Series类型具有索引(index),可以和另一个编程中常见的数据结构哈希(Hash)联系起来。

2.1 创建Series

创建一个Series的基本格式是s = Series(data, index=index, name=name),以下给出几个创建Series的例子。首先我们从数组创建Series

  1. a = np.random.randn(5)
  2. print "a is an array:"
  3. print a
  4. s = Series(a)
  5. print "s is a Series:"
  6. print s
  7. a is an array:
  8. [-1.24962807 -0.85316907 0.13032511 -0.19088881 0.40475505]
  9. s is a Series:
  10. 0 -1.249628
  11. 1 -0.853169
  12. 2 0.130325
  13. 3 -0.190889
  14. 4 0.404755
  15. dtype: float64

可以在创建Series时添加index,并可使用Series.index查看具体的index。需要注意的一点是,当从数组创建Series时,若指定index,那么index长度要和data的长度一致:

  1. s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])
  2. print s
  3. s.index
  4. a 0.509906
  5. b -0.764549
  6. c 0.919338
  7. d -0.084712
  8. e 1.896407
  9. dtype: float64
  10. Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')

创建Series的另一个可选项是name,可指定Series的名称,可用Series.name访问。在随后的DataFrame中,每一列的列名在该列被单独取出来时就成了Series的名称:

  1. s = Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'], name='my_series')
  2. print s
  3. print s.name
  4. a -1.898245
  5. b 0.172835
  6. c 0.779262
  7. d 0.289468
  8. e -0.947995
  9. Name: my_series, dtype: float64
  10. my_series

Series还可以从字典(dict)创建:

  1. d = {'a': 0., 'b': 1, 'c': 2}
  2. print "d is a dict:"
  3. print d
  4. s = Series(d)
  5. print "s is a Series:"
  6. print s
  7. d is a dict:
  8. {'a': 0.0, 'c': 2, 'b': 1}
  9. s is a Series:
  10. a 0
  11. b 1
  12. c 2
  13. dtype: float64

让我们来看看使用字典创建Series时指定index的情形(index长度不必和字典相同):

  1. Series(d, index=['b', 'c', 'd', 'a'])
  2. b 1
  3. c 2
  4. d NaN
  5. a 0
  6. dtype: float64

我们可以观察到两点:一是字典创建的Series,数据将按index的顺序重新排列;二是index长度可以和字典长度不一致,如果多了的话,pandas将自动为多余的index分配NaN(not a number,pandas中数据缺失的标准记号),当然index少的话就截取部分的字典内容。

如果数据就是一个单一的变量,如数字4,那么Series将重复这个变量:

  1. Series(4., index=['a', 'b', 'c', 'd', 'e'])
  2. a 4
  3. b 4
  4. c 4
  5. d 4
  6. e 4
  7. dtype: float64

2.2 Series数据的访问

访问Series数据可以和数组一样使用下标,也可以像字典一样使用索引,还可以使用一些条件过滤:

  1. s = Series(np.random.randn(10),index=['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j'])
  2. s[0]
  3. 1.4328106520571824
  1. s[:2]
  2. a 1.432811
  3. b 0.120681
  4. dtype: float64
  1. s[[2,0,4]]
  2. c 0.578146
  3. a 1.432811
  4. e 1.327594
  5. dtype: float64
  1. s[['e', 'i']]
  2. e 1.327594
  3. i -0.634347
  4. dtype: float64
  1. s[s > 0.5]
  2. a 1.432811
  3. c 0.578146
  4. e 1.327594
  5. g 1.850783
  6. dtype: float64
  1. 'e' in s
  2. True

三、Pandas数据结构:DataFrame

在使用DataFrame之前,我们说明一下DataFrame的特性。DataFrame是将数个Series按列合并而成的二维数据结构,每一列单独取出来是一个Series,这和SQL数据库中取出的数据是很类似的。所以,按列对一个DataFrame进行处理更为方便,用户在编程时注意培养按列构建数据的思维。DataFrame的优势在于可以方便地处理不同类型的列,因此,就不要考虑如何对一个全是浮点数的DataFrame求逆之类的问题了,处理这种问题还是把数据存成NumPy的matrix类型比较便利一些。

3.1 创建DataFrame

首先来看如何从字典创建DataFrameDataFrame是一个二维的数据结构,是多个Series的集合体。我们先创建一个值是Series的字典,并转换为DataFrame

  1. d = {'one': Series([1., 2., 3.], index=['a', 'b', 'c']), 'two': Series([1., 2., 3., 4.], index=['a', 'b', 'c', 'd'])}
  2. df = DataFrame(d)
  3. print df
  4. one two
  5. a 1 1
  6. b 2 2
  7. c 3 3
  8. d NaN 4

可以指定所需的行和列,若字典中不含有对应的元素,则置为NaN

  1. df = DataFrame(d, index=['r', 'd', 'a'], columns=['two', 'three'])
  2. print df
  3. two three
  4. r NaN NaN
  5. d 4 NaN
  6. a 1 NaN

可以使用dataframe.indexdataframe.columns来查看DataFrame的行和列,dataframe.values则以数组的形式返回DataFrame的元素:

  1. print "DataFrame index:"
  2. print df.index
  3. print "DataFrame columns:"
  4. print df.columns
  5. print "DataFrame values:"
  6. print df.values
  7. DataFrame index:
  8. Index([u'alpha', u'beta', u'gamma', u'delta', u'eta'], dtype='object')
  9. DataFrame columns:
  10. Index([u'a', u'b', u'c', u'd', u'e'], dtype='object')
  11. DataFrame values:
  12. [[ 0. 0. 0. 0. 0.]
  13. [ 1. 2. 3. 4. 5.]
  14. [ 2. 4. 6. 8. 10.]
  15. [ 3. 6. 9. 12. 15.]
  16. [ 4. 8. 12. 16. 20.]]

DataFrame也可以从值是数组的字典创建,但是各个数组的长度需要相同:

  1. d = {'one': [1., 2., 3., 4.], 'two': [4., 3., 2., 1.]}
  2. df = DataFrame(d, index=['a', 'b', 'c', 'd'])
  3. print df
  4. one two
  5. a 1 4
  6. b 2 3
  7. c 3 2
  8. d 4 1

值非数组时,没有这一限制,并且缺失值补成NaN

  1. d= [{'a': 1.6, 'b': 2}, {'a': 3, 'b': 6, 'c': 9}]
  2. df = DataFrame(d)
  3. print df
  4. a b c
  5. 0 1.6 2 NaN
  6. 1 3.0 6 9

在实际处理数据时,有时需要创建一个空的DataFrame,可以这么做:

  1. df = DataFrame()
  2. print df
  3. Empty DataFrame
  4. Columns: []
  5. Index: []

另一种创建DataFrame的方法十分有用,那就是使用concat函数基于Series或者DataFrame创建一个DataFrame

  1. a = Series(range(5))
  2. b = Series(np.linspace(4, 20, 5))
  3. df = pd.concat([a, b], axis=1)
  4. print df
  5. 0 1
  6. 0 0 4
  7. 1 1 8
  8. 2 2 12
  9. 3 3 16
  10. 4 4 20

其中的axis=1表示按列进行合并,axis=0表示按行合并,并且,Series都处理成一列,所以这里如果选axis=0的话,将得到一个10×1DataFrame。下面这个例子展示了如何按行合并DataFrame成一个大的DataFrame

  1. df = DataFrame()
  2. index = ['alpha', 'beta', 'gamma', 'delta', 'eta']
  3. for i in range(5):
  4. a = DataFrame([np.linspace(i, 5*i, 5)], index=[index[i]])
  5. df = pd.concat([df, a], axis=0)
  6. print df
  7. 0 1 2 3 4
  8. alpha 0 0 0 0 0
  9. beta 1 2 3 4 5
  10. gamma 2 4 6 8 10
  11. delta 3 6 9 12 15
  12. eta 4 8 12 16 20

3.2 DataFrame数据的访问

首先,再次强调一下DataFrame是以列作为操作的基础的,全部操作都想象成先从DataFrame里取一列,再从这个Series取元素即可。可以用datafrae.column_name选取列,也可以使用dataframe[]操作选取列,我们可以马上发现前一种方法只能选取一列,而后一种方法可以选择多列。若DataFrame没有列名,[]可以使用非负整数,也就是“下标”选取列;若有列名,则必须使用列名选取,另外datafrae.column_name在没有列名的时候是无效的:

  1. print df[1]
  2. print type(df[1])
  3. df.columns = ['a', 'b', 'c', 'd', 'e']
  4. print df['b']
  5. print type(df['b'])
  6. print df.b
  7. print type(df.b)
  8. print df[['a', 'd']]
  9. print type(df[['a', 'd']])
  10. alpha 0
  11. beta 2
  12. gamma 4
  13. delta 6
  14. eta 8
  15. Name: 1, dtype: float64
  16. <class 'pandas.core.series.Series'>
  17. alpha 0
  18. beta 2
  19. gamma 4
  20. delta 6
  21. eta 8
  22. Name: b, dtype: float64
  23. <class 'pandas.core.series.Series'>
  24. alpha 0
  25. beta 2
  26. gamma 4
  27. delta 6
  28. eta 8
  29. Name: b, dtype: float64
  30. <class 'pandas.core.series.Series'>
  31. a d
  32. alpha 0 0
  33. beta 1 4
  34. gamma 2 8
  35. delta 3 12
  36. eta 4 16
  37. <class 'pandas.core.frame.DataFrame'>

以上代码使用了dataframe.columnsDataFrame赋列名,并且我们看到单独取一列出来,其数据结构显示的是Series,取两列及两列以上的结果仍然是DataFrame。访问特定的元素可以如Series一样使用下标或者是索引:

  1. print df['b'][2]
  2. print df['b']['gamma']
  3. 4.0
  4. 4.0

若需要选取行,可以使用dataframe.iloc按下标选取,或者使用dataframe.loc按索引选取:

  1. print df.iloc[1]
  2. print df.loc['beta']
  3. a 1
  4. b 2
  5. c 3
  6. d 4
  7. e 5
  8. Name: beta, dtype: float64
  9. a 1
  10. b 2
  11. c 3
  12. d 4
  13. e 5
  14. Name: beta, dtype: float64

选取行还可以使用切片的方式或者是布尔类型的向量:

  1. print "Selecting by slices:"
  2. print df[1:3]
  3. bool_vec = [True, False, True, True, False]
  4. print "Selecting by boolean vector:"
  5. print df[bool_vec]
  6. Selecting by slices:
  7. a b c d e
  8. beta 1 2 3 4 5
  9. gamma 2 4 6 8 10
  10. Selecting by boolean vector:
  11. a b c d e
  12. alpha 0 0 0 0 0
  13. gamma 2 4 6 8 10
  14. delta 3 6 9 12 15

行列组合起来选取数据:

  1. print df[['b', 'd']].iloc[[1, 3]]
  2. print df.iloc[[1, 3]][['b', 'd']]
  3. print df[['b', 'd']].loc[['beta', 'delta']]
  4. print df.loc[['beta', 'delta']][['b', 'd']]
  5. b d
  6. beta 2 4
  7. delta 6 12
  8. b d
  9. beta 2 4
  10. delta 6 12
  11. b d
  12. beta 2 4
  13. delta 6 12
  14. b d
  15. beta 2 4
  16. delta 6 12

如果不是需要访问特定行列,而只是某个特殊位置的元素的话,dataframe.atdataframe.iat是最快的方式,它们分别用于使用索引和下标进行访问:

  1. print df.iat[2, 3]
  2. print df.at['gamma', 'd']
  3. 8.0
  4. 8.0

dataframe.ix可以混合使用索引和下标进行访问,唯一需要注意的地方是行列内部需要一致,不可以同时使用索引和标签访问行或者列,不然的话,将会得到意外的结果:

  1. print df.ix['gamma', 4]
  2. print df.ix[['delta', 'gamma'], [1, 4]]
  3. print df.ix[[1, 2], ['b', 'e']]
  4. print "Unwanted result:"
  5. print df.ix[['beta', 2], ['b', 'e']]
  6. print df.ix[[1, 2], ['b', 4]]
  7. 10.0
  8. b e
  9. delta 6 15
  10. gamma 4 10
  11. b e
  12. beta 2 5
  13. gamma 4 10
  14. Unwanted result:
  15. b e
  16. beta 2 5
  17. 2 NaN NaN
  18. b 4
  19. beta 2 NaN
  20. gamma 4 NaN