#!/usr/bin/python3
# -*- coding: UTF-8 -*-
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


def main():
    # 创建一个列表Series,pandas会创建整形指标

    s = pd.Series([1, 2, 3, np.nan, 6, 8])
    print(s)

    # 通過传递数据字相同的数组，时间索引，列标签创建DataFrame

    dates = pd.date_range('20130101', periods=6)
    print(dates)

    # 上下文联系

    df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD'))
    print(df)

    # 字典模式
    df2 = pd.DataFrame({
        'A': 1.,
        'B': pd.Timestamp('20130102'),
        'C': pd.Series(1, index=list(range(4)), dtype='float32'),
        'D': np.array([3] * 4, dtype='int32'),
        'E': pd.Categorical(["test", "train", "test", "train"]),
        'F': 'foo'})
    print(df2)

    # 查看格列dtype
    print(df2.dtypes)

    ###第二部分查看所有基本功能
    # 头
    print(df.head())

    # 尾
    print(df.tail(3))

    # 查看索引，列和数组数据
    print(df.index)

    # 查看列
    print(df.columns)

    # 查看值
    print(df.values)

    # 查看数据快速统计
    print(df.describe())

    # 对数据列转换
    print(df.T)

    # 按照行排序
    print(df.sort_index(axis=1, ascending=False))

    # 按照值排序
    print(df.sort_values(by='B'))

    # 选择数据 标准Python/Numpy 表达式直观可用

    # 获取 选择一列返回Series
    print(df['A'])

    # 通过[]选择 进行切片
    print(df[0:3])

    # 标签选择，通过标签获取交叉区域
    print(df.loc[dates[0]])

    # 通过标签获取更多的数据
    print(df.loc[:, ['A', 'B']])

    # 标签切片
    print(df.loc['20130102':'20130104', ['A', 'B']])

    # 返回对象缩减维度
    df.loc['20130102', ['A', 'B']]

    # 获取单个值
    print(df.loc[dates[0], 'A'])

    # 快速访问单个标量
    print(df.at[dates[0], 'A'])

    # loc 和 iloc 的区别 loc按标签搜索，iloc按索搜索
    print(df.iloc[3])

    # 通过数值切片 左开右闭
    print(df.iloc[3:5, 0:2])

    # 通过指定表位置
    print(df.iloc[[1, 2, 4], [0, 2]])

    # 对行切片
    print(df.iloc[1:3, :])

    # 对列切片
    print(df.iloc[:, 1:3])

    # 获取特定值
    print(df.iloc[1, 1])

    # 通过某；列选择数据
    print(df[df.A > 0])

    # 通过where选择数据
    print(df[df > 0])

    # 通过isin()过滤数据
    df2 = df.copy()
    df2['E'] = ['one', 'one', 'two', 'three', 'four', 'three']
    print(df2)

    print(df2[df2['E'].isin(['two', 'four'])])

    # 通过标签更新值
    df.at[dates[0], 'A'] = 0

    # 通过位置更新值
    df.iat[0, 1] = 0

    # 通过数组更新值
    df.loc[:, 'D'] = np.array([5] * len(df))

    print(df)

    # 通过where更新值
    df2 = df.copy()
    df2[df2 > 0] = -df2
    print(df2)

    # 缺失数据处理reindex()可以修改/增加/删除索引，会返回一个数据的副本:
    df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])
    df1.loc[dates[0]:dates[1], 'E'] = 1
    print(df1)

    # d丢掉缺失行
    print(df1.dropna(how='any'))

    # 对缺失行 赋值
    print(df1.fillna(value=5))

    # 对缺失的布尔值赋值
    print(pd.isnull(df1))

    # 平均值
    print(df.mean())

    # 按照行求均值
    print(df.mean(axis=1))

    # 操作不同维护需要对齐，pandas 会沿着指定维度执行
    s = pd.Series([1, 2, 5, np.nan, 6, 8], index=dates).shift(2)
    print(s)
    print(df.sub(s, axis='index'))

    """
    注:
    这里对齐维度指的对齐时间index
    shift(2)指沿着时间轴将数据顺移两位
    sub指减法，与NaN进行操作，结果也是NaN

    """
    # 应用
    # 对数据应用function 注: - cumsum 累加

    print(df.apply(np.cumsum))
    print(df.apply(lambda x: x.max() - x.min()))

    # 直方图
    s = pd.Series(np.random.randint(0, 7, size=10))
    print(s)

    # j计数
    print(s.value_counts())

    # 支持字符串
    s = pd.Series(['A', 'B', 'C', 'Aaba', 'bACA', np.nan, 'CABA', 'dog', 'cat'])
    print(s)

    # 连接合并
    df = pd.DataFrame(np.random.randn(10, 4))
    print(df)
    pieces = [df[:3], df[3:7], df[7:]]
    print(pd.concat(pieces))

    # join操作
    left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
    right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})
    print(left)
    print(right)
    print(pd.merge(left, right, on='key'))

    # 追加
    df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])
    print(df)

    s = df.iloc[3]
    print(s)
    print(df.append(s, ignore_index=True))

    # group by 操作
    df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'],
                       'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'],
                       'C': np.random.randn(8),
                       'D': np.random.randn(8)})

    print(df)

    # 分组求和
    print(df.groupby(['A']).sum())

    # 多列求和
    print(df.groupby(['A', 'B']).sum())

    #绘图
    ts=pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
    ts=ts.cumsum()
    print(ts.plot())
    plt.close('all')


if __name__ == '__main__':
    main()