Python金融数据分析与挖掘（微课版） 课件 3-5.常用计算任务

第3章

数据处理包Pandas滚动计算、时间元素提取映射与离散化分组统计滚动计算第3章

滚动计算，也称为移动计算，给定一个数据序列，按指定的前移长度进行统计计算，比如求和、平均值、最大值、最小值、中位数、方差、标准差等。这里前移长度的计算，包含自身，如果待计算的数据序列小于指定的前移长度，则无法计算，用空值“nan”来表示。简单调用形式为：S.rolling(N).统计函数，其中S表示序列，N表示指定的前移长度importpandasaspdlist_data=[10,4,3,8,15,26,17,80,12,5]series_data=pd.Series(list_data)rolling_sum=series_data.rolling(5).sum()rolling_mean=series_data.rolling(5).mean()rolling_max=series_data.rolling(5).max()rolling_min=series_data.rolling(5).min()rolling_median=series_data.rolling(5).median()rolling_var=series_data.rolling(5).var()时间元素提取第3章

对时间格式的序列数据，提取包括年份、月份、周数、日期、小时、分钟、秒、星期几等时间元素。importpandasaspddata=pd.read_excel('dat.xlsx')这里“刷卡时间”数据格式为字符串时间元素提取第3章

对时间格式的序列数据，提取包括年份、月份、周数、日期、小时、分钟、秒、星期几等时间元素。importpandasaspddata=pd.read_excel('dat.xlsx')data['刷卡时间']=pd.to_datetime(data.iloc[:,1],format='%Y-%m-%d%H:%M:%S.%')这里“刷卡时间”数据格式为时间格式时间元素提取第3章

data['year']=data['刷卡时间'].dt.yeardata['month']=data['刷卡时间'].dt.monthdata['day']=data['刷卡时间'].dt.daydata['hour']=data['刷卡时间'].dt.hourdata['minute']=data['刷卡时间'].dt.minutedata['second']=data['刷卡时间'].dt.seconddata['week']=data['刷卡时间'].dt.isocalendar().weekdata['weekday']=data['刷卡时间'].dt.weekday将字符串类型的时间序列转化为时间戳类型。时间元素提取形式式为：“时间戳类型序列.dt.时间元素”，返回的结果依然是序列映射第3章

序列中的映射方法，简单的调用形式为：序列.map(映射参数)，其中映射参数一般为字典类型，格式如：{原值1:映射值1,原值2:映射值2,...}。dict_map={'进站':1,'出站':0}data['刷卡类型']=data['刷卡类型'].map(dict_map)离散化第3章

data1=data.iloc[data['刷卡类型'].values==1,[0,5,6]]#取刷卡类型、hour、minute列data1_hour=data1.groupby('hour')['刷卡类型'].sum()#按hour分组，对刷卡类型列求和离散化第3章

bins=[0,100,500,1000]dt1=pd.cut(data1_hour,bins)dt2=pd.cut(data1_hour,bins,labels=[0,1,2])dt_cut=pd.DataFrame({'c1':data1_hour.values,'c2':dt1.values,'c3':dt2.values})dt_cut.index=data1_hour.index数据分割，即离散化，可以使用pandas库中的cut函数来实现，其简单调用形式为：pd.cut(S,bins)或pd.cut(S,bins,labels),其中S为数据序列，bins为分割区间列表，labels为分割区间的类别表示列表分组统计第3章

姓名日期消费类型消费额张明2018-01旅游200张明2018-01餐饮300张明2018-01服装300张明2018-02旅游100张明2018-02餐饮250张明2018-02服装250李红2018-01旅游50李红2018-01餐饮200李红2018-01服装400李红2018-02旅游100李红2018-02餐饮250李红2018-02服装500王周2018-01旅游500王周2018-01餐饮200王周2018-01服装100王周2018-02旅游650王周2018-02餐饮180王周2018-02服装80按“姓名”字段，可以分为3组；如果按“姓名”和“日期”字段，可以分为6组，比如第一组为“张明、2018-01”，第二组为“张明、2018-02”。以“姓名、日期”为分组字段，“消费额”为统计字段，即可确定统计范围，例如对第一组的“销售额”作求和统计，结果为：200+300+300=800；第二组求和统计结果为：100+250+250=600分组统计计算，可以通过数据框的groupby()方法和相关统计函数组合完成，调用形式为：df.groupby([分组字段])[统计字段].统计函数，其中统计函数如sum()、mean()、median()、max()、min()、var()、std()等分组统计第3章

importpandasaspdB=pd.read_excel('表3-1用户消费数据.xlsx')B1=B.groupby(['姓名','日期'])['消费额'].sum()分组统计第3章

分组统计后的结果数据长度与分组个数相同，与原始数据的长度不相同，对某些计算任务不太友好，比如要计算张明，2018-01，在旅游、餐饮和服装上的消费占比。事实上，分组统计计算，有另外一种形式，其统计结果与原始数据规模相同，其简单调用