任务7-2-2-使用numpy进行数据去重

ETL数据预处理技术主讲人：王浩任务7-2-2使用numpy进行数据去重01.repeat函数02.03.目录tile函数unique函数CONTENTSa:array_like输入的想要进行repeat的数组repeats：intorarrayofintsrepeats参数应该是int类型或者是一个int数组。是对每一个元素repeat的次数。repeats将被广播去适应给定axis的shape。axis:int,optionalrepeat操作进行的维度，可选，int值。如果未指定，默认情况下，会将数组展平(flattened)，然后返回一个扁平的重复后的数组语法numpy.repeat(a,repeats,axis=None)作用：可以用于重复数组中的元素repeat返回值repeated_array:ndarray返回的repeat后的数组，除了在指定的axis维度以外，其余各维度的shape与原数组a一致。repeat>>>np.repeat(3,4)array([3,3,3,3])#下面这个例子中，x被展平(flattened，返回的数组也是一个扁平数组)>>>x=np.array([[1,2],[3,4]])>>>np.repeat(x,2)array([1,1,2,2,3,3,4,4])语法

numpy.tile(A,reps)作用通过按照reps给定的次数，repeat数组A，构造一个新的数组>>>a=np.array([0,1,2])#a.ndim==len(reps)>>>np.tile(a,2)array([0,1,2,0,1,2])#a.ndim<len(reps),a被升维为(1,3),返回结果为(2,6)>>>np.tile(a,(2,2))array([[0,1,2,0,1,2],[0,1,2,0,1,2]])>>>b=np.array([[1,2],[3,4]])#b.ndim>len(reps),reps被作为(1,2)处理，返回结果为(2,4)>>>np.tile(b,2)array([[1,2,1,2],[3,4,3,4]])

语法numpy.unique(arr,return_index,return_inverse,return_counts)参数:arr：输入数组，如果不是一维数组则会展开return_index：如果为true，返回新列表元素在旧列表中的位置（下标），并以列表形式存储。return_inverse：如果为true，返回旧列表元素在新列表中的位置（下标），并以列表形式存储。return_counts：如果为true，返回去重数组中的元素在原数组中的出现次数。importnumpyasnpA=[1,2,2,5,3,4,3]a=np.unique(A)print(a)print("______")a,indices=np.unique(A,return_index=True)#返回新列表元素在旧列表中的位置（下标）print(a) #列表print(indices) #下标a,indices=np.unique(A,return_inverse=True)#旧列表的元素在新列表的位置print(a)print(indices)print(a[indices])#使用下标重构原数组a,indices=np.unique(A,return_counts=True)#每个元素在旧列表里各自出现了几次print(a)print(indices)输出结果：[12345][12345][01453][12345][0114232][1225343][12345][12211]小结可以用于重复数组中的元素repeat通过按照