python清洗数据

A. python数据清洗和可视化的文献有哪些

《Python 3 爬虫、数据清洗与可视化实战（第2版）》、《python数据可视化:基于bokeh的可视化绘图》和《Python数据科学手册》等。
python数据清洗和可视化的文献有这些，可以帮助学习数据抽取、数据清洗、数据转换、数据探索等。

B. Python第19课：数据清洗之去错、去空、去重

Python 第19课：数据清洗之去错、去空、去重

时间 2019-02-01 下午3：30

主讲 刘培富

地点 四楼电教室

数据清洗是数据治理的关键环节，是指对获取的原始数据（也称“脏数据”）进行审查、校验、加工的过程，目的在于删除重复信息、纠正错误信息，保持数据一致性。

一般来说，数据清洗，主要是对数据进行去错、去空、去重处理。

针对一张包含姓名、身份证号码、车牌号码的数据表，建立纠错规则如下：

1.车牌号既不包含汉字赣，且不包含汉字饶。

2.身份证号码的年份既不等于19也不等于20，身份证号码的月份大于12，身份证号码的日期大于31。

3.身份证号码位数不等于18。

4.姓名的长度小于等于1。

二、去空

对于关键性数据，不允许为空，对于这类数据，要查询是否存在空值。

三、去重

在一张表中，有的数据列允许重复，有的数据列则不允许重复。例如，对于一张车主信息表来说，姓名、身份证号可以重复，因为存在一人登记多辆车的情形，这种重复，不能认为是错误。但是，车牌号则不允许重复，否则就存在业务逻辑的错误。所以，针对车牌号数据列，要进行去重。

通过以下SQL语句，可以列出重复的数据：

综上，数据清洗，既要懂技术，更要懂业务，否则无法正确制定清洗规则，导致数据清洗流于形式，达不到清洗的效果。

C. pythonq清洗数据集经典案例

####################读取数据======================================================
import pandas as pd
import numpy as np
d1 = pd.read_excel('C:\Users\xn084037\Desktop\清洗数据集.xlsx',sheetname='一级流量')
d1.head(2)

d2 = pd.read_excel('C:\Users\xn084037\Desktop\清洗数据集.xlsx',sheetname='二级流量')
d2.head(2)

d3 = pd.read_excel('C:\Users\xn084037\Desktop\清洗数据集.xlsx',sheetname='三级流量')
d3.head(2)
##########################清洗------01增——拓展数据维度

df_concat = pd.concat([d1,d2,d3])
df_concat

h1 = pd.DataFrame({'语文':[93,80,85,76,58],'数学':[87,99,95,85,70],'英语':[80,85,97,65,88]},
index =['韩梅梅','李雪','李华','王明','铁蛋'])
h1

h2 = pd.DataFrame({'篮球':[93,80,85,76],'舞蹈':[87,99,95,85]},
index= ['李华','王明','铁蛋','刘强'])
h2

pd.merge(left=h1,right=h2,left_index=True,right_index=True,how='inner')

df_concat.dropna()

df_concat.dropna(subset = ['客单价'])

repeat = pd.concat([df_concat,df_concat])
print('重复的数据集一共多少行:',len(repeat))

unique = repeat.drop_plicates()
print('去重后的数据集一共多少行：',len(unique))
unique

df_concat.drop_plicates(subset='流量级别')

df_concat.drop_plicates(subset='流量级别',keep='last')

******************03 查——基于条件查询*********************************

df_concat.loc[(df_concat['访客数']>10000)&(df_concat['流量级别']=='一级'),:]

sort_df= df_concat.sort_values('支付金额',ascending=False)
sort_df

*********************04 分——分组和切分************************************

df_concat.groupby('流量级别')

df_concat.groupby('流量级别').sum()
df_concat.groupby('流量级别').sum()

df_concat.groupby('流量级别')['访客数','支付金额'].sum()

df_concat.groupby('流量级别',as_index=False)['访客数','支付金额'].sum()

pd.cut(x,bins,right,labels)

pd.cut(x=df_concat['访客数'],bins=[0,100,1000,10000,100000])

df_concat['分类打标']= pd.cut(x=df_concat['访客数'],bins=[0,100,1000,10000,100000],
right=False,labels=['辣鸡','百级','千级','万级'])
df_concat

###################Pandas将多个Sheet写入到本地同一Excel文件中
import pandas as pd #读取两个表格data1=pd.read_excel('文件路径')
data2=pd.read_excel('C:\Users\xn084037\Desktop\副本三代核心系统入账金额异常结果数据.xlsx')#将两个表格输出到一个excel文件里面
data1=pd.read_excel('C:\Users\xn084037\Desktop\副本三代核心系统入账金额.xlsx')#将两个表格输出到一个excel文件里面
writer=pd.ExcelWriter('D:新表.xlsx')
data1.to_excel(writer,sheet_name='sheet1')
data2.to_excel(writer,sheet_name='sheet2') #必须运行
writer.save()#不然不能输出到本地writer.save()

D. 怎么用python做excel里的数据清洗

解答如下：
首先打开txt文件，使用open（txtname），进行一行一行的读；
如果需要的话，对每行的数据进行解析；
导入xlrd，xlwt进行excel读写；
大致代码如下：
import
xlrd,xlwttxtname=r"c:\value.txt"workbook
=
xlwt.workbook(encoding
=
'ascii')worksheet
=
workbook.add_sheet('sheet1')fp=open(txtname)for
linea
in
fp.readlines():
worksheet.write(0,
0,
label
=
linea)workbook.save('excel_workbook.xls')fp.close()

E. Excel用Python读取清洗后怎么写入数据

导入xlrd库。
要导入xlrd库，它是读取excel中数据的库，解压所下载的压缩包，用cmd命令行CD到解压目录，执行pythonsetup.pyinstall命令，要导入xlwt库，它是开发人员用于生成与MicrosoftExcel版本95到2003兼容的电子表格文件的库。接着用cmd命令行切换到下载文件所解压的目录，输入pythonsetup.pyinstall命令，如无意外则安装成功。
openpyxl是用于读取和写入Excel2010xlsx/xlsm/xltx/xltm文件的Python库。

F. python数据分析需要数据清理吗

1、对数据进行排序df.sort_values()
#读取数据
titanic_survival=pd.read_csv(r"C:Userspythonwandata_minepython_pandas itanic_train.csv")
#用sort_values()函数对指定列排序，默认升序排序，inplace=True表示在原来的df上排序titanic_survival.sort_values(("Age"),inplace=Tru
2、缺失值判断及统计pandas.isnull()、pandas.isnull
空值统计方法一：df.isnull().sum()：
#当不指定具体列时，统计整个df的缺失值个数
titanic_survival['Age'].isnull().sum()
通过len()函数统计缺失值
3、缺失值处理
处理缺失值可以分为两类：删除缺失值和缺失值插补。而缺失值插补又分为以下几种：
均值/中位数/众数插补
使用固定值（将缺失值的属性用一个常量代替）
最近邻插补（在记录中找到与缺失值样本最接近的样本的该属性插补）
回归方法（对带有缺失值的变量，根据已有数据和与其有关的其他变量建立拟合模型来预测缺失值）
插值法（利用已知点建立合适的插值函数f(x),未知值由对应点xi求出来近似代替）
下面，我们主要讨论删除缺失值，学习一些pandas缺失值删除的操作。
1）df.dropna(),舍弃含有任意缺失值的行
#等价于titanic_survival.dropna(axis=0) axis=0表示删除行，axis=1表示删除列
dropall=titanic_survival.dropna()
删除含任意空值的行
2）df.dropna()函数删除某个列中含有空值的行
现在这个数据中age、cabin、embarked都有缺失值，如果我们直接使用df.dropna()会删除掉这三列中都有空值的所有行，但是我们希望只删除age列中有空值的数据，那该如何处理呢？
直接使用df.dropna(subset=['column_list'])
drop_age_null=titanic_survival.dropna(subset=["Age"])
删除指定列中含有缺失值的行
pandas自定义函数

G. python数据清洗excel

python清洗excel的数据还是很简单的
这里就列举例子说一下
这是原始数据，这里要处理的是地区和薪水两个字段。

主要把薪资处理成以千/月为单位。保留城市。
处理后的数据：

H. python数据清洗的优点

优点: 灵活性高,可以随意定制分析需求 脉络清晰抑郁理解数据 操作性强。

I. python数据分析干什么

第一、检查数据表
Python中使用shape函数来查看数据表的维度，也就是行数以及列数。你可以使用info函数来查看数据表的整体信息，使用dtype函数来返回数据格式;lsnull是Python中检验空值的函数，可以对整个数据表进行检查，也可以单独对某一行进行空值检查，返回的结构是逻辑值，包含空值返回true，不包含则返回false。
第二、数据清洗
Python可以进行数据清洗，Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包含空值的数据，也可以使用fillna函数对空值进行填充;Python中dtype是查看数据格式的函数，与之对应的是astype函数，用来更改数据格式，Rename是更改列名称的函数，drop_plicates函数删除重复值，replace函数实现数据替换。
第三、数据提取
进行数据提取时，主要使用三个函数：loc、iloc以及ix。Loc函数按标签进行提取，iloc按位置进行提取，ix可以同时按照标签和位置进行提取。除了按标签和位置提取数据之外，还可以按照具体的条件进行提取，比如使用loc和isin两个函数配合使用。
第四、数据筛选
Python数据分析还可以进行数据筛选，Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和count函数还能实现Excel中sumif和countif函数的功能。使用的主要函数是groupby和pivot_table;groupby是进行分类汇总的函数，使用方法比较简单，groupby按列名称出现的顺序进行分组。

J. Python数据分析师主要做什么Python基础

伴随着大数据时代的到来，Python的热度居高不下，已成为职场人士必备的技能，它不仅可以从事网络爬虫、人工智能、Web开发、游戏开发等工作，还是数据分析的首选语言。那么问题来了，利用Python数据分析可以做什么呢?简单来讲，可以做的事情有很多，具体如下。

第一、检查数据表

Python中使用shape函数来查看数据表的维度，也就是行数和列数。你可以使用info函数查看数据表的整体信息，使用dtypes函数来返回数据格式。Lsnull是Python中检查空置的函数，你可以对整个数据进行检查，也可以单独对某一列进行空置检查，返回的结果是逻辑值，包括空置返回True，不包含则返回False。使用unique函数查看唯一值，使用Values函数用来查看数据表中的数值。

第二，数据表清洗

Python中处理空值的方法比较灵活，可以使用Dropna函数用来删除数据表中包括空值的数据，也可以使用fillna函数对空值进行填充。Python中dtype是查看数据格式的函数，与之对应的是asstype函数，用来更改数据格式，Rename是更改名称的函数，drop_plicate函数函数重复值，replace函数实现数据转换。

第三，数据预处理

数据预处理是对清洗完的数据进行整理以便后期统计和分析工作，主要包括数据表的合并、排序、数值分列、数据分组以及标记等工作。在Python中可以使用merge函数对两个数据表进行合并，合并的方式为inner，此外还有left、right和outer方式。使用ort_values函数和sort_index函数完成排序，使用where函数完成数据分组，使用split函数实现分列。

第四，数据提取

主要是使用三个函数：loc、iloc和ix，其中loc函数按标准值进行提取，iloc按位置进行提取，ix可以同时按标签和位置进行提取。除了按标签和位置提取数据意外，还可以按照具体的条件进行提取。

第五，数据筛选汇总

Python中使用loc函数配合筛选条件来完成筛选功能，配合sum和count函数还能实现Excel中sumif和countif函数的功能。Python中使用的主要函数是groupby和pivot_table。