linuxgroupby

❶ r语言和python哪个更有用

通常，我们认为Python比R在计算机编程、网络爬虫上更有优势，而 R 在统计分析上是一种更高效的独立数据分析工具。所以说，同时学会Python和R这两把刷子才是数据科学的王道。

R语言，一种自由软件编程语言与操作环境，主要用于统计分析、绘图、数据挖掘。R本来是由来自新西兰奥克兰大学的罗斯·伊哈卡和罗伯特·杰特曼开发(也因此称为R)，现在由“R开发核心团队”负责开发。

R基于S语言的一个GNU计划项目，所以也可以当作S语言的一种实现，通常用S语言编写的代码都可以不作修改的在R环境下运行。R的语法是来自Scheme。

R的源代码可自由下载使用，亦有已编译的可执行文件版本可以下载，可在多种平台下运行，包括UNIX(也包括FreeBSD和linux)、Windows和MacOS。R主要是以命令行操作，同时有人开发了几种图形用户界面。

R的功能能够通过由用户撰写的包增强。增加的功能有特殊的统计技术、绘图功能，以及编程接口和数据输出/输入功能。这些软件包是由R语言、LaTeX、java及最常用C语言和Fortran撰写。

下载的可执行文件版本会连同一批核心功能的软件包，而根据CRAN纪录有过千种不同的软件包。其中有几款较为常用，例如用于经济计量、财经分析、人文科学研究以及人工智能。

Python与R语言的共同特点：

Python和R在数据分析和数据挖掘方面都有比较专业和全面的模块，很多常用的功能，比如矩阵运算、向量运算等都有比较高级的用法。

Python和R两门语言有多平台适应性，linux、window都可以使用，并且代码可移植性强。

Python和R比较贴近MATLAB以及minitab等常用的数学工具。

Python与R语言的区别：

数据结构方面，由于是从科学计算的角度出发，R中的数据结构非常的简单，主要包括向量(一维)、多维数组(二维时为矩阵)、列表(非结构化数据)、数据框(结构化数据)。

而 Python 则包含更丰富的数据结构来实现数据更精准的访问和内存控制，多维数组(可读写、有序)、元组(只读、有序)、集合(唯一、无序)、字典(Key-Value)等等。

Python与R相比速度要快。Python可以直接处理上G的数据;R不行，R分析数据时需要先通过数据库把大数据转化为小数据(通过groupby)才能交给R做分析，因此R不可能直接分析行为详单，只能分析统计结果。

Python是一套比较平衡的语言，各方面都可以，无论是对其他语言的调用，和数据源的连接、读取，对系统的操作，还是正则表达和文字处理，Python都有着明显优势。 而R是在统计方面比较突出。

Python的pandas借鉴了R的dataframes，R中的rvest则参考了Python的BeautifulSoup，两种语言在一定程度上存在互补性。

❷ df1.index与df.类别

1、查看数据类型：type(a)
2、查看已安装的包：
在dos命令行界面：如果你使用的是pip来作为你的python包管理器的话，可以在命令行下直接运行$ pip freeze或者$ pip list来查看安装包的信息，当然其它的包管理器也有类似的功能，同时，你也可以在python交互式解释器中导入pip模块来查看包信息。
在python提示符下，用help(‘moles’)，可以显示所有包名称，用import sys as s >> s.moles.keys() ，可以显示系统模块；
3、在LINUX环境下安装anaconda：https://blog.csdn.net/wyf2017/article/details/118676765?spm=1001.2101.3001.6650.2&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-2.pc_relevant_default&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7ERate-2.pc_relevant_default&utm_relevant_index=5
1）先找需要安装版本的官网地址链接，如https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh；
2）在linux控制台输入：wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh
3）先赋搜搭权在安装程序：chmod +x Anaconda3-5.3.0-Linux-x86_64.sh
./Anaconda3-5.3.0-Linux-x86_64.sh
4）一直按ENTER，直到出现选择yes or no，输入yes；
5）继续按ENTER，直到出现选择yes，输入yes，添加环境变量；
6）若上面这一步没选择yes，会默认选择no，则需要自己到安装anaconda的路径下，设置环境变量：
export PATH=/home/anaconda3/bin:KaTeX parse error: Expected 'EOF', got '#' at position 36: …一句话注释掉： #̲ export PATH=/u…PATH
export PATH=/root/anaconda3/bin:$PATH
8）然后，保存更改：source ~/.bashrc
9）吵漏闹检测是否安装成功：
进入自己的文件夹目录下输入：anaconda -V conda -V
4、在linux环境下下载并安装mysql：https://blog.csdn.net/daren/article/details/89874564?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522164517585116780265466903%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=164517585116780265466903&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2blog_landing_v2~default-3-89874564.nonecase&utm_term=linux%E7%8E%AF%E5%A2%83%E4%B8%8B%E5%AE%89%E8%A3%85mysql&spm=1018.2226.3001.4450
1）先找安装包网址链接：从升罩官网或者网盘下载
2）用linux命令将安装包下载到指定文件夹下：wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz
3）再安装到指定目录下：
cd 路径
解压：tar -zxvf mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz
修改文件夹名称：mv mysql-5.7.25-linux-glibc2.12-x86_64 /mysql
2）新建data目录
命令：mkdir /mysql/data
3）新建mysql用户组及mysql用户
命令：groupadd mysql //新建用户组
命令：useradd mysql -g mysql //新建用户
4）将/usr/local/mysql的所有者及所属组改为mysql
chown -R mysql.mysql /usr/local/mysql
5）配置
命令：/usr/local/mysql/bin/mysql_install_db --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data
6）配置/etc/my.cnf
vim /etc/my.cnf
7）开启服务
命令：cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql //将mysql加入服务
命令：chkconfig mysql on //开机自动启动
命令：service mysql start //开启mysql服务
开启mysql服务报错， 在这里插入图片描述
8）设置密码
命令：/usr/local/mysql/bin/mysql -u root -p //在my.cnf中配置了取消密码验证，此处密码任意输入
命令：use mysql; //操作mysql数据库
命令：update user set authentication_string=password(‘你的密码’) where user=‘root’; //修改密码
命令：flush privileges;
命令：exit; //退出
9）将/etc/my.cnf中的skip-grant-tables删除
10）如果是本机安装则到此步骤已经安装配置完成，如果是在虚拟机或者远程服务器上安装，则需要以下步骤
允许远程连接
命令：/usr/local/mysql/bin/mysql -u root -p //登录
命令：use mysql;
命令：update user set host=’%’ where user = ‘root’;
命令：flush privileges;
命令：exit;
Pandas
dataframe：
1、dataframe，如何查看一个DataFrame对象的所有索引，列名，以及DataFrame中具体的值？
有一个dataframe对象df1，查看索引使用使用df1.index，查看列名使用df1.columns，查看所有的值为df1.values。
2、创建dataframe：
df1=pd.DataFrame(np.arange(16).reshape(4,4),
index = pd.date_range(‘20200101’, periods = 4),
columns=list(‘ABCD’))
3、使用df1.index返回的是一个索引，如果获取具体的值的话，需要使用df1.index.values转化为列表。
4、根据列名取dataframe的数据
基本格式：dataframe[列名]
1）取多列
列名要用中括号括起来，所以下述命令
dataframe[[‘P4_profit_rate’,‘P3PS’,‘P3NS’]] 没问题,返回pandas.core.frame.DataFrame类型的值
dataframe[‘P4_profit_rate’,‘P3PS’,‘P3NS’]出错
2）取一列
列名可以不用中括号括起来，
dataframe[‘P4_profit_rate’] 没问题，返回pandas.core.series.Series类型的值
列名也可以用中括号括起来，
dataframe[[‘P4_profit_rate’]] 也能正常运行，但返回pandas.core.frame.DataFrame类型的值
1. 常用基本方法及属性
df.info() 输出总行数、各列的行数、类型、索引、占用内存等信息；
df.index 输出索引，为 pandas.core.indexes.range.RangeIndex 类型；
df.columns 输出列名，为pandas.core.indexes.base.Index 类型，可使用df.columns.str ；
df.dtypes 各列的类型，输出一个series，值是object类型；
df.values 值，输出一个 array ；
df.describe() 输出各数值列的统计值，如非空个数、均值、std、极值、分位数。
2. 索引
df.set_index() 设置索引，括号内可以填入DataFrame中某列的列名，就能使用此列作为索引；
df.loc[ ] 以label索引，可实现花哨的混合索引，如：df.loc[ df.density>100, [‘pop’, ‘density’] ] ；
df.iloc[ ] 以绝对位置索引，即数字；
掩码操作，如 df[ df [‘density’] > 100 ] 。
3. 计算：
df.cov() 协方差，df.corr() 相关系数，df.mean(axis = 1)，df.median()，df.max()；
df[ ‘Age’ ].value_counts(ascending = True, bins = 5) 非nan计数(升序排列，分箱)；
pd.cut()也能实现连续值离散化，pandas.cut(x,bins,right=True,labels=None,retbins=False,precision=3,include_lowest=False)。
4. 增删改查、合并、排序
使用df.()防止误修改df；
df.rename(index = {‘a’ : ‘A’}, inplace = True) 重命名索引，注意需要inplace为True才能真正修改；
df.append(df2) 增加；
df.drop([‘a’, ‘b’], inplace = True) 删除；
data.drop_plicates()去重，subset参数可以选择具体的列；
df3 = pd.concat([df1,df2], axis = 0) 实现两个DataFrame的简易合并；
pd.merge(on, left_on, right_on, left_index, right_index, how, suffixes) 数据表连接操作，on可以指定多个列作为键;
多列排序 data.sort_values(by=[‘group’,‘data’],ascending = [False,True],inplace=True)，即在by、ascending处传入list，会先按’group’列再按’data’列排序。
5. groupby聚合 和数据透视表pivot_table（相当于多维的groupby操作）
df.pivot_table(index = ‘Sex’, columns=‘Pclass’, values=‘Fare’，aggfunc = ‘sum’) ，aggfunc默认是mean；
6. 时间序列
Pandas所有关于日期与时间的处理方法全部是通过Timestamp对象实现的；
pd.to_datetime(‘2017-11-24’) 把str转化为Timestamp对象（pd.Timestamp也可以）；
ts + pd.Timedelta(‘5 days’) 用Timedelta加上时间间隔；
pd.read_csv()方法中参数parse_dates = True，可以直接将数据中的时间作为索引；
将时间戳作为索引值取出对应时间段内的数据：data[pd.Timestamp(‘2012-01-01 09:00’):pd.Timestamp(‘2012-01-01 19:00’)] ，
同时也可以使用 data[‘2013’]，data[‘2012-01’:‘2012-03’] 等简便方式；
仅取1月份的数据 data[data.index.month == 1] ；
时间重采样，将原始数据转化为均匀间隔的数据，
DataFrame.resample(rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention=‘start’,kind
=None, loffset=None, limit=None, base=0)，如df.resample(‘3D’)方法，对3天的数据进行重采样。
7. apply自定义函数 DataFrame.apply(func, axis=0, broadcast=False, raw=False, rece=None, args=(), kwds)，说明：
允许传入0个或任意个参数，这些可变参数在函数调用时自动组装为一个tuple，
关键字参数允许传入0个或任意个含参数名的参数，这些关键字参数在函数内部自动组装为一个dict。
8.缺失值：DataFrame.isnull().any()，.fillna() 等。
9.字符串Series.str.lower()，str是Series的一个属性，s.str.upper()，s.str.len()，index.str.strip()，df.columns.str.replace(’ ‘,’‘)，s.str.split(’‘)，s.str.contains(‘Ag’)，s.str.get_mmies(sep = ‘|’) 。
10、notebook显示设置：
pd.set_option()，pd.get_option()用于使用Notebook做展示；
pd.set_option(‘display.max_columns’,30)，pd.set_option(‘display.max_colwidth’,100)，
pd.set_option(‘display.max_colwidth’,100)。
11、重复记录处理
1）生成重复记录
#生成重复数据
df=pd.DataFrame(np.ones([5,2]),columns=[‘col1’,‘col2’])
df[‘col3’]=[‘a’,‘b’,‘a’,‘c’,‘d’]
df[‘col4’]=[3,2,3,2,2]
df=df.reindex(columns=[‘col3’,‘col4’,‘col1’,‘col2’]) #将新增的一列排在第一列
2）判断重复记录
isDplicated=df.plicated() #判断重复数据记录
3）删除重复值
new_df1=df.drop_plicates() #删除数据记录中所有列值相同的记录
new_df2=df.drop_plicates([‘col3’]) #删除数据记录中col3列值相同的记录
new_df3=df.drop_plicates([‘col4’]) #删除数据记录中col4列值相同的记录
new_df4=df.drop_plicates([‘col3’,‘col4’]) #删除数据记录中(col3和col4)列值相同的记录
4）python去重drop_plicates后一定要reset_index()。
pandas.DataFrame.reset_index
函数作用：重置索引或其level。
重置数据帧的索引，并使用默认索引。如果数据帧具有多重索引，则此方法可以删除一个或多个level。
函数主要有以下几个参数：reset_index(level=None, drop=False, inplace=False, col_level=0, col_fill=’')
各个参数介绍：
level：可以是int, str, tuple, or list, default None等类型。作用是只从索引中删除给定级别。默认情况下删除所有级别。
drop：bool, default False。不要尝试在数据帧列中插入索引。这会将索引重置为默认的整数索引。
inplace：bool, default False。修改数据帧（不要创建新对象）。
col_level：int or str, default=0。如果列有多个级别，则确定将标签插入到哪个级别。默认情况下，它将插入到第一层。
col_fill：object, default。如果列有多个级别，则确定其他级别的命名方式。如果没有，则复制索引名称。
返回：
DataFrame or None。具有新索引的数据帧，如果inplace=True，则无索引。
python使用问题集锦
1、报错：NameError: name ‘scipy’ is not defined
使用!pip install packages scipy，重新安装成功后，还报错；在运行前先from scipy import optimize，再运行也报错；
还有说是注释或者换行等问题导致的，都无法解决，最后一个可能再试试：在安装scipy前要先安装numpy+mkl(非numpy)。
在如下地址下载安装numpy： http://www.lfd.uci.e/~gohlke/pythonlibs/#numpy
Numpy+MKL is linked to the Intel® Math Kernel Library and includes required DLLs in the numpy.DLLs directory.
下载完成后，在cmd命令行中用pip install numpy-1.22.2+mkl-pp38-pypy38_pp73-win_amd64.whl进行安装，报错如下：
ERROR: numpy-1.22.2+mkl-pp38-pypy38_pp73-win_amd64.whl is not a supported wheel on this platform.
错误原因：安装的不是对应python版本的库，下载的库名中cp27代表python2.7,其它同理。我的python是3.8版本，重新下载后，再安装，进入正常流程中。但是又报如下错误： 在这里插入图片描述

文章知识点与官方知识档案匹配
Python入门技能树首页概览
208764 人正在系统学习中
点击阅读全文
打开CSDN APP，看更多技术内容

Pandas的基本功能_笑 瘾的博客_pandas作用
一、Pandas的常用32个方法和功能 DataFrame() 创建一个DataFrame对象 df.values 返回ndarray类型的对象 df.shape 返回行列数 df.index 获取行索引 df.set_index 设置索引 df.reset_index 重制索引 df.columns 获取列索引 df.rename 重...
继续访问
pandas教程:pandas主要功能详解_hello-java-maker的博客_pand...
df =pd.read_csv("Counts.csv", header=0) df.head() 1 2 选择/切片 df[‘column_name’] ,df[row_start_index, row_end_index] 选取指定整列数据 df['name'] # 选取一列,成一个series df[['name']] # 选取一列...
继续访问
numpy‑1.21.4+mkl‑pp38‑pypy38_pp73‑win_amd64.whl
numpy‑1.21.4+mkl‑pp38‑pypy38_pp73‑win_amd64.whl
Python数据分析 | (17) pandas的基本功能
本篇博客中，我将介绍操作Series和DataFrame中的数据的基本手段。后续将更加深入地挖掘pandas在数据分析和处理方面的功能。这不是pandas库 的详尽文档，主要关注的是最重要的功能，那些不大常用的内容(也就是那 些更深奥的内容)就交给你自己去摸索吧。 目录 1. 重新索引 2. 丢弃指定轴上的项 3. 索引、选取和过滤 4. 整数索引 5. 算术运算和数据对齐 6. ...
继续访问
最新发布 python安装ERROR: matplotlib-3.6.2-pp38-pypy38_pp73-win_amd64.whl is not a supported wheel on this plat
我把文件名称改为matplotlib-3.6.2-py39-none-any.whl。2、看到支持的文件的名称是py30-none-any。
继续访问

热门推荐 使用python经常出现NameError: name 'xxx' is not defined
使用python经常出现NameError: name ‘xxx’ is not defined感觉神之存在的Bug 用注释居然解决了 之前k_means一直是没定义后来加了注释#abc就解决了from sklearn.cluster import k_means# abc如下图所示：解决后感觉太特么奇妙了
继续访问

pandas中index索引功能是什么
pandas的索引对象可以用来保存坐标轴标签和其它元数据，是使用过程中必要的参与对象，那pandas中index索引功能是什么呢？pandas中index索引可以轻松的读取数据，更方便的数据查询，使用index查询的时候可以获得性能提升。 一、index索引特点 更方便的数据查询，使用index查询的时候可以获得性能提升； 自动的数据对齐功能； 更多更强大的数据结构支持。 二、index索引用途 1、使用index读取数据 import pandas as pd df = pd.read_csv("./.
继续访问
pandas 基础功能（二）
pandas 基础功能（二） 1.新增 2.删除 3.修改数据 1.新增 1)在最后新增一列(列S)： df["列S]=list ## 增加列的元素个数要跟原数据列的个数一样 2)在指定位置新增一列(列Q): # 语法格式：列表.insert(index, obj) # index --->对象 obj 需要插入的索引位置。 # obj ---> 要插入列表中的对象（列名） col_name=df1.columns.tolist() # 将数据框的列...
继续访问
【报错解决】复现Deep Supervised Cross-Modal Retrieval报错mole scipy has no attribute spatial的解决
mole scipy has no attribute spatial报错的解决。
继续访问

Python函数调用出现NameError: name ‘xxx‘ is not defined的解决办法
原因： 函数里用的是局部变量，从而函数调用结束后会被销毁。如果不声明是全局变量，那么就会报错：（注意灰色字体注释的地方） def load_data(): from keras.datasets import mnist # global train_image, train_lable , test_image, test_lable (train_image, train_lable), (test_image, test_lable) = mnist.load_data.
继续访问

Python使用pip安装报错：is not a supported wheel on this platform的解决方法
我的python是3.8 win64位 安装cryptography报错is not a supported wheel on this platform 首先我是在官网cryptography · PyPI下载的cryptography-37.0.2-pp38-pypy38_pp73-win_amd64.whl 官网如下，安装的时候报错cryptography · PyPI 解决版本：改安装报的名字 步骤一，cmd里面输入pip debug --verbose，会列出支持包的名字，我把包的名字改
继续访问

Python-Pandas{数据结构与基本功能}
PandsSeries手动构建SeriesSeries的索引和切片按照字典的方式进行索引和切片   Pandas通常是用于数据分析过程中, 数据的清洗, 数据预处理, 数据的描述性分析等过程中。在整个Python数据分析的生态环境中, Pandas的地位非常重要, 利用Pandas可以快速便捷的对数据进行各种各样的处理与操作.   在Pandas中, 最重要的两种数据结构是1维的Series和2维的DataFrame. Series：一维数组，与Numpy中的一维array类似。二者与Python基本的数
继续访问

Pandas 10. 索引index的用途
更方便的数据查询：df.loc[index, :]使用index会提升查询性能自动的数据对齐功能;使用index.更多更强大的数据结构支持 很多强大的索引数据结构Categoricallndex,基于分类数据的Index,提升性能;Multilndex,多维索引，用于groupby多维聚合后结果等；Datetimelndex,时间类型索引，强大的日期和时间的方法支持：
继续访问

Pandas的索引index的用途（十一）
1、Pandas的索引index的用途 把数据存储于普通的column列也能用于数据查询，那使用index有什么好处？ index的用途总结： 1、更方便的数据查询； 2、使用index可以获得性能提升； 3、自动的数据对齐功能； 4、更多更强大的数据结构支持； 2、实例用途 （1）读取数据 import pandas as pd df = pd.read_csv...
继续访问
python语法基础
1.import 和 from … import 模块的变量、方法引用差异 from pandas import DataFrame from…import // 直接使用函数名使用就可以了 import pandas as pd import //模块.函数 a.import…as import：导入一个模块；注：相当于导入的是一个文件夹，是个相对路径 import A as B：给予工具库 A 一个简单的别称 B ，可以帮助记忆。例：import torc...
继续访问

python数据分析学习（3）
python数据分析·numpy的一些函数
继续访问

Pandas详解三之Index对象
约定 import pandas as pd from pandas import DataFrame import numpy as np Index Index对象保存着索引标签数据，它可以快速找到标签对应的整数下标，其功能与Python的字典类似。 dict1={"Province":["Guangdong","Beijing","Qinghai","Fu...
继续访问
Pandas的索引index的用途
##Pandas的索引index的用途 '''把数据存储于普通的column列也能用于数据查询，那使用index有什么好处?index的用途总结: 1.更方便的数据查询; 2.使用index可以获得性能提升; 3.自动的数据对齐功能; 4.更多更强大的数据结构支持;''' import pandas as pd df =pd.read_csv('F:\\python387\\pandas\\antlearnpandasmaster\\datas\\ml_latest_small\\ratings.csv'.
继续访问
python创建python.py时遇到的问题 name is not defined
创建py文件之后，运行文件时报错： 是一个nameerror，说var为定义，所以执行不成功。这是因为将var定义在了函数里面，即return后一行的代码缩进了，导致var没有定义成功，只需要去除缩进就可以了。 更改如下： ...
继续访问

pandas的Index对象
Index对象保存着索引标签数据，它可以快速找到标签对应的整数下标，其功能与Python的字典类似。 dict1={"Province":["Guangdong","Beijing","Qinghai","Fujiang"], "year":[2018]*4, "pop":[1.3,2.5,1.1,0.7]} df1=DataFrame(dict1) df1 1 2 3 4 5 代码结果 Province pop year 0 Guangdong 1.3...
继续访问。

❸ 如何设置sqlite

您好！很高兴为你解答此类问题，具体方法请看以下:
1.SQLite简介

SQLite是一款轻型的数据库，是遵守ACID的关联式数据库管理系统，它的设计目标是嵌入 式的，而且目前已经在很多嵌入式产品中使用了它，它占用资源非常的低，在嵌入式设备中，可能只需要几百K的内存就够了。

它能够支持 Windows/Linux/Unix等等主流的操作系统，同时能够跟很多程序语言相结合，比如Tcl、PHP、Java、C++、.Net等，还有ODBC接口，同样比起 Mysql、PostgreSQL这两款开源世界着名的数据库管理系统来讲，它的处理速度比他们都快。

2.SQLite的特点：

轻量级
SQLite和C/S模式的数据库软件不同，它是进程内的数据库引擎，因此不存在数据库的客户端和服务器。使用SQLite一般只需要带上它的一个动态 库，就可以享受它的全部功能。

而且那个动态库的尺寸也挺小，以版本3.6.11为例，Windows下487KB、Linux下347KB。

不需要"安装"
SQLite的核心引擎本身不依赖第三方的软件，使用它也不需要"安装"。有点类似那种绿色软件。

单一文件
数据库中所有的信息（比如表、视图等）都包含在一个文件内。这个文件可以自由复制到其它目录或其它机器上。

跨平台/可移植性
除了主流操作系统 windows，linux之后，SQLite还支持其它一些不常用的操作系统。

弱类型的字段
同一列中的数据可以是不同类型

开源

3.SQLite数据类型

一般数据采用的固定的静态数据类型，而SQLite采用的是动态数据类型，会根据存入值自动判断。SQLite具有以下五种常用的数据类型：

NULL: 这个值为空值
VARCHAR(n)：长度不固定且其最大长度为 n 的字串，n不能超过 4000。
CHAR(n)：长度固定为n的字串，n不能超过 254。
INTEGER: 值被标识为整数,依据值的大小可以依次被存储为1,2,3,4,5,6,7,8.
REAL: 所有值都是浮动的数值,被存储为8字节的IEEE浮动标记序号.
TEXT: 值为文本字符串,使用数据库编码存储(TUTF-8, UTF-16BE or UTF-16-LE).
BLOB: 值是BLOB数据块，以输入的数据格式进行存储。如何输入就如何存储,不改 变格式。
DATA ：包含了 年份、月份、日期。
TIME： 包含了 小时、分钟、秒。

二.SQLiteDatabase的介绍

Android提供了创建和是用SQLite数据库的API。SQLiteDatabase代表一个数据库对象，提供了操作数据库的一些方法。在Android的SDK目录下有sqlite3工具，我们可以利用它创建数据库、创建表和执行一些SQL语句。下面是SQLiteDatabase的常用方法。

SQLiteDatabase的常用方法

方法名称
方法表示含义
openOrCreateDatabase(String path,SQLiteDatabase.CursorFactory factory)
打开或创建数据库
insert(String table,String nullColumnHack,ContentValues values)
插入一条记录
delete(String table,String whereClause,String[] whereArgs)
删除一条记录
query(String table,String[] columns,String selection,String[] selectionArgs,String groupBy,String having,String orderBy)
查询一条记录
update(String table,ContentValues values,String whereClause,String[] whereArgs)
修改记录
execSQL(String sql)
执行一条SQL语句
close()
关闭数据库

Google公司命名这些方法的名称都是非常形象的。例如openOrCreateDatabase,我们从字面英文含义就能看出这是个打开或创建数据库的方法

1、打开或者创建数据库
在Android 中使用SQLiteDatabase的静态方法openOrCreateDatabase(String path,SQLiteDatabae.CursorFactory factory)打开或者创建一个数据库。
它会自动去检测是否存在这个数据库，如果存在则打开，不存在则创建一个数据库；创建成功则返回一个SQLiteDatabase对象，否则抛出异常FileNotFoundException。

下面是创建名为“stu.db”数据库的代码：
openOrCreateDatabase(String path,SQLiteDatabae.CursorFactory factory)
参数1 数据库创建的路径
参数2 一般设置为null就可以了

eg: db=SQLiteDatabase.openOrCreateDatabase("/data/data/com.ling.db/databases/stu.db",null);
2、创建表
创建一张表的步骤很简单：
编写创建表的SQL语句
调用SQLiteDatabase的execSQL()方法来执行SQL语句

下面的代码创建了一张用户表，属性列为：id（主键并且自动增加）、sname（学生姓名）、snumber（学号）
View Code
3、插入数据
ContentValues 是一种存储的机制，常用于数据库的操作。只能存储基本类型。
插入数据有两种方法：
①SQLiteDatabase的insert(String table,String nullColumnHack,ContentValues values)方法，
参数1 表名称，
参数2 空列的默认值
参数3 ContentValues类型的一个封装了列名称和列值的Map；
View Code

②编写插入数据的SQL语句，直接调用SQLiteDatabase的execSQL()方法来执行

View Code
4、删除数据

删除数据也有两种方法：
①调用SQLiteDatabase的delete(String table,String whereClause,String[] whereArgs)方法
参数1 表名称
参数2 删除条件
参数3 删除条件值数组
View Code

②编写删除SQL语句，调用SQLiteDatabase的execSQL()方法来执行删除。

View Code

5、修改数据
修改数据有两种方法：
①调用SQLiteDatabase的update(String table,ContentValues values,String whereClause, String[] whereArgs)方法
参数1 表名称
参数2 跟行列ContentValues类型的键值对Key-Value
参数3 更新条件（where字句）
参数4 更新条件数组
View Code
②编写更新的SQL语句，调用SQLiteDatabase的execSQL执行更新。

View Code
6、查询数据

在Android中查询数据是通过Cursor类来实现的，当我们使用SQLiteDatabase.query()方法时，会得到一个Cursor对象，Cursor指向的就是每一条数据。它提供了很多有关查询的方法，具体方法如下：

public Cursor query(String table,String[] columns,String selection,String[] selectionArgs,String groupBy,String having,String orderBy,String limit);
各个参数的意义说明：
参数table:表名称
参数columns:列名称数组
参数selection:条件字句，相当于where
参数selectionArgs:条件字句，参数数组
参数groupBy:分组列
参数having:分组条件
参数orderBy:排序列
参数limit:分页查询限制
参数Cursor:返回值，相当于结果集ResultSet
Cursor是一个游标接口，提供了遍历查询结果的方法，如移动指针方法move()，获得列值方法getString()等.
Cursor游标常用方法
方法名称
方法描述
getCount()
获得总的数据项数
isFirst()
判断是否第一条记录
isLast()
判断是否最后一条记录
moveToFirst()
移动到第一条记录
moveToLast()
移动到最后一条记录
move(int offset)
移动到指定记录
moveToNext()
移动到下一条记录
moveToPrevious()
移动到上一条记录
getColumnIndexOrThrow(String columnName)
根据列名称获得列索引
getInt(int columnIndex)
获得指定列索引的int类型值
getString(int columnIndex)
获得指定列缩影的String类型值
下面就是用Cursor来查询数据库中的数据，具体代码如下：
View Code

7、删除指定表
编写插入数据的SQL语句，直接调用SQLiteDatabase的execSQL()方法来执行
View Code

三. SQLiteOpenHelper
该类是SQLiteDatabase一个辅助类。这个类主要生成一 个数据库，并对数据库的版本进行管理。
当在程序当中调用这个类的方法getWritableDatabase()或者 getReadableDatabase()方法的时候，如果当时没有数据，那么Android系统就会自动生成一个数据库。
SQLiteOpenHelper 是一个抽象类，我们通常需要继承它，并且实现里面的3个函数：

1.onCreate（SQLiteDatabase）
在数据库第一次生成的时候会调用这个方法，也就是说，只有在创建数据库的时候才会调用，当然也有一些其它的情况，一般我们在这个方法里边生成数据库表。

2. onUpgrade（SQLiteDatabase，int，int）
当数据库需要升级的时候，Android系统会主动的调用这个方法。一般我们在这个方法里边删除数据表，并建立新的数据表，当然是否还需要做其他的操作，完全取决于应用的需求。

3. onOpen（SQLiteDatabase）：
这是当打开数据库时的回调函数，一般在程序中不是很常使用。

写了这么多，改用用实际例子来说明上面的内容了。
下面这个操作数据库的实例实现了创建数据库，创建表以及数据库的增删改查的操作。
该实例有两个类：
com.ling.testSQLite 调试类
com.ling.testSQLiteDb 数据库辅助类

SQLiteActivity.java
View Code

StuDBHelper.java

View Code
main.xml
View Code

程序运行的效果图：

使用adb命令查看数据库：

1.在命令行窗口输入adb shell回车，就进入了Linux命令行，现在就可以使用Linux的命令了。

2.ls回车，显示所有的东西，其中有个data。

3.cd data回车，再ls回车，cd data回车，ls回车后就会看到很多的com................，那就是系统上的应用程序包名，找到你数据库程序的包名，然后进入。

4.进去后在查看所有，会看到有databases,进入databases，显示所有就会发现你的数据库名字，这里使用的是"stu_db"。

5.sqlite3 stu_db回车就进入了你的数据库了，然后“.schema”就会看到该应用程序的所有表及建表语句。

6.之后就可以使用标准的SQL语句查看刚才生成的数据库及对数据执行增删改查了。
注：ls,cd等命令都是linux的基本命令，不了解的同学可以看看有关这方面的资料。

下面介绍几个在SQLite中常用到的adb命令：

查看
.database 显示数据库信息；
.tables 显示表名称；
.schema 命令可以查看创建数据表时的SQL命令；
.schema table_name 查看创建表table_name时的SQL的命令；

插入记录
insert into table_name values (field1, field2, field3...);

查询
select * from table_name;查看table_name表中所有记录；
select * from table_name where field1='xxxxx'; 查询符合指定条件的记录；

删除
drop table_name; 删除表；
drop index_name; 删除索引；
-------------------------------------------查询，插入，删除等操作数据库的语句记得不要漏了;----------------------------------------

# sqlite3 stu_db
sqlite3 stu_db
SQLite version 3.6.22
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> .schema
.schema
CREATE TABLE android_metadata (locale TEXT);
CREATE TABLE stu_table(id int,sname varchar(20),sage int,ssex varchar(10)); --->创建的表
sqlite> select * from stu_table;
select * from stu_table;
1|xiaoming|21|male
sqlite>

插入数据

sqlite> insert into stu_table values(2,'xiaohong',20,'female');

插入的数据记得要和表中的属性一一对应
insert into stu_table values(2,'xiaohong',20,'female');
sqlite> select * from stu_table;
select * from stu_table;
1|xiaoming|21|male
2|xiaohong|20|female --------------> 插入的数据
sqlite>
当点击修改数据的按钮时候

sqlite> select * from stu_table;

select * from stu_table;
1|xiaoming|23|male -------------->年龄被修改为23
2|xiaohong|20|female
sqlite>
当点击删除数据的按钮

sqlite> select * from stu_table;

select * from stu_table;
1|xiaoming|23|male id=2的数据已经被删除
总之，我们可以在代码中执行数据库的增删改查，也可以在adb命令行下实现。不过因为SQLite没有客户端，不能直接的查看数据库变化后的信息，所以常用adb命令行查看数据库改变后的信息。

前面用到的数据库，表都是自己在代码中创建，下面介绍如何使用外部已有的数据库的方法：
先用SQLite管理工具，sqliteadmin 具体操作很简单，在这里我就不详细介绍的了，但有一个地方时候很值得注意的，就是用sqliteadmin创建数据库的时候，数据库保存的路径不能是中文路径，中文路径会出现下面的错误提示：
我在sqliteadmin 创建好数据库StuDB，：

将创建好的数据库在DDMS中点击导入到data/data/程序的包名/

❹ python数据分析与应用-Python数据分析与应用 PDF 内部全资料版

给大家带来的一篇关于Python数据相关的电子书资源，介绍了关于Python方面的内容，本书是由人民邮电出版社出版，格式为PDF，资源大小281 MB，黄红梅 张良均编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.8。

内容介绍

目录

第1章Python数据分析概述1

任务1.1认识数据分析1

1.1.1掌握数据分析的概念2

1.1.2掌握数据分析的流程2

1.1.3了解数据分析应用场景4

任务1.2熟悉Python数据分析的工具5

1.2.1了解数据分析常用工具6

1.2.2了解Python数据分析的优势7

1.2.3了解Python数据分析常用类库7

任务1.3安装Python的Anaconda发行版9

1.3.1了解Python的Anaconda发行版9

1.3.2在Windows系统中安装Anaconda9

1.3.3在Linux系统中安装Anaconda12

任务1.4掌握Jupyter Notebook常用功能14

1.4.1掌握Jupyter Notebook的基本功能14

1.4.2掌握Jupyter Notebook的高 级功能16

小结19

课后习题19

第2章NumPy数值计算基础21

任务2.1掌握NumPy数组对象ndarray21

2.1.1创建数组对象21

2.1.2生成随机数27

2.1.3通过索引访问数组29

2.1.4变换数组的形态31

任务2.2掌握NumPy矩阵与通用函数34

2.2.1创建NumPy矩阵34

2.2.2掌握ufunc函数37

任务2.3利用NumPy进行统计分析41

2.3.1读/写文件41

2.3.2使用函数进行简单的统计分析44

2.3.3任务实现48

小结50

实训50

实训1创建数组并进行运算50

实训2创建一个国际象棋的棋盘50

课后习题51

第3章Matplotlib数据可视化基础52

任务3.1掌握绘图基础语法与常用参数52

3.1.1掌握pyplot基础语法53

3.1.2设置pyplot的动态rc参数56

任务3.2分析特征间的关系59

3.2.1绘制散点图59

3.2.2绘制折线图62

3.2.3任务实现65

任务3.3分析特征内部数据分布与分散状况68

3.3.1绘制直方图68

3.3.2绘制饼图70

3.3.3绘制箱线图71

3.3.4任务实现73

小结77

实训78

实训1分析1996 2015年人口数据特征间的关系78

实训2分析1996 2015年人口数据各个特征的分布与分散状况78

课后习题79

第4章pandas统计分析基础80

任务4.1读/写不同数据源的数据80

4.1.1读/写数据库数据80

4.1.2读/写文本文件83

4.1.3读/写Excel文件87

4.1.4任务实现88

任务4.2掌握DataFrame的常用操作89

4.2.1查看DataFrame的常用属性89

4.2.2查改增删DataFrame数据91

4.2.3描述分析DataFrame数据101

4.2.4任务实现104

任务4.3转换与处理时间序列数据107

4.3.1转换字符串时间为标准时间107

4.3.2提取时间序列数据信息109

4.3.3加减时间数据110

4.3.4任务实现111

任务4.4使用分组聚合进行组内计算113

4.4.1使用groupby方法拆分数据114

4.4.2使用agg方法聚合数据116

4.4.3使用apply方法聚合数据119

4.4.4使用transform方法聚合数据121

4.4.5任务实现121

任务4.5创建透视表与交叉表123

4.5.1使用pivot_table函数创建透视表123

4.5.2使用crosstab函数创建交叉表127

4.5.3任务实现128

小结130

实训130

实训1读取并查看P2P网络贷款数据主表的基本信息130

实训2提取用户信息更新表和登录信息表的时间信息130

实训3使用分组聚合方法进一步分析用户信息更新表和登录信息表131

实训4对用户信息更新表和登录信息表进行长宽表转换131

课后习题131

第5章使用pandas进行数据预处理133

任务5.1合并数据133

5.1.1堆叠合并数据133

5.1.2主键合并数据136

5.1.3重叠合并数据139

5.1.4任务实现140

任务5.2清洗数据141

5.2.1检测与处理重复值141

5.2.2检测与处理缺失值146

5.2.3检测与处理异常值149

5.2.4任务实现152

任务5.3标准化数据154

5.3.1离差标准化数据154

5.3.2标准差标准化数据155

5.3.3小数定标标准化数据156

5.3.4任务实现157

任务5.4转换数据158

5.4.1哑变量处理类别型数据158

5.4.2离散化连续型数据160

5.4.3任务实现162

小结163

实训164

实训1插补用户用电量数据缺失值164

实训2合并线损、用电量趋势与线路告警数据164

实训3标准化建模专家样本数据164

课后习题165

第6章使用scikit-learn构建模型167

任务6.1使用sklearn转换器处理数据167

6.1.1加载datasets模块中的数据集167

6.1.2将数据集划分为训练集和测试集170

6.1.3使用sklearn转换器进行数据预处理与降维172

6.1.4任务实现174

任务6.2构建并评价聚类模型176

6.2.1使用sklearn估计器构建聚类模型176

6.2.2评价聚类模型179

6.2.3任务实现182

任务6.3构建并评价分类模型183

6.3.1使用sklearn估计器构建分类模型183

6.3.2评价分类模型186

6.3.3任务实现188

任务6.4构建并评价回归模型190

6.4.1使用sklearn估计器构建线性回归模型190

6.4.2评价回归模型193

6.4.3任务实现194

小结196

实训196

实训1使用sklearn处理wine和wine_quality数据集196

实训2构建基于wine数据集的K-Means聚类模型196

实训3构建基于wine数据集的SVM分类模型197

实训4构建基于wine_quality数据集的回归模型197

课后习题198

第7章航空公司客户价值分析199

任务7.1了解航空公司现状与客户价值分析199

7.1.1了解航空公司现状200

7.1.2认识客户价值分析201

7.1.3熟悉航空客户价值分析的步骤与流程201

任务7.2预处理航空客户数据202

7.2.1处理数据缺失值与异常值202

7.2.2构建航空客户价值分析关键特征202

7.2.3标准化LRFMC模型的5个特征206

7.2.4任务实现207

任务7.3使用K-Means算法进行客户分群209

7.3.1了解K-Means聚类算法209

7.3.2分析聚类结果210

7.3.3模型应用213

7.3.4任务实现214

小结215

实训215

实训1处理信用卡数据异常值215

实训2构造信用卡客户风险评价关键特征217

实训3构建K-Means聚类模型218

课后习题218

第8章财政收入预测分析220

任务8.1了解财政收入预测的背景与方法220

8.1.1分析财政收入预测背景220

8.1.2了解财政收入预测的方法222

8.1.3熟悉财政收入预测的步骤与流程223

任务8.2分析财政收入数据特征的相关性223

8.2.1了解相关性分析223

8.2.2分析计算结果224

8.2.3任务实现225

任务8.3使用Lasso回归选取财政收入预测的关键特征225

8.3.1了解Lasso回归方法226

8.3.2分析Lasso回归结果227

8.3.3任务实现227

任务8.4使用灰色预测和SVR构建财政收入预测模型228

8.4.1了解灰色预测算法228

8.4.2了解SVR算法229

8.4.3分析预测结果232

8.4.4任务实现234

小结236

实训236

实训1求取企业所得税各特征间的相关系数236

实训2选取企业所得税预测关键特征237

实训3构建企业所得税预测模型237

课后习题237

第9章家用热水器用户行为分析与事件识别239

任务9.1了解家用热水器用户行为分析的背景与步骤239

9.1.1分析家用热水器行业现状240

9.1.2了解热水器采集数据基本情况240

9.1.3熟悉家用热水器用户行为分析的步骤与流程241

任务9.2预处理热水器用户用水数据242

9.2.1删除冗余特征242

9.2.2划分用水事件243

9.2.3确定单次用水事件时长阈值244

9.2.4任务实现246

任务9.3构建用水行为特征并筛选用水事件247

9.3.1构建用水时长与频率特征248

9.3.2构建用水量与波动特征249

9.3.3筛选候选洗浴事件250

9.3.4任务实现251

任务9.4构建行为事件分析的BP神经网络模型255

9.4.1了解BP神经网络算法原理255

9.4.2构建模型259

9.4.3评估模型260

9.4.4任务实现260

小结263

实训263

实训1清洗运营商客户数据263

实训2筛选客户运营商数据264

实训3构建神经网络预测模型265

课后习题265

附录A267

附录B270

参考文献295

学习笔记

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等 。 定义 （推荐学习：Python视频教程） 用户可以通过电子邮件，Dropbox，GitHub 和 Jupyter Notebook Viewer，将 Jupyter Notebook 分享给其他人。 在Jupyter Notebook 中，代码可以实时的生成图像，视频，LaTeX和JavaScript。 使用 数据挖掘领域中最热门的比赛 Kaggle 里的资料都是Jupyter 格式 。 架构 Jupyter组件 Jupyter包含以下组件： Jupyter Notebook 和 ……

本文实例讲述了Python实现的微信好友数据分析功能。分享给大家供大家参考，具体如下： 这里主要利用python对个人微信好友进行分析并把结果输出到一个html文档当中，主要用到的python包为 itchat ， pandas ， pyecharts 等 1、安装itchat 微信的python sdk，用来获取个人好友关系。获取的代码 如下： import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login()friends = itchat.get_friends(update=True)[0:]def User2dict(User): User_dict = {} User_dict["NickName"] = User["NickName"] if User["NickName"] else "NaN" User_dict["City"] = User["City"] if User["City"] else "NaN" User_dict["Sex"] = User["Sex"] if User["Sex"] else 0 User_dict["Signature"] = User["Signature"] if User["Signature"] else "NaN" ……

基于微信开放的个人号接口python库itchat，实现对微信好友的获取，并对省份、性别、微信签名做数据分析。 效果： 直接上代码，建三个空文本文件stopwords.txt，newdit.txt、unionWords.txt，下载字体simhei.ttf或删除字体要求的代码，就可以直接运行。 #wxfriends.py 2018-07-09import itchatimport sysimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']#绘图时可以显示中文plt.rcParams['axes.unicode_minus']=False#绘图时可以显示中文import jiemport jieba.posseg as psegfrom scipy.misc import imreadfrom wordcloud import WordCloudfrom os import path#解决编码问题non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) #获取好友信息def getFriends():……

Python数据分析之双色球基于线性回归算法预测下期中奖结果示例

本文实例讲述了Python数据分析之双色球基于线性回归算法预测下期中奖结果。分享给大家供大家参考，具体如下： 前面讲述了关于双色球的各种算法，这里将进行下期双色球号码的预测，想想有些小激动啊。 代码中使用了线性回归算法，这个场景使用这个算法，预测效果一般，各位可以考虑使用其他算法尝试结果。 发现之前有很多代码都是重复的工作，为了让代码看的更优雅，定义了函数，去调用，顿时高大上了 #!/usr/bin/python# -*- coding:UTF-8 -*-#导入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport operatorfrom sklearn import datasets,linear_modelfrom sklearn.linear_model import LogisticRegression#读取文件d……

以上就是本次介绍的Python数据电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对鬼鬼的支持。

注·获取方式：私信（666）

❺ 课程开发的三个阶段

‘壹’ FCF右脑开发里面的课程有几个阶段

总共是五个课程，最主要的是它们是环环相扣，一个都不能少，但是课程的含金量是很高的

‘贰’ 尚学堂的java课程主要学习什么呢

第一阶段：小型桌面应用开发
阶段目的：掌握JAVA语言的语法，理解面回向对象的编程思想，能够答熟练使用JAVA语言开发小型桌面应用。
基础技能训练：操作系统与网络技术、JAVA面向功能对象程序设计、JAVA核心编程、JAVA网络编程
第二阶段：中小型网站应用开发
阶段目的：掌握数据库设计与开发技能，熟练使用JAVAEE组件技术开发中小型网站应用。
数据库（Oracle数据库管耐手喊理及昌野开发）、UI开薯游发（WEB页面开发基础、XML、Ajax）、JAVAEE组件开发（jsp、servlet、jdbc）、框架技术（struts2.0、hibernate、spring、springMVC、mybatis）
第三阶段：软件工程工业实践
阶段目的：熟悉软件工程流程及规范，使用以前三个阶段所学的技能，进行软件工程工业实践。
软件工程方法论、软件工程项目实践
第四阶段：职业素质培养及就业
阶段目的：提高团队协作能力、职业道德、沟通能力和面试技巧，成功面试，成为标准IT职业人。
职业素质培养(职业道德、项目经理座谈、面试技能）、就业。

‘叁’ 安卓开发课程分为哪几个阶段

安卓越的安卓开发课程分为5个阶段，共768课时，第一阶段：android介绍与Java核心部分
(168课时)
第二阶段：Android基础编程
(152课时)
第三阶段：专项技能突破（160课时）第四阶段：高级篇（48课时）Android
OpenGL
开发基础
OpenGL基本知识、OpenGL和OpenGl
ES介绍
掌握OpenGL开发技巧
第五阶段：高级篇（112课时)
Android项目实战
掏客（个人媒体客户端）

‘肆’ 想学习5培训的课程，谁能介绍一下课程的体系

所有互联网的页面开发都可以用到HTML5，包括PC端，手机端和平板。
HTML5高端课程大纲分为十个阶段。
第一阶段：前端页面重构；
第二阶段：JavaScript高级程序设计；
第三阶段：PC端全栈开发；
第四阶段：移动WebApp开发；
第五阶段 : 混合(RN，HybridAPP)开发；
第六阶段：NodeJS开发；
第七阶段：游戏开发；
第八阶段：Java开发；
第九阶段：PHP开发；
第十阶段：Android开发。

‘伍’ 安卓开发课程分为哪几个阶段

安卓越的安卓开发课程分为5个阶段，共768课时，第一阶段：android介绍与Java核心部分 (168课时)
第二阶段：Android基础编程 (152课时) 第三阶段：专项技能突破（160课时）第四阶段：高级篇（48课时）Android OpenGL 开发基础 OpenGL基本知识、OpenGL和OpenGl ES介绍 掌握OpenGL开发技巧
第五阶段：高级篇（112课时) Android项目实战 掏客（个人媒体客户端）

‘陆’ 学习方法内容

高效的学习，首先要学会听课：
1、有准备的去听，也就是说听课前要先预习，找出不懂的知识、发现问题，带着知识点和问题去听课会有解惑的快乐，也更听得进去，容易掌握；
2、参与交流和互动，不要只是把自己摆在“听”的旁观者，而是“听”的参与者，积极思考老师讲的或提出的问题，能回答的时候积极回答（回答问题的好处不仅仅是表现，更多的是可以让你注意力更集中）。
3、听要结合写和思考。纯粹的听很容易懈怠，能记住的点也很少，所以一定要学会快速的整理记忆。
4、如果你因为种种原因，出现了那些似懂非懂、不懂的知识，课上或者课后一定要花时间去弄懂。不然问题只会越积越多，最后就只能等着拥抱那“不三不四”的考试分数了。

其次，要学会记忆：
1、要学会整合知识点。把需要学习的信息、掌握的知识分类，做成思维导图或知识点卡片，会让你的大脑、思维条理清醒，方便记忆、温习、掌握。同时，要学会把新知识和已学知识联系起来，不断糅合、完善你的知识体系。这样能够促进理解，加深记忆。
2、合理用脑。所谓合理，一是要交替复习不同性质的课程，如文理交叉，历史与地理交叉，这可使大脑皮层的不同部位轮流兴奋与抑制，有利于记忆能力的增强与开发；二是在最佳时间识记，一般应安排在早晨、晚上临睡前，具体根据自己的记忆高峰期来选择。
3、借助高效工具。速读记忆是一种高效的阅读学习方法，其训练原理就在于激活“脑、眼”潜能，培养形成眼脑直映式的阅读学习方式，主要练习提升阅读速度、注意力、记忆力、理解力、思维力等方面。掌握之后，在阅读文章、材料的时候可以快速的提取重点，促进整理归纳分析，提高理解和记忆效率；同时很快的阅读速度，还可以节约大量的时间，游刃有余的做其它事情。具体学习可以参考《精英特全脑速读记忆训练软件》。
学习思维导图，思维导图是一种将放射性思考具体化的方法，也是高效整理，促进理解和记忆的方法。不仅在记忆上可以让你大脑里的资料系统化、图像化，还可以帮助你思维分析问题，统筹规划。不过，要学好思维导图，做到灵活运用可不是一件简单的事，需要花费很多时间的。前面说的“精英特全脑速读记忆训练软件”中也有关于思维导图的练习和方法讲解，可以参考。

最后，要学会总结：
一是要总结考试成绩，通过总结学会正确地看待分数。只有正确看待分数，才不会被分数蒙住你的双眼，而专注于学习的过程，专注于蕴藏在分数背后的秘密。二是要总结考试得失，从中找出成败原因，这是考后总结的中心任务。学习当然贵在努力过程，但分数毕竟是知识和技能水平的象征之一，努力过程是否合理也常常会在分数上体现出来。三是要总结、整理错题，收集错题，做出对应的一些解题思路（不解要知道这题怎么解，还有知道这一类型的题要怎么解）。四是要通过总结，确定下阶段的努力方向。

‘柒’ web课程里面会学习到哪几种框架呢

这里整理了一份系统全面的web前端学习路线，框架的相关内容在第三阶段，希望可以帮到你~

第一阶段：专业核心基础

阶段目标：

1. 熟练掌握HTML5、CSS3、Less、Sass、响应书布局、移动端开发。

2. 熟练运用HTML+CSS特性完成页面布局。

4. 熟练应用CSS3技术，动画、弹性盒模型设计。

5. 熟练完成移动端页面的设计。

6. 熟练运用所学知识仿制任意Web网站。

7. 能综合运用所学知识完成网页设计实战。

知识点：

1、Web前端开发环境，HTML常用标签，表单元素，Table布局，CSS样式表，DIV+CSS布局。熟练运用HTML和CSS样式属性完成页面的布局和美化，能够仿制任意网站的前端页面实现。

2、CSS3选择器、伪类、过渡、变换、动画、字体图标、弹性盒模型、响应式布局、移动端。熟练运用CSS3来开发网页、熟练开发移动端，整理网页开发技巧。

3、预编译css技术：less、sass基础知识、以及插件的运用、BootStrap源码分析。能够熟练使用 less、sass完成项目开发，深入了解BootStrap。

4、使用HTML、CSS、LESS、SASS等技术完成网页项目实战。通过项目掌握第一阶段、css的内容、完成PC端页面设计和移动端页面设计。

第二阶段：Web后台技术

阶段目标:

1. 了解JavaScript的发展历史、掌握Node环境搭建及npm使用。

2. 熟练掌握JavaScript的基本数据类型和变量的概念。

3. 熟练掌握JavaScript中的运算符使用。

4. 深入理解分之结构语句和循环语句。

5. 熟练使用数组来完成各种练习。

6.熟悉es6的语法、熟练掌握JavaScript面向对象编程。

7.DOM和BOM实战练习和H5新特性和协议的学习。

知识点：

1、软件开发流程、算法、变量、数据类型、分之语句、循环语句、数组和函数。熟练运用JavaScript的知识完成各种练习。

2、JavaScript面向对象基础、异常处理机制、常见对象api，js的兼容性、ES6新特性。熟练掌握JavaScript面向对象的开发以及掌握es6中的重要内容。

3、BOM操作和DOM操作。熟练使用BOM的各种对象、熟练操作DOM的对象。

4、h5相关api、canvas、ajax、数据模拟、touch事件、mockjs。熟练使用所学知识来完成网站项目开发。

第三阶段：数据库和框架实战

阶段目标：

1. 综合运用Web前端技术进行页面布局与美化。

2. 综合运用Web前端开发框架进行Web系统开发。

3. 熟练掌握Mysql、Mongodb数据库的发开。

4. 熟练掌握vue.js、webpack、elementui等前端框技术。

5. 熟练运用Node.js开发后台应用程序。

6. 对Restful，Ajax，JSON，开发过程有深入的理解,掌握git的基本技能。

知识点：

1、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，mongodb数据库。深入理解数据库管理系统通用知识及MySQL数据库的使用与管理，为Node.js后台开发打下坚实基础。

2、模块系统，函数，路由，全局对象，文件系统，请求处理，Web模块，Express框架，MySQL数据库处理，RestfulAPI，文件上传等。熟练运用Node.js运行环境和后台开发框架完成Web系统的后台开发。

3、vue的组件、生命周期、路由、组件、前端工程化、webpack、elementui框架。Vue.js框架的基本使用有清晰的理解，能够运用Vue.js完成基础前端开发、熟练运用Vue.js框架的高级功能完成Web前端开发和组件开发，对MVVM模式有深刻理解。

4、需求分析，数据库设计，后台开发，使用vue、node完成pc和移动端整站开发。于Node.js+Vue.js+Webpack+Mysql+Mongodb+Git，实现整站项目完整功能并上线发布。

第四阶段：移动端和微信实战

阶段目标：

1.熟练掌握React.js框架，熟练使用React.js完成开发。

2.掌握移动端开发原理，理解原生开发和混合开发。

3.熟练使用react-native和Flutter框架完成移动端开发。

4.掌握微信小程序以及了解支付宝小程序的开发。

5.完成大型电商项目开发。

知识点：

1、React面向组件编程、表单数据、组件通信、监听、声明周期、路由、Rex基本概念。练使用react完成项目开发、掌握Rex中的异步解决方案Saga。

2、react-native、开发工具、视图与渲染、api操作、Flutter环境搭建、路由、ListView组件、网络请求、打包。练掌握react-native和Flutter框架，并分别使用react-native和Flutter分别能开发移动端项目。

3、微信小程序基本介绍、开发工具、视图与渲染、api操作、支付宝小程序的入门和api学习。掌握微信小程序开发了解支付宝小程序。

4、大型购物网站实战，整个项目前后端分离开发；整个项目分为四部分：PC端网页、移动端APP、小程序、后台管理。团队协作开发，使用git进行版本控制。目期间可以扩展Three.js 、TypeScript。

‘捌’ UI设计都需要学什么

UI设计师技抄能一：熟练设计技巧袭，用户界面设计主要包含图形设计、用户体验设计和应用程序开发几个方面。UI设计师首先需要具备基本的UI设计技巧，既要懂设计，又要懂技术。

UI设计师技能二：UI设计师必须掌握前端开发的知识，包括HTML、CSS和JavaScript，以及Photoshop、图形设计以及代码编写的能力。

UI设计师技能三：设计理念强，UI设计师必须在产品功能和视觉元素间找到平衡，既要满足产品的功能需求，又要尽量美观。

单纯只掌握ps，对于UI设计是不够用的。

(8)课程开发的三个阶段扩展阅读：

UI设计（或称界面设计）是指对软件的人机交互、操作逻辑、界面美观的整体设计。UI设计分为实体UI和虚拟UI，互联网说的UI设计是虚拟UI，UI即User Interface(用户界面)的简称。

好的UI设计不仅是让软件变得有个性有品位，还要让软件的操作变得舒适简单、自由，充分体现软件的定位和特点。

‘玖’ 孩子三岁半了，想给他选择一个幼儿逻辑思维或者是多元智能脑力开发的课程，有哪位吉林市的家长给点建议

这位家长，你好！ 孩子的思维发展是分阶段的。如果孩子还没有发展一定的思维阶段，再大量的训练，也不可能得到质的突破。 三岁多的孩子，处于前运算阶段，简单的说就是还没有发育到进行逻辑运算思维能力的阶段。思维特点是认知过于简单和静止。以形象思维和直观反射为主要思考方式，所以应重视孩子的形象思维训练和运动反射训练。多看图画，听音乐，让他讲故事，平时玩玩一些简单投掷，串珠子，跳跃运动就可以了。 这个阶段孩子思维的局限性有下面三个特点： 1自我中心：说话，回答问题时经常喜欢自说自话。看一个玩具时，站在自己的位置，想象不出从另一个位置看它，是什么样子。 2特征扩大：看一个玩具或者人，只记住最大的特征忽视其他特点。 3静止判断：推理，运算时候，往往答案是最后出现的静止的状态和事物。 因为，每个孩子的发展有快有慢，也许你的孩子思维发展比一般的孩子要快，你也可以从简单的日常生活训练孩子的逻辑思维就，比如，教孩子换位思考，完整的看一个图片各个位置，数珠子，看大小，火车跑的快等游戏。 关于多元智能脑力开发或者逻辑思维训练课程，你当地的各大早教机构，情商训练机构都应该有这方面的课程。如何选择？最好的方法是去免费试听！看看老师对孩子的态度，看看教育机构的教学内容，问问参加过家长的口碑等。 给你几个教育领域比较的老师，可以参考他们的教育理念 林格和皇甫军伟——中国养成教育网，养树养根，养人养心。 董进宇——亲子关系，发明了家长可以套用的“教育公式”。 周宏——赏识教育，利用“人人渴望赞美”激发孩子的动力。 王东华——《发现母亲》母亲手里有开发孩子潜能的金钥匙。 尹建莉和孔屏——儿童心理咨询师，发现孩子成长的动力。 雷京魁——亲子关系，开展父母效能培训《父母执照》。 余世维——人才培训，揭示成为未来企业精英的成长规律。 张健柏——今日学堂校长，批判当今中国教育的现状，自办学堂。 杨东平——教育公共政策、教育公平研究者。可敬的“教育愤青” 侯成山——性格分析领域权威，解决家庭婚姻，亲子沟通等困惑。

‘拾’ 大数据培训学校学哪些内容

以下介绍的课程主要针对零基础大数据工程师每个阶段进行通俗易懂简易介绍，方面大家更好的了解大数据学习课程。课程框架是科多大数据的零基础大数据工程师课程。
一、 第一阶段：静态网页基础(HTML+CSS)
1. 难易程度：一颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：常用标签、CSS常见布局、样式、定位等、静态页面的设计制作方式等
4. 描述如下：
从技术层面来说，该阶段使用的技术代码很简单、易于学习、方便理解。从后期课程层来说，因为我们重点是大数据，但前期需要锻炼编程技术与思维。经过我们多年开发和授课的项目经理分析，满足这两点，目前市场上最好理解和掌握的技术是J2EE，但J2EE又离不开页面技术。所以第一阶段我们的重点是页面技术。采用市场上主流的HTMl+CSS。
二、 第二阶段：JavaSE+JavaWeb
1. 难易程度：两颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：java基础语法、java面向对象(类、对象、封装、继承、多态、抽象类、接口、常见类、内部类、常见修饰符等)、异常、 *** 、文件、IO、MYSQL(基本SQL语句操作、多表查询、子查询、存储过程、事务、分布式事务)JDBC、线程、反射、Socket编程、枚举、泛型、设计模式
4. 描述如下：
称为Java基础，由浅入深的技术点、真实商业项目模块分析、多种存储方式的设计
与实现。该阶段是前四个阶段最最重要的阶段，因为后面所有阶段的都要基于此阶段，也是学习大数据紧密度最高的阶段。本阶段将第一次接触团队开发、产出具有前后台(第一阶段技术+第二阶段的技术综合应用)的真实项目。
三、 第三阶段：前端框架
1. 难易程序：两星
2. 课时量(技术知识点+阶段项目任务+综合能力)：64课时
3. 主要技术包括：Java、Jquery、注解反射一起使用，XML以及XML解析、解析dom4j、jxab、jdk8.0新特性、SVN、Maven、easyui
4. 描述如下：
前两个阶段的基础上化静为动，可以实现让我们网页内容更加的丰富，当然如果从市场人员层面来说，有专业的前端设计人员，我们设计本阶段的目标在于前端的技术可以更直观的锻炼人的思维和设计能力。同时我们也将第二阶段的高级特性融入到本阶段。使学习者更上一层楼。
四、 第四阶段：企业级开发框架
1. 难易程序：三颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Hibernate、Spring、SpringMVC、log4j slf4j 整合、myBatis、struts2、Shiro、redis、流程引擎activity， 爬虫技术nutch,lucene，webServiceCXF、Tomcat集群和热备、MySQL读写分离
4. 描述如下：
如果将整个JAVA课程比作一个糕点店，那前面三个阶段可以做出一个武大郎烧饼(因为是纯手工-太麻烦)，而学习框架是可以开一个星巴克(高科技设备-省时省力)。从J2EE开发工程师的任职要求来说，该阶段所用到的技术是必须掌握，而我们所授的课程是高于市场(市场上主流三大框架，我们进行七大框架技术传授)、而且有真实的商业项目驱动。需求文档、概要设计、详细设计、源码测试、部署、安装手册等都会进行讲解。
五、 第五阶段： 初识大数据
1. 难易程度：三颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：大数据前篇(什么是大数据，应用场景，如何学习大数据库，虚拟机概念和安装等)、Linux常见命令(文件管理、系统管理、磁盘管理)、Linux Shell编程(SHELL变量、循环控制、应用)、Hadoop入门(Hadoop组成、单机版环境、目录结构、HDFS界面、MR界面、简单的SHELL、java访问hadoop)、HDFS(简介、SHELL、IDEA开发工具使用、全分布式集群搭建)、MapRece应用(中间计算过程、Java操作MapRece、程序运行、日志监控)、Hadoop高级应用(YARN框架介绍、配置项与优化、CDH简介、环境搭建)、扩展(MAP 端优化，COMBINER 使用方法见,TOP K,SQOOP导出,其它虚拟机VM的快照,权限管理命令,AWK 与 SED命令)
4. 描述如下：
该阶段设计是为了让新人能够对大数据有一个相对的大概念怎么相对呢?在前置课程JAVA的学习过后能够理解程序在单机的电脑上是如何运行的。现在，大数据呢?大数据是将程序运行在大规模机器的集群中处理。大数据当然是要处理数据，所以同样，数据的存储从单机存储变为多机器大规模的集群存储。
(你问我什么是集群?好，我有一大锅饭，我一个人可以吃完，但是要很久，现在我叫大家一起吃。一个人的时候叫人，人多了呢? 是不是叫人群啊!)
那么大数据可以初略的分为： 大数据存储和大数据处理所以在这个阶段中呢，我们课程设计了大数据的标准：HADOOP大数据的运行呢并不是在咋们经常使用的WINDOWS 7或者W10上面，而是现在使用最广泛的系统：LINUX。
六、 第六阶段：大数据数据库
1. 难易程度：四颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Hive入门(Hive简介、Hive使用场景、环境搭建、架构说明、工作机制)、Hive Shell编程(建表、查询语句、分区与分桶、索引管理和视图)、Hive高级应用(DISTINCT实现、groupby、join、sql转化原理、java编程、配置和优化)、hbase入门、Hbase SHELL编程(DDL、DML、Java操作建表、查询、压缩、过滤器)、细说Hbase模块(REGION、HREGION SERVER、HMASTER、ZOOKEEPER简介、ZOOKEEPER配置、Hbase与Zookeeper集成)、HBASE高级特性(读写流程、数据模型、模式设计读写热点、优化与配置)
4. 描述如下：
该阶段设计是为了让大家在理解大数据如何处理大规模的数据的同时。简化咋们的编写程序时间，同时提高读取速度。
怎么简化呢?在第一阶段中，如果需要进行复杂的业务关联与数据挖掘，自行编写MR程序是非常繁杂的。所以在这一阶段中我们引入了HIVE，大数据中的数据仓库。这里有一个关键字，数据仓库。我知道你要问我，所以我先说，数据仓库呢用来做数据挖掘分析的，通常是一个超大的数据中心，存储这些数据的呢，一般为ORACLE,DB2,等大型数据库，这些数据库通常用作实时的在线业务。
总之，要基于数据仓库分析数据呢速度是相对较慢的。但是方便在于只要熟悉SQL，学习起来相对简单，而HIVE呢就是这样一种工具，基于大数据的SQL查询工具，这一阶段呢还包括HBASE，它为大数据里面的数据库。纳闷了，不是学了一种叫做HIVE的数据“仓库”了么?HIVE是基于MR的所以查询起来相当慢，HBASE呢基于大数据可以做到实时的数据查询。一个主分析，另一个主查询
七、 第七阶段：实时数据采集
1. 难易程序：四颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：Flume日志采集，KAFKA入门(消息队列、应用场景、集群搭建)、KAFKA详解(分区、主题、接受者、发送者、与ZOOKEEPER集成、Shell开发、Shell调试)、KAFKA高级使用(java开发、主要配置、优化项目)、数据可视化(图形与图表介绍、CHARTS工具分类、柱状图与饼图、3D图与地图)、STORM入门(设计思想、应用场景、处理过程、集群安装)、STROM开发(STROM MVN开发、编写STORM本地程序)、STORM进阶(java开发、主要配置、优化项目)、KAFKA异步发送与批量发送时效，KAFKA全局消息有序，STORM多并发优化
4. 描述如下：
前面的阶段数据来源是基于已经存在的大规模数据集来做的，数据处理与分析过后的结果是存在一定延时的，通常处理的数据为前一天的数据。
举例场景：网站防盗链，客户账户异常，实时征信，遇到这些场景基于前一天的数据分析出来过后呢?是否太晚了。所以在本阶段中我们引入了实时的数据采集与分析。主要包括了：FLUME实时数据采集，采集的来源支持非常广泛，KAFKA数据数据接收与发送，STORM实时数据处理，数据处理秒级别
八、 第八阶段：SPARK数据分析
1. 难易程序：五颗星
2. 课时量(技术知识点+阶段项目任务+综合能力)
3. 主要技术包括：SCALA入门(数据类型、运算符、控制语句、基础函数)、SCALA进阶(数据结构、类、对象、特质、模式匹配、正则表达式)、SCALA高级使用(高阶函数、科里函数、偏函数、尾迭代、自带高阶函数等)、SPARK入门(环境搭建、基础结构、运行模式)、Spark数据集与编程模型、SPARK SQL、SPARK 进阶(DATA FRAME、DATASET、SPARK STREAMING原理、SPARK STREAMING支持源、集成KAFKA与SOCKET、编程模型)、SPARK高级编程(Spark-GraphX、Spark-Mllib机器学习)、SPARK高级应用(系统架构、主要配置和性能优化、故障与阶段恢复)、SPARK ML KMEANS算法，SCALA 隐式转化高级特性
4. 描述如下：
同样先说前面的阶段，主要是第一阶段。HADOOP呢在分析速度上基于MR的大规模数据集相对来说还是挺慢的，包括机器学习，人工智能等。而且不适合做迭代计算。SPARK呢在分析上是作为MR的替代产品，怎么替代呢? 先说他们的运行机制，HADOOP基于磁盘存储分析，而SPARK基于内存分析。我这么说你可能不懂，再形象一点，就像你要坐火车从北京到上海，MR就是绿皮火车，而SPARK是高铁或者磁悬浮。而SPARK呢是基于SCALA语言开发的，当然对SCALA支持最好，所以课程中先学习SCALA开发语言。
在科多大数据课程的设计方面，市面上的职位要求技术，基本全覆盖。而且并不是单纯的为了覆盖职位要求，而是本身课程从前到后就是一个完整的大数据项目流程，一环扣一环。
比如从历史数据的存储，分析(HADOOP,HIVE,HBASE)，到实时的数据存储(FLUME,KAFKA)，分析(STORM,SPARK)，这些在真实的项目中都是相互依赖存在的。

❻ MapRece 知识

客户端（client）
提交MapRece作业
JobTracker
1.作业调度：将一个作业（Job）分成若干个子任务分发到taskTraker中去执行
2.任务监控：TaskTracker发送心跳给JobTracker报告自己的运行状态，以让JobTracker能够监控到他
3.资源管理：每个任务向JobTracker申请资源
4.监控过程中发现失败或者运行过慢的任务，对他进行重新启动
TaskTracker
主动发送心跳给jobTracker并与JobTracker通信，从而接受到JobTracker发送过来需要执行的任务

资源表示模型
用于描述资源表示形式，Hadoop1.0使用“槽位（slot）”组织各个节点的资源，为了简化资源的管理，Hadoop将各个节点上资源（CPU、内存、网络IO、磁盘IO等等）等量切分成若干份，每一份用“slot”表示，同时规定一个task可根据实际情况需要占用多个”slot”。
简单的说：hadoop1.0将多维度的资源进行了抽象，使用“slot”来表示，从而简化对资源的管理。

资源分配模型
而资源分配模型则决定如何将资源分配给各个作业/任务，在Hadoop中，这一部分由一个插拔式的调度器完成。

更进一步说，slot相当于运行的“许可证”，一个任务只有获得“许可证”后，才能够获得运行的机会，这也意味着，每一个节点上的slot的数量决定了当前节点能够并发执行多少个任务。Hadoop1.0为了区分MapTask跟ReceTask所使用资源的差异，进一步将slot分为MapSlot跟ReceSlot，他们分别只能被MapTask跟ReceTask使用。

Hadoop集群管理员可根据各个节点硬件配置和应用特点为它们分配不同的map slot数（由参数mapred.tasktracker.map.tasks.maximum指定）和rece slot数（由参数mapred.tasktrackerrece.tasks.maximum指定）

静态资源配置 。 采用了静态资源设置策略，即每个节点事先配置好可用的slot总数，这些slot数目一旦启动后无法再动态修改。
资源无法共享 。 Hadoop 1.0将slot分为Map slot和Rece slot两种，且不允许共享。对于一个作业，刚开始运行时，Map slot资源紧缺而Rece slot空闲，当Map Task全部运行完成后，Rece slot紧缺而Map slot空闲。很明显，这种区分slot类别的资源管理方案在一定程度上降低了slot的利用率。
资源划分粒度过大 。资源划分粒度过大，往往会造成节点资源利用率过高或者过低 ，比如，管理员事先规划好一个slot代表2GB内存和1个CPU，如果一个应用程序的任务只需要1GB内存，则会产生“资源碎片”，从而降低集群资源的利用率，同样，如果一个应用程序的任务需要3GB内存，则会隐式地抢占其他任务的资源，从而产生资源抢占现象，可能导致集群利用率过高。
没引入有效的资源隔离机制 。Hadoop 1.0仅采用了基于jvm的资源隔离机制，这种方式仍过于粗糙，很多资源，比如CPU，无法进行隔离，这会造成同一个节点上的任务之间干扰严重。

主要是InputFormat。InputFormat类有2个重要的作用：
1）将输入的数据切分为多个逻辑上的InputSplit，其中每一个InputSplit作为一个map的输入。
2）提供一个RecordReader，用于将InputSplit的内容转换为可以作为map输入的k,v键值对。

系统默认的RecordReader是 LineRecordReader ，它是 TextInputFormat (FileInputFormat的子类)对应的RecordReader; Map读入的Key值是偏移量，Value是行内容。

两个Mapper各自输入一块数据，由键值对构成，对它进行加工（加上了个字符n），然后按加工后的数据的键进行分组，相同的键到相同的机器。这样的话，第一台机器分到了键nk1和nk3，第二台机器分到了键nk2。

接下来再在这些Recers上执行聚合操作（这里执行的是是count），输出就是nk1出现了2次，nk3出现了1次，nk2出现了3次。从全局上来看，MapRece就是一个分布式的GroupBy的过程。

从上图可以看到，Global Shuffle左边，两台机器执行的是Map。Global Shuffle右边，两台机器执行的是Rece。

Hadoop会将输入数据划分成等长的数据块，成为数据分片。Hadoop会为每个分片构建一个map任务。并行的处理分片时间肯定会少于处理整个大数据块的时间，但由于各个节点性能及作业运行情况的不同，每个分片的处理时间可能不一样，因此， 把数据分片切分的更细可以得到更好的负载均衡 。

但另一方面，分片太小的话，管理分片和构建map任务的时间将会增多。因此，需要在hadoop分片大小和处理分片时间之间做一个权衡。对大多数作业来说，一个分片大小为64MB比较合适，其实，Hadoop的默认块大小也是64MB。

我们上面看到了hadoop的数据块大小与最佳分片大小相同，这样的话，数据分片就不容易跨数据块存储，因此，一个map任务的输入分片便可以直接读取本地数据块，这就 避免了再从其它节点读取分片数据 ，从而节省了网络开销。

map的任务输出是 写入到本地磁盘而非HDFS的 。那么为什么呢？因为map任务输出的是中间结果，一旦map任务完成即会被删除，如果把它存入HDFS中并实现备份容错，未免有点大题小做。如果一个map任务失败，hadoop会再另一个节点重启map一个map任务。

而rece任务并不具备数据本地化优势——单个rece任务的输入通常来自所有mapper输出。一般排序过的map输出需要通过 网络传输 发送到运行rece任务的节点，并在rece端进行合并。rece的输出通常需要存储到HDFS中以实现可靠存储。每个rece输出HDFS块第一个复本会存储在本地节点，而其它复本则存储到其它节点，因此rece输出也需要占用网络带宽。

1.调整rece个数方法（1）
（1）每个Rece处理的数据量默认是256MB

（2）每个任务最大的rece数，默认为1009

（3）计算recer数的公式

2.调整rece个数方法（2）
在hadoop的mapred-default.xml文件中修改，设置每个job的Rece个数

3.rece个数并不是越多越好
（1）过多的启动和初始化rece也会消耗时间和资源；
（2）另外，有多少个rece，就会有多少个输出文件，如果产生了很多个小文件，那么如果这些小文件作为下一个任务的输入，则也会出现小文件过多的问题；
在设置rece个数的时候也需要考虑这两个原则：处理大数据利用适合的rece数；使单个rece任务处理数据大小要合适；

在进行map计算之前，maprece会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片（input split）存储的并非数据本身，而是一个分片长度和一个记录数据的位置的数组，输入分片（input split）往往和hdfs的block（块）关系很密切，我们没有设置分片的范围的时候，分片大小是由block块大小决定的，和它的大小一样。

比如把一个258MB的文件上传到HDFS上，假设block块大小是128MB，那么它就会被分成三个block块，与之对应产生三个split，所以最终会产生三个map task。我又发现了另一个问题，第三个block块里存的文件大小只有2MB，而它的block块大小是128MB，那它实际占用Linux file system的多大空间？答案是实际的文件大小，而非一个块的大小。最后一个问题是： 如果hdfs占用Linux file system的磁盘空间按实际文件大小算，那么这个”块大小“有必要存在吗？其实块大小还是必要的，一个显而易见的作用就是当文件通过append操作不断增长的过程中，可以通过来block size决定何时split文件。

1．每个输入分片会让一个map任务来处理，map输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M，由io.sort.mb属性控制），当该缓冲区快要溢出时（默认为缓冲区大小的80%，由io.sort.spill.percent属性控制），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件。

2．在写入磁盘之前，线程首先根据rece任务的数目将数据划分为相同数目的分区，也就是一个rece任务对应一个分区的数据。这样做是为了避免有些rece任务分配到大量数据，而有些rece任务却分到很少数据，甚至没有分到数据的尴尬局面。其实分区就是对数据进行hash的过程。然后对每个分区中的数据进行 排序 ，如果此时设置了Combiner，将排序后的结果进行Combiner操作，主要是在map计算出中间文件前做一个简单的合并重复key值的操作，这样做的目的是让尽可能少的数据写入到磁盘。

3．当map任务输出最后一个记录时，可能会有很多的溢出文件，这时需要将这些文件合并。合并的过程中会不断地进行排序和Combiner操作，目的有两个：1.尽量减少每次写入磁盘的数据量；2.尽量减少下一复制阶段网络传输的数据量。最后合并成了一个 已分区且已排序 的文件。为了减少网络传输的数据量，这里可以将数据压缩，只要将mapred.compress.map.out设置为true就可以了。

4．将分区中的数据 拷贝 （网络传输）给相对应的rece任务。有人可能会问：分区中的数据怎么知道它对应的rece是哪个呢？其实map任务一直和其父TaskTracker保持联系，而TaskTracker又一直和JobTracker保持心跳。所以JobTracker中保存了整个集群中的宏观信息。只要rece任务向JobTracker获取对应的map输出位置就ok了哦。

Rece端：
1．Rece会接收到不同map任务传来的数据，并且每个map传来的数据都是有序的。如果rece端接受的数据量相当小，则直接存储在内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制，表示用作此用途的堆空间的百分比），如果数据量超过了该缓冲区大小的一定比例（由mapred.job.shuffle.merge.percent决定），则对 数据合并 后 溢写 到磁盘中。

2．随着溢写文件的增多，后台线程会将它们合并成一个更大的有序的文件，这样做是为了给后面的合并节省时间。其实不管在map端还是rece端，MapRece都是反复地执行排序，合并操作，现在终于明白了有些人为什么会说：排序是hadoop的灵魂。

3．合并的过程中会产生许多的中间文件（写入磁盘了），但MapRece会让写入磁盘的数据尽可能地少，并且 最后一次合并的结果 并没有写入磁盘，而是直接输入到rece函数。

Read阶段 ：MapTask通过用户编写的RecordReader，从输入InputSplit中解析出一个个key/value

Map阶段 ：该节点主要是将解析出的key/value交给用户编写map()函数处理，并产生一系列新的key/value。

Collect收集阶段 ：在用户编写map()函数中，当数据处理完成后，一般会调用OutputCollection.collect()输出结果。在该函数内部，它会将生成的 key/value分区 （调用Partitioner），并写入一个环形内存缓冲区中。

Spill阶段 ：即“溢写”，当环形缓冲区满后，MapRece会将数据写入本地磁盘上，生成一个临时文件。需要注意的是，将数据写入本地磁盘之前，先要对数据进行一次本地 排序 ，并在必要时对数据进行 combiner 、 压缩 等操作。

溢写阶段详情：

合并阶段 ：当所有数据处理完成后，MapTask对所有临时文件进行一次合并，以确保最终只会生成一个数据文件。在进行文件合并过程中，MapTask以分区为单位进行合并。对于某个分区，它将采用多轮递归合并的方式。每轮合并io.sort.factor（默认100）个文件，并将产生的文件重新加入待合并列表中，对文件排序后，重复以上过程，直到最终得到一个大文件。让一个MapTask最终只生成一个数据文件，可避免同时打开大量文件和同时读取大量小文件产生的随机读取带来的开销。