hadoop加密

⑴ 金山云玩转了Hadoop，英特尔为什么高兴

因为，前不久金山云与英特尔宣布了彼此的深度合作，金山云托管Hadoop（Kingsoft MapRece，简称KMR）解决方案是结合双方技术优势共同打造的、基于英特尔架构的大数据解决方案。对此，金山云大数据和AI技术总监张东进、金山云大数据产品经理杨亮分享了该解决方案目前的部署情况与为用户带来的实际应用价值。
一般具有显着划时代的科技创新都会有个规律，最初萌芽的时候带来人类的无尽畅想，认为其甫出便无所不能，但产业的狂躁过后便是冷静，落地的层级表现也就逐步清晰了。
例如无人机，刚出现的时候就被很多专家看出要重塑快递、交通、代价等多个行业，待到后来率先被亚马逊及同行证实其仅在送货上进步还有巨大的空间。
人工智能也一样。大数据时代的数据浇灌，让人们觉得其是拯救企业走出数据创新樊笼最为得心应手的杀手锏。但玩转了一圈Hadoop后，认识到，驾驭离梦想还是有点远。所以，公有云厂商们相信，这会是市场在很长的时间范围内都会有的蓝海。
为此，金山云认为，企业从云计算走到人工智能，他们的深度学习平台KDL价值不可或缺。“我们这个平台（KDL）可以深度助力企业拥抱AI。它是一个机器学习，尤其是深度学习的任务托管平台，底层是基于金山云高性能的异构计算集群，融合了英特尔等顶级合作伙伴的领先技术，将为我们的客户带来非常高的价值。”张东进这样介绍KMR。
看看热词曲线，云计算、大数据与AI相继而出。产业界讨论也逐渐认为，大数据是云计算走向人工智能必不可少的中间路径。张东进介绍，金山云多年的发展，也是很好地遵循了这个发展路径需求。初期投入IaaS虚拟化，“让企业将其业务放到云端，降低企业的部署成本，并且加速企业业务的发展。”进而玩转大数据，让数据变现，“要有利用这些数据驱动企业进行决策的能力，以Hadoop为代表。” 现在看到人工智能是接下来的未来，“人工智能的需求也在快速增长，我们发现人工智能本身其实是一个对性能和规模有非常大要求的行业，这就是非常适合我们天然上云的一个行业。”
简单理解，玩转Hadoop就是要解决实现AI的成本、效率、安全、性能等方面的巨大挑战。例如张东进强调，金山云提供的全功能的深度学习集成环境，全流程优化，所以从整个物料的预处理、物料的存储、物料的训练、评估、上线预测等等方面都提供完整的支持。还有，人工智能的一个训练任务可能长达一周或者是半个月，而金山云可以提供一个企业级的数据加密和企业级HPC集群的安全、最稳定环境，并且可以做到分钟级的自动恢复，不耽误人工智能出活儿。
除了KDL，金山云还为行业提供了各种中间层，包括提供基础的视觉、听觉、自然语言、VR/AR等等技术能力。同时，金山云还有一些上层行业的AI解决方案，针对医疗、金融、交通、物联网等行业提供解决方案。
而这一切一切的背后，英特尔“inside”出力不小。金山云KMR，该解决方案采用基于英特尔® 至强® 处理器E5 v4产品家族的硬件平台，是一个可伸缩的通用数据计算和分析平台。它以Apache Hadoop和Apache Spark两大数据计算系统为基础，通过自动调度弹性计算服务（KEC），能够帮助企业用户快速构建分布式数据分析系统。此外，结合金山云所提供的多种云服务产品，还可形成端到端的数据分析处理解决方案，进而帮助用户更加灵活方便地收集和管理数据，花费更低的成本，获得更高的数据可靠性。
基于英特尔与金山云一直以来的紧密合作，在KMR大数据解决方案的构建过程中，英特尔不仅为金山云提供了性能强劲的硬件平台，在针对Apache Hadoop、Apache Spark等开源数据分析技术的优化、创新与应用等方面也提供了有力的支持与帮助。目前，该解决方案已经在当当、WPS等多家行业用户中应用部署。以当当为例，KMR大数据解决方案帮助其有效缓解促销期间IT系统的压力、大幅减少系统维护的工作和资源拥有成本，并根据业务需求实现了资源配置的灵活调配。
杨亮透露，当当网已经是KMR的受益者了。“当当网在电商大促的时候，通过专线把实时数据流打到我们的KMR集群做处理和分析。处理的结果相对来说数据量会比较小，也会通过我们的专线写回到当当网的数据中心。所以对于用户来说，首先它的数据是不需要搬迁的，第二个，他的核心数据也可以保留在自己的数据中心，在数据安全方面也会更加放心。”

⑵ Hadoop是什么，具体有什么用呢

首先Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop 的最常见用法之一是 Web 搜索。虽然它不是唯一的软件框架应用程序，但作为一个并行数据处理引擎，它的表现非常突出。Hadoop 最有趣的方面之一是 Map and Rece 流程，它受到Google开发的启发。这个流程称为创建索引，它将 Web爬行器检索到的文本 Web 页面作为输入，并且将这些页面上的单词的频率报告作为结果。
结果是对输入域中的单词进行计数，这无疑对处理索引十分有用。但是，假设有两个输入域，第一个是 one small step for man，第二个是 one giant leap for mankind。您可以在每个域上执行 Map 函数和 Rece 函数，然后将这两个键/值对列表应用到另一个 Rece 函数，这时得到与前面一样的结果。换句话说，可以在输入域并行使用相同的操作，得到的结果是一样的，但速度更快。这便是 MapRece 的威力；它的并行功能可在任意数量的系统上使用
回到 Hadoop 上，它实现这个功能的方法是：一个代表客户机在单个主系统上启动的 MapRece应用程序称为 JobTracker。类似于 NameNode，它是 Hadoop 集群中唯一负责控制 MapRece应用程序的系统。在应用程序提交之后，将提供包含在 HDFS 中的输入和输出目录。JobTracker 使用文件块信息（物理量和位置）确定如何创建其他 TaskTracker 从属任务。MapRece应用程序被复制到每个出现输入文件块的节点。将为特定节点上的每个文件块创建一个唯一的从属任务。每个 TaskTracker 将状态和完成信息报告给 JobTracker
通过Hadoop安全部署经验总结，开发出以下十大建议，以确保大型和复杂多样环境下的数据信息安全 [9] 。
1、先下手为强!在规划部署阶段就确定数据的隐私保护策略，最好是在将数据放入到Hadoop之前就确定好保护策略 [9] 。
2、确定哪些数据属于企业的敏感数据。根据公司的隐私保护政策，以及相关的行业法规和政府规章来综合确定 [9] 。
3、及时发现敏感数据是否暴露在外，或者是否导入到Hadoop中 [9] 。
4、搜集信息并决定是否暴露出安全风险 [9] 。
5、确定商业分析是否需要访问真实数据，或者确定是否可以使用这些敏感数据。然后，选择合适的加密技术。如果有任何疑问，对其进行加密隐藏处理，同时提供最安全的加密技术和灵活的应对策略，以适应未来需求的发展 [9] 。
6、确保数据保护方案同时采用了隐藏和加密技术，尤其是如果我们需要将敏感数据在Hadoop中保持独立的话 [9] 。
7、确保数据保护方案适用于所有的数据文件，以保存在数据汇总中实现数据分析的准确性 [9] 。
8、确定是否需要为特定的数据集量身定制保护方案，并考虑将Hadoop的目录分成较小的更为安全的组 [9] 。
9、确保选择的加密解决方案可与公司的访问控制技术互操作，允许不同用户可以有选择性地访问Hadoop集群中的数据 [9] 。
10、确保需要加密的时候有合适的技术(比如Java、Pig等)可被部署并支持无缝解密和快速访问数据

⑶ 配置hadoop分布式集群一台虚拟系统，二台实体系统可以吗

可以

准备工作

1.安装虚拟机 VMware Workstation

2.在虚拟机上安装linux操作系统
这里在虚拟机上安装的linux操作系统为ubuntu10.04。其实用哪个linux系统都是可以的，比如用centos, redhat, fedora等均可，完全没有问题。

3.准备3个虚拟节点
如果已经完成第2步，那就已经准备好了第一个虚拟节点。准备第二个和第三个虚拟节点有两种方法：
method1：分别安装两遍linux系统，太繁琐，放弃。
method2：在刚安装的第一个虚拟节点，将整个系统目录复制来形成第二个和第三个虚拟节点。
按照hadoop集群的基本要求，其中一个是master节点，用于运行hadoop程序中的namenode，secondorynamenode和jobtracker任务。另外两个节点为slave节点，其中一个用于冗余目的。slave节点用于运行hadoop程序中的datanode和tasktracker任务。所以模拟hadoop集群至少要有3个节点。

4.重命名主机名
因为前面复制粘贴产生的两个节点和第一个节点的主机名一样。
重命名主机名：Vim /etc/hostname
以下是我对三个结点的ubuntu系统主机分别命名为：master, node1, node2

6.配置hadoop-env.sh文件

⑷ Kerberos在Hadoop安全中担任什么角色以及存在什么问题

在与客户交流Hadoop安全时，提及kerberos的频率非常高，并提出了一些关于kerberos的安全问题，比如它的安全机制，具体是解决Hadoop什么安全问题，存在哪些不足等等，下面就由小编对kerberos做一个详细的归纳，更加清晰kerberos在Hadoop安全中担任的角色。

1. Hadoop安全问题：

Hadoop设计之初，默认集群内所有的节点都是可靠的。由于用户与HDFS或M/R进行交互时不需要验证，恶意用户可以伪装成真正的用户或者服务器入侵到hadoop集群上，导致：恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode 或者TaskTracker接受任务等。 尽管在版本之后， HDFS增加了文件和目录的权限，但并没有强认证的保障，这些权限只能对偶然的数据丢失起保护作用。恶意的用户可以轻易的伪装成其他用户来篡改权限，致使权限设置形同虚设。不能够对Hadoop集群起到安全保障。

(1) 用户到服务器的认证问题：

• NameNode，JobTracker上没有用户认证

用户可以伪装成其他用户入侵到一个HDFS 或者MapRece集群上。

• DataNode上没有认证

Datanode对读入输出并没有认证。导致如果一些客户端如果知道block的ID，就可以任意的访问DataNode上block的数据

• JobTracker上没有认证

可以任意的杀死或更改用户的jobs，可以更改JobTracker的工作状态

(2) 服务器到服务器的认证问题：

没有DataNode, TaskTracker的认证

用户可以伪装成datanode ,tasktracker，去接受JobTracker, Namenode的任务指派。

2、kerberos解决的安全问题：

加入Kerberos认证机制使得集群中的节点就是它们所宣称的，是信赖的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时，集群内的节点使用密钥得到认证。只有被认证过节点才能正常使用。企图冒充的节点由于没有事先得到的密钥信息，无法与集群内部的节点通信。

kerberos实现的是机器级别的安全认证，也就是前面提到的服务到服务的认证问题。事先对集群中确定的机器由管理员手动添加到kerberos数据库中，在KDC上分别产生主机与各个节点的keytab(包含了host和对应节点的名字，还有他们之间的密钥)，并将这些keytab分发到对应的节点上。通过这些keytab文件，节点可以从KDC上获得与目标节点通信的密钥，进而被目标节点所认证，提供相应的服务，防止了被冒充的可能性。

• 解决服务器到服务器的认证

由于kerberos对集群里的所有机器都分发了keytab，相互之间使用密钥进行通信，确保不会冒充服务器的情况。集群中的机器就是它们所宣称的，是可靠的。

防止了用户伪装成Datanode，Tasktracker，去接受JobTracker，Namenode的任务指派。

• 解决client到服务器的认证

Kerberos对可信任的客户端提供认证，确保他们可以执行作业的相关操作。防止用户恶意冒充client提交作业的情况。

用户无法伪装成其他用户入侵到一个HDFS 或者MapRece集群上

用户即使知道datanode的相关信息，也无法读取HDFS上的数据

用户无法发送对于作业的操作到JobTracker上

• 对用户级别上的认证并没有实现

无法控制用户提交作业的操作。不能够实现限制用户提交作业的权限。不能控制哪些用户可以提交该类型的作业，哪些用户不能提交该类型的作业。这些由ACL模块控制(参考)

3、Kerberos在Hadoop安全中担任什么角色以及存在什么问题：

通俗来说Kerberos在Hadoop安全中起到是一个单因素(只有一种如账号、密码的验证方式)身份验证的作用，kerberos就如一个房间的门锁，进门的人需要提供正确的密码，而对于进门后的人做了什么样的操作kerberos就无法控制了。

存在的问题：

• kerberos验证方式单一、安全性低的问题，首先其只提供类似linux文件系统的帐户权限验证，而且可以通过简单的手段冒充用户名，如果有恶意用户，直接冒充为hadoop的super用户，那整个集群是很危险的。其次不能对认证过的用户做任何权限控制;

• 部署复杂，生成证书和配置的步骤相当繁琐，首次配置还可以接受，但是对于用户权限的修改，机器的减容扩容，会造成证书重新生成，再分发证书，重启hadoop。且还存在kerberos的宕机导致整个集群无法服务的风险，加上kerberos本身也比较复杂。

• 影响效率，网上搜罗一个真实案例，支付宝曾用了kerberos，导致其效率极低运维困难。原因是因为请求次数过多，具体看下面关于kerberos的工作原理就知道了。

4、 Kerberos工作原理介绍

4.1基本概念

Princal(安全个体)：被认证的个体，有一个名字和口令

KDC(key distribution center ) : 是一个网络服务，提供ticket 和临时会话密钥

Ticket：一个记录，客户用它来向服务器证明自己的身份，包括客户标识、会话密钥、时间戳。

AS (Authentication Server)： 认证服务器

TSG(Ticket Granting Server)： 许可证服务器

4.2 kerberos 工作原理

4.2.1 Kerberos协议

Kerberos可以分为两个部分：

Client向KDC发送自己的身份信息，KDC从Ticket Granting Service得到TGT(ticket-granting ticket)， 并用协议开始前Client与KDC之间的密钥将TGT加密回复给Client。此时只有真正的Client才能利用它与KDC之间的密钥将加密后的TGT解密，从而获得TGT。(此过程避免了Client直接向KDC发送密码，以求通过验证的不安全方式)

Client利用之前获得的TGT向KDC请求其他Service的Ticket，从而通过其他Service的身份鉴别

⑸ ssh已经设置无密码登录了，但hadoop启动时提示要输入localhost的密码，具体情况如问题补充，求大神解救

ssh及其下属子文件的权限问题，首选.ssh目录权限是700， 两个dsa 和 rsa的 私钥权限是600，其余文件权限是644。

SSH为SecureShell的缩写，由IETF的网络小组（NetworkWorkingGroup）所制定；SSH为建立在应用层基础上的安全协议。

SSH是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用SSH协议可以有效防止远程管理过程中的信息泄露问题。

SSH最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH在正确使用时可弥补网络中的漏洞。

传统的网络服务程序，如：ftp、pop和telnet在本质上都是不安全的，因为它们在网络上用明文传送口令和数据，别有用心的人非常容易就可以截获这些口令和数据。而且，这些服务程序的安全验证方式也是有其弱点的，就是很容易受到“中间人”（man-in-the-middle）这种方式的攻击。

所谓“中间人”的攻击方式，就是“中间人”冒充真正的服务器接收你传给服务器的数据，然后再冒充你把数据传给真正的服务器。服务器和你之间的数据传送被“中间人”一转手做了手脚之后，就会出现很严重的问题。

通过使用SSH，你可以把所有传输的数据进行加密，这样"中间人"这种攻击方式就不可能实现了，而且也能够防止DNS欺骗和IP欺骗。使用SSH，还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度。

SSH有很多功能，它既可以代替Telnet，又可以为FTP、PoP、甚至为PPP提供一个安全的"通道"。

⑹ hadoop支持什么开发语言

hadoop支持C++，Java开发语言。

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写，比如 C++。MapRece是处理大量半结构化数据集合的编程模型。编程模型是一种处理并结构化特定问题的方式。

例如，在一个关系数据库中，使用一种集合语言执行查询，如sql。告诉语言想要的结果，并将它提交给系统来计算出如何产生计算。还可以用更传统的语言(C++，Java)，一步步地来解决问题。这是两种不同的编程模型，MapRece就是另外一种。

(6)hadoop加密扩展阅读

特点

1、确定哪些数据属于企业的敏感数据。根据公司的隐私保护政策，以及相关的行业法规和政府规章来综合确定。

2、确保数据保护方案同时采用了隐藏和加密技术，尤其是如果我们需要将敏感数据在Hadoop中保持独立的话。

3、确保需要加密的时候有合适的技术(比如Java、Pig等)可被部署并支持无缝解密和快速访问数据。

⑺ hadoop hue配置文件怎样设置加密密码

ue是一个开源的Apache Hadoop UI系统，最早是由Cloudera Desktop演化而来，由Cloudera贡献给开源社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapRece Job等等。很早以前就听说过Hue的便利与强大，一直没能亲自尝试使用，下面先通过官网给出的特性，通过翻译原文简单了解一下Hue所支持的功能特性集合：

默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle
基于文件浏览器（File Browser）访问HDFS
基于Hive编辑器来开发和运行Hive查询
支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）
支持基于Impala的应用进行交互式查询
支持Spark编辑器和仪表板（Dashboard）
支持Pig编辑器，并能够提交脚本任务
支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle
支持HBase浏览器，能够可视化数据、查询数据、修改HBase表
支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
支持Job浏览器，能够访问MapRece Job（MR1/MR2-YARN）
支持Job设计器，能够创建MapRece/Streaming/Java Job
支持Sqoop 2编辑器和仪表板（Dashboard）
支持ZooKeeper浏览器和编辑器
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
1 Hue安装（参考官网：http://gethue.com/how-to-build-hue-on-ubuntu-14-04-trusty/）
1.1 在git上下载HUE源码或者在它的官网下载（如果已经安装git可省略第一步）
sudo apt-get install git

git clone https://github.com/cloudera/hue.git
1.2 需要安装一些依赖的软件包
官网给出了一些，如果环境不一样，灵活调整，GIT上面给出的依赖文件列表：

⑻ 哪位大神知道hadoop的客户端和datanode之间是明文传输还是密文传输

密文，他们的全部通信都是基于ssh来通信，所以注定是加密的、安全的。