存储设备可用于持久化日志存储

‘壹’ 什么是持久化

持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在关系型的数据库中，当然也可以存储在磁盘文件中、XML数据文件中等等。 持久化是将程序数据在持久状态和瞬时状态间转换的机制。

‘贰’ 腾讯云储存产品是什么/腾讯云储存储存空间是多大/腾讯云储存怎么上传文件

腾讯云存储产品
云硬盘（Cloud Block Storage）是腾讯云提供的用于CVM实例的持久性数据块级存储。每个云硬盘在其可用区内自动复制，云硬盘中的数据在可用区内以多副本冗余方式存储，避免数据的单点故障风险。云硬盘为您提供处理工作所需的稳定可靠低延迟存储，通过云硬盘，您可在几分钟内调整存储容量，且所有这些您只需为配置的资源量支付低廉的价格。
归档存储（Cloud Archive Storage）是面向企业和个人开发者提供的高可靠、低成本的云端离线存储服务。您可以将任意数量和形式的非结构化数据放 入CAS，实现数据的容灾和备份。
文件存储（Cloud File Storage）提供了可扩展的共享文件存储服务，可与腾讯云的 CVM 等服务搭配使用。CFS 提供了标准的 NFS 文件系统访问协议，为多个 CVM 实例提供共享的数据源，支持无限容量和性能的扩展，现有应用无需修改即可挂载使用，是一种高可用、高可靠的分布式文件系统，适合于大数据分析、媒体处理和内容管理等场景。
对象存储（Cloud Object Storage）是面向企业和个人开发者提供的高可用，高稳定，强安全的云端存储服务。您可以将任意数量和形式的非结构化数据放入COS，并在其中实现数据的管理和处理。COS支持标准的Restful API接口，您可以快速上手使用，按实际使用量计费，无最低使用限制。
存储网关（Cloud Storage Gateway）是一种混合云存储方案，旨在帮助企业或个人实现本地存储与公有云存储的无缝衔接。您无需关心多协议本地存储设备与云存储的兼容性，只需要在本地安装云存储网关即可实现混合云部署，并拥有媲美本地性能的海量云端存储。 n腾讯云私有云存储 CSP（Cloud Storage on Private）是面向企业提供可扩展、高可靠、强安全、低成本的 PB 级海量数据存储能力。提供客户机房私有部署、腾讯云机房专区部署两种方式，满足客户多种场景需求，并保障客户对系统 100% 可控。
云数据迁移（Cloud Data Migration）是腾讯云提供的 TB ~ PB 级别的数据迁移上云服务。本服务提供了多种线下离线迁移的专用设备，满足本地办公网络或数据中心的大规模数据迁移上云的需求，解决大量数据通过网络传输时间长、成本高、安全性低的问题。 n日志服务（Cloud Log Service）提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题，五分钟快速便捷接入，即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。帮助您轻松解决业务问题定位，指标监控、安全审计等日志问题。大大降低日志运维门槛。

‘叁’ 什么是持久化

http://ke..com/view/1101383.htm

持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在关系型的数据库中，当然也可以存储在磁盘文件中、XML数据文件中等等。

关键就是内存的数据会丢失，所以我们要把它保存在存储设备中，以便下次需要的时候可以再把数据取出来

‘肆’ linux里面什么是数据持久化

数据持久化顾名思义就是把程序中的数据以某种形式保存到某存贮介质中，以达到持久化的目的。当程序运行时，一些数据是临时保存在内存中，一旦退出系统，这些数据就丢失了。那么，使用某种手段将数据保存在硬盘上或者数据库中，这样即使退出系统后又重新启动系统，那么这些数据仍然可以重新找回来。

例如管理员向一个用户管理系统中添加了一个用户的资料，那么这个系统需要将新添加的资料保存到数据库中，否则系统退出或者电脑重启后该用户资料就会丢失。将数据从内存保存到数据库中，这便是数据的持久化。当然，数据库只是持久化方式中的一种，也可以保存在其他的永久存贮介质中。

图为数据持久化的过程示意图。

持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在数据库中，或者存储在磁盘文件中、XML数据文件中等等。

持久化是将程序数据在持久状态和瞬时状态间转换的机制。

DBC就是一种持久化机制。文件IO也是一种持久化机制。

日常持久化的方法

在一定周期内保持不变就是持久化,持久化是针对时间来说的。数据库中的数据就是持久化了的数据,只要你不去删除或修改。比如在浏览器中一次Session会话中Session对象变量也是不变的,是Session容器中持久化。对象持久化的方式有很多种,根据周期不同有,page,Session,Application。对象序列化机制对于需要将对象的状态保存到文件中，而后能够通过读入对象状态来重新构造对象，恢复程序状态. 对象序列化的过程是对象持久化的方法之一,把对象保存到文件中。

简单的理解持久化可以在二个层面：应用层和系统层、

应用层

如果关闭(shutdown)你的应用然后重新启动则先前的数据依然存在。

系统层

如果关闭(shutdown)你的系统（电脑）然后重新启动则先前的数据依然存在。

持久化是一种对象服务实现至少3个接口

，就是把内存中的对象保存到外存中，让以后能够取回。需要实现至少3个接口：

void Save(object o) 把一个对象保存到外存中

Object Load(object oid) 通过对象标识从外存中取回对象

boolExists(object oid) 检查外存中是否存在某个对象.

类似概念序列化

我们先跳开一下，看看另一个类似的有用概念：序列化Serialize也是一种对象服务，就是把内存中的对象序列化成流、或者把流反序列化成对象。需要实现2个接口：

void Serialize(Stream stream,object o) 把对象序列化到流中

object Deserialize(Stream stream) 把流反序列化成对象

序列化和持久化很相似，有些人甚至混为一谈，其实还是有区别的，序列化是为了解决对象的传输问题，传输可以在线程之间、进程之间、内存外存之间、主机之间进行。我之所以在这里提到序列化，是因为我们可以利用序列化来辅助持久化，可以说凡是可以持久化的对象都可以序列化，因为序列化相对容易一些（也不是很容易），所以主流的软件基础设施，比如.net和java，已经把序列化的框架完成了。

持久化方案可以分为关系数据库方案、文件方案、对象数据库方案、xml数据库方案

现今主流的持久化方案是关系数据库方案，

关系数据库方案不仅解决了并发的问题，更重要的是，关系数据库还提供了持久化服务之外的价值：统计分析功能。刚才我说到，凡是可以序列化的对象都可以持久化，极端的说，我们可以只建立一个表Object(OID,Bytes)，但基本上没有人这么做，因为一旦这样，我们就失去了关系数据库额外的统计分析功能。关系数据库和面向对象之间有一条鸿沟，因为二者模式不匹配，所以就存在一个OR映射问题。

Redis支持两种数据持久化方式：rdb方式和aof方式。前者会根据配置的规则定时将内存中的数据持久化到硬盘上，后者则是在每次执行写命令之后将命令记录下来。两种持久化方式可以单独使用，但是通常会将两者结合使用。

1、RDB方式

RDB方式的持久化是通过快照的方式完成的。当符合某种规则时，会将内存中的数据全量生成一份副本存储到硬盘上，这个过程称作”快照”，redis默认开启该持久化功能，具体配置如下：

save 900 1

save 300 10

save 60 10000

stop-writes-on-bgsave-error yes

rdbcompression yes

rdbchecksum yes

dbfilename mp.rdb

#文件名称

dir ./

#rdb文件存放路径

配置后系统会自动进行快照，save 60 10000表示60秒内有10000次写入，那么就会调用bgsave

除了系统自动进行快照外，我们也可以手动执行SAVE或BGSAVE命令主动进行快照操作：

执行SAVE或BGSAVE命令

执行FLUSHALL命令

2、AOF方式

在使用Redis存储非临时数据时，一般都需要打开AOF持久化来降低进程终止导致的数据丢失，AOF可以将Redis执行的每一条写命令追加到硬盘文件中，这一过程会降低Redis的性能。

默认情况下，Redis没有开启AOF（append only file）持久化功能，可以通过在配置文件中作如下配置启用：

appendonly no #是否开启aof，开启时将no改为yes

appendfilename "appendonly.aof" 持久化文件名称

auto-aof-rewrite-percentage 100

#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时，自动启动新的日志重写过程。

auto-aof-rewrite-min-size 64mb

#当前AOF文件启动新的日志重写过程的最小值，避免刚刚启动Reids时由于文件尺寸较小导致频繁的重写。

appendfsync :everysec (推荐配置)

#持久化策略

always (同步持久化，每次发生数据变更会被立即记录到磁盘，性能差但数据完整性比较好)

everysec (异步操作，每秒记录，如果一秒钟内宕机，有数据丢失)

no （将缓存回写的策略交给系统，linux 默认是30秒将缓冲区的数据回写硬盘的）

一般来说可以考虑同时使用两种持久化方案.

‘伍’ 持久化类和持久化对象分别指什么有什么作用区别

首先持久化作用是将程序数据在持久状态和瞬时状态间转换的机制。即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在关系型的数据库中，当然也可以存储在磁盘文件中、XML数据文件中等等。

一般来说，持久化类(persistent class)：可以被hibernate保存到数据库，并且从数据库读取的类。
持久化类：是指其实例需要被Hibernate持久化到数据库中的类。持久化类符合JavaBean的规范，包含一些属性，以及与之对应的getXXX（）和setXXX（）方法。而持久化对象就是把对象保存至数据库或者文件中。
区别就是：持久化类是能够实现持久化的类-也就是该类符合JavaBean的规范和持久化标准的一些操作。而持久化对象就是：持久化类的实例对象，并且将至保存到数据库或者文件中。

‘陆’ 持久化的定义

持久化（Persistence），即把数据（如内存中的对象）保存到可永久保存的存储设备中（如磁盘）。持久化的主要应用是将内存中的对象存储在的数据库中，或者存储在磁盘文件中、XML数据文件中等等。
持久化是将程序数据在持久状态和瞬时状态间转换的机制。
JDBC就是一种持久化机制。文件IO也是一种持久化机制。
日常持久化的方法
将鲜肉冷藏，吃的时候再解冻的方法也是。
将水果做成罐头的方法也是。
将人的脏器迅速冷冻，运输，然后解冻给人移植的技术也是。

‘柒’ 磁盘与硬盘的区别

磁盘：将圆形的磁性盘片装在一个方的密封盒子里，用于存储少量数据的存储设备。
特点：
1.适用于早期DOS系统计算机和学习机。
2.本地持久化存储少量数据，防止数据丢失。
3.体积小，便于携带。

机械硬盘：由盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成的存储设备。
特点：
1.适用于Windows、Mac OS X、Linux系统计算机、家用游戏机、液晶电视(加硬盘盒组成移动硬盘再接入USB口)等设备。
2.相对于磁盘，可以存储大量文件，防止文件丢失。
3.存储容量不一，有：40GB、80GB、120GB、160GB、320GB、500GB、1TB、2TB等多种容量。
4.硬盘接口可以是IDE并口，也可以是SATA串口，还可以是其他类型。
5.有转速属性，转速高，读写速率通常会高。
6.内置大量机械部件。

固态硬盘：由固态电子存储芯片阵列而制成的存储设备。
特点：
1.由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。
2.相对于磁盘，可以存储大量文件，防止文件丢失。
3.存储容量和编制格式不一，可以是：8GB、32GB、64GB、128GB、256GB、512GB、1TB等二进制编制规格，也可以是：120GB、240GB、480GB、960GB等十进制编制规格。
4.硬盘接口通常是SATA串口，也可以是其他类型接口。
5.无转速属性。

‘捌’ 什么是基础数据信息平台

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。
先大概列一下互联网行业数据仓库、数据平台的用途：

• 整合公司所有业务数据，建立统一的数据中心；

• 提供各种报表，有给高层的，有给各个业务的；

• 为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；

• 为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；

• 分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；

• 开发数据产品，直接或间接为公司盈利；

• 建设开放数据平台，开放公司数据；

• 。。。。。。




• 上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的 ，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；




• 其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；




• 建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。




• 整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：




• 逻辑上，一般都有数据采集层、数据存储与分析层、数据共享层、数据应用层。可能叫法有所不同，本质上的角色都大同小异。




• 我们从下往上看：




• 数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。





• 数据源的种类比较多：




• 网站日志：




• 作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，




• 一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；




• 业务数据库：




• 业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapRece来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章 《异构数据源海量数据交换工具-Taobao DataX 下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。




• 当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。




• 来自于Ftp/Http的数据源：




• 有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；




• 其他数据源：




• 比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；





• 数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。





• 离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapRece要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；




• 当然，使用Hadoop框架自然而然也提供了MapRece接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapRece来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapRece要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》




• 实时计算部分，后面单独说。




• 数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；





• 前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据；和数据采集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。




• 另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。





• 数据应用

• 业务产品
  




• 业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；




• 报表




• 同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；




• 即席查询




• 即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；




• 这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。




• 即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。




• 当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。




• OLAP




• 目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；




• 这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；




• 比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。




• 其它数据接口
  




• 这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。





• 实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。




• 我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。




• 做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。




• 任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据采集任务、数据同步任务、数据分析任务等；





• 这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据采集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始；这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。




• 前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。




• 总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的资源专注于业务之上。

‘玖’ 如何在数据失效前把数据持久化到数据库里面

长期存储数据，即把数据（如内存中的）保存到可永久保存的存储设备中（如硬盘、U盘），也就是人们常说的持久化。
常用持久化的方案有数据库、XML文件和文件存储。
数据库是按照数据结构来存储和管理数据的仓库，后文不再做详细介绍。
XML是可扩展标记语言，最早是为了简化Internet的文档数据传输，它提供统一的语法格式来描述数据的结构，通常XML文件用于一些少量且无特殊类型要求的文本存储。示例代码使用W3C标准的接口生成XML：
import java.io.FileOutputStream;import java.io.PrintWriter; import javax.xml.parsers.DocumentBuilderFactory;import javax.xml.transform.OutputKeys;import javax.xml.transform.Transformer;import javax.xml.transform.TransformerFactory;import javax.xml.transform.dom.DOMSource;import javax.xml.transform.stream.StreamResult; import org.w3c.dom.Document;import org.w3c.dom.Element; public class $ { public static void main(String[] args) throws Exception { Document document = DocumentBuilderFactory.newInstance().newDocumentBuilder().newDocument(); //创建根节点为students的<a href="https://www..com/s?wd=XML%E6%96%87%E4%BB%B6&tn=44039180_cpr&fenlei=-bIi4WUvYETgN-TLwGUv3EPHmkPWn1rHmk" target="_blank" class="-highlight">XML文件</a> Element students = document.createElement("students"); document.appendChild(students); //在根节点下创建一个子节点学生 Element student = document.createElement("student"); students.appendChild(student); //创建节点学生姓名，值为张三 Element name = document.createElement("name"); name.appendChild(document.createTextNode("张三")); student.appendChild(name); //创建节点学生年龄，值为18 Element age = document.createElement("age"); age.appendChild(document.createTextNode("18")); student.appendChild(age); //创建节点学生编号，值为150101 Element number = document.createElement("number"); number.appendChild(document.createTextNode("150101")); student.appendChild(number); //在根节点下创建第二个子节点学生 student = document.createElement("student"); students.appendChild(student); //创建节点学生姓名，值为李四 name = document.createElement("name"); name.appendChild(document.createTextNode("李四")); student.appendChild(name); //创建节点学生年龄，值为20 age = document.createElement("age"); age.appendChild(document.createTextNode("20")); student.appendChild(age); //创建节点学生编号，值为150102 number = document.createElement("number"); number.appendChild(document.createTextNode("150102")); student.appendChild(number); //将XML文件保存到硬盘 Transformer transformer = TransformerFactory.newInstance().newTransformer(); transformer.setOutputProperty(OutputKeys.ENCODING, "utf-8"); transformer.setOutputProperty(OutputKeys.INDENT, "yes"); PrintWriter writer = new PrintWriter(new FileOutputStream("/home/test.xml")); transformer.transform(new DOMSource(document), new StreamResult(writer)); }}

无论是数据库还是XML文件，它们都使用了能让数据快速方便进出的标准规范。其它文件如propeties、json，都可以使用类似XML的方式来打包数据，然后通过Java丰富的io流接口保存到磁盘中。