列式存储原理

1. 计算机的存储程序工作原理是什么

计算机的基本原理是:

存储程序和程序控制。

预先要把指挥计算机如何进行操作的指令序列(称为程序)和原始数据通过输入设备输送到计算机内存贮器中。

每一条指令中明确规定了计算机从哪个地址取数，进行什么操作，然后送到什么地址去等步骤。

1计算机在运行时，先从内存中取出第一条指令，通过控制器的译码，按指令的要求，从存储器中取出数据进行指定的运算和逻辑操作等加工，然后再按地址把结果送到内存中去。

2接下来，再取出第二条指令，在控制器的指挥下完成规定操作。依此进行下去。直至遇到停止指令。

3程序与数据一样存贮，按程序编排的顺序，一步一步地取出指令，自动地完成指令规定的操作是计算机最基本的工作原理。

4这一原理最初是由美籍匈牙利数学家冯.诺依曼于1945年提出来的，故称为冯.诺依曼原理。

2. 什么是数据库列存储，原理是怎样的

数据库列存储不同于传统的关系型数据库，其数据在表中是按行存储的，列方式所带来的重要好处之一就是，由于查询中的选择规则是通过列来定义的，因 此整个数据库是自动索引化的。

按列存储每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就 更容易为这种聚集存储设计更好的压缩/解压算法。这张图讲述了传统的行存储和列存储的区别：

3. 网络存储技术的工作原理是什么有图解释么

网络存储技术（Network Storage Technologies）是基于数据存储的一种通用网络术语。网络存储结构大致分为三种：直连式存储（DAS：Direct Attached Storage）、网络存储设备（NAS：Network Attached Storage）和存储网络（SAN：Storage Area Network）。
网络存储技术
直连式存储（DAS）：这是一种直接与主机系统相连接的存储设备，如作为服务器的计算机内部硬件驱动。到目前为止，DAS 仍是计算机系统中最常用的数据存储方法。 DAS即直连方式存储，英文全称是Direct Attached Storage。中文翻译成“直接附加存储”。顾名思义，在这种方式中，存储设备是通过电缆（通常是SCSI接口电缆）直接到服务器的。I/O（输入/输入）请求直接发送到存储设备。DAS，也可称为SAS（Server-Attached Storage，服务器附加存储）。它依赖于服务器，其本身是硬件的堆叠，不带有任何存储操作系统。
DAS的适用环境为：
1） 服务器在地理分布上很分散，通过SAN（存储区域网络）或NAS（网络直接存储）在它们之间进行互连非常困难时(商店或银行的分支便是一个典型的例子)； 2） 存储系统必须被直接连接到应用服务器（如Microsoft Cluster Server或某些数据库使用的“原始分区”）上时； 3） 包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储器上，群件应用和一些邮件服务也包括在内。 典型DAS结构如图所示： 典型DAS结构如图所示
对于多个服务器或多台PC的环境，使用DAS方式设备的初始费用可能比较低，可是这种连接方式下，每台PC或服务器单独拥有自己的存储磁盘，容量的再分配困难；对于整个环境下的存储系统管理，工作烦琐而重复，没有集中管理解决方案。所以整体的拥有成本（TCO）较高。目前DAS基本被NAS所代替。下面是DAS与NAS的比较。 DAS与NAS的比较图
网络存储设备（NAS）：NAS 是一种采用直接与网络介质相连的特殊设备实现数据存储的机制。由于这些设备都分配有 IP 地址，所以客户机通过充当数据网关的服务器可以对其进行存取访问，甚至在某些情况下，不需要任何中间介质客户机也可以直接访问这些设备。
NAS网络存储器
1. 最大存储容量
最存储大存储容量是指NAS存储设备所能存储数据容量的极限，通俗的讲，就是NAS设备能够支持的最大硬盘数量乘以单个硬盘容量就是最大存储容量。这个数值取决于NAS设备的硬件规格。不同的硬件级别，适用的范围不同，存储容量也就有所差别。通常，一般小型的NAS存储设备会支持几百GB的存储容量，适合中小型公司作为存储设备共享数据使用，而中高档的NAS设备应该支持T级别的容量（1T=1000G）。
2. 处理器
同普通电脑类似，NAS产品也都具有自己的处理器（CPU）系统，来协调控制整个系统的正常运行。其采用的处理器也常常与台式机或服务器的CPU大体相同。目前主要有以下几类。 （1）Intel系列处理器 （4）AMD系列处理器 （5）PA-RISC型处理器 （6）PowerPC处理器 （7）MIPS处理器 一般针对中小型公司使用NAS产品采用AMD的处理器或Intel PIII/PIV等处理器。而大规模应用的NAS产品则使用Intel Xeon处理器、或者RISC型处理器等。但是也不能一概而论，视具体应用和厂商规划而定。
3. 内存
NAS从结构上讲就是一台精简型的电脑，每台NAS设备都配备了一定数量的内存，而且大多用户以后可以扩充。在NAS设备中，常见的内存类型由SDRAM（同步内存）、FLASH（闪存）等。不同的NAS产品出厂时配备的内存容量不同，一般为几十兆到数GB（1GB=1000MB）容量不等，这取决于NAS产品的应用范围，一般来讲，应用在小规模的局域网当中的NAS，如果只是应付几台设备的访问，64M以下内存容量即可。如果是上百个节点以上的访问，就得需要上G容量的内存。当然，这不是绝对的因素，NAS产品的综合性能发挥还取决于它的处理器能力、硬盘速度及其网络实际环境等因素的制约。总之，选购NAS产品时，应该综合考虑各个方面的性能参数。
4. 接口
NAS产品的外部接口比较简单，由于只是通过内置网卡与外界通讯，所以一般只具有以太网络接口，通常是RJ45规格，而这种接口网卡一般都是100M网卡或1000M网卡。另外，也有部分NAS产品需要与SAN（存储区域网络）产品连接提供更为强大的功能，所以也可能会有FC（Fiber Channel光纤通道）接口。
5. 预置软件系统
预制操作系统是指NAS产品出厂时随机带的操作系统或者管理软件。目前NAS产品一般带有以下几种系统软件。 精简的WINDOWS2000系统 这类系统只是保留了WINDOWS2000 SERVER系统核心网络中最重要的部分，能够驱动NAS产品正常工作。我们可以把它理解为WINDOWS2000的“精简版”。 FreeBSD嵌入式系统 FreeBSD是类UNIX系统，在网络应用方面具备极其优异的性能。 Linux嵌入式系统 Linux系统类似于UNIX操组系统，但相比之下具有界面友好、内核升级迅速等特点。常常用来作为电器等产品的嵌入式控制系统。
6. 网络管理
网络管理，是指网络管理员通过网络管理程序对网络上的资源进行集中化管理的操作，包括配置管理、性能和记账管理、问题管理、操作管理和变化管理等。一台设备所支持的管理程度反映了该设备的可管理性及可操作性。 一般的网络满足SNMP MIB I / MIB II统计管理功能。常见的网络管理方式有以下几种： （1）SNMP管理技术 （2）RMON管理技术 （3）基于WEB的网络管理 SNMP是英文“Simple Network Management Protocol”的缩写，中文意思是“简单网络管理协议”。SNMP首先是由Internet工程任务组织(Internet Engineering Task Force)(IETF)的研究小组为了解决Internet上的路由器管理问题而提出的。 SNMP是目前最常用的环境管理协议。SNMP被设计成与协议无关，所以它可以在IP，IPX，AppleTalk，OSI以及其他用到的传输协议上被使用。SNMP是一系列协议组和规范（见下表），它们提供了一种从网络上的设备中收集网络管理信息的方法。SNMP也为设备向网络管理工作站报告问题和错误提供了一种方法。 目前，几乎所有的网络设备生产厂家都实现了对SNMP的支持。领导潮流的SNMP是一个从网络上的设备收集管理信息的公用通信协议。设备的管理者收集这些信息并记录在管理信息库（MIB）中。这些信息报告设备的特性、数据吞吐量、通信超载和错误等。MIB有公共的格式，所以来自多个厂商的SNMP管理工具可以收集MIB信息，在管理控制台上呈现给系统管理员。 通过将SNMP嵌入数据通信设备，如交换机或集线器中，就可以从一个中心站管理这些设备，并以图形方式查看信息。目前可获取的很多管理应用程序通常可在大多数当前使用的操作系统下运行，如Windows3.11、Windows95 、Windows NT和不同版本UNIX的等。 一个被管理的设备有一个管理代理，它负责向管理站请求信息和动作，代理还可以借助于陷阱为管理站提供站动提供的信息，因此，一些关键的网络设备（如集线器、路由器、交换机等）提供这一管理代理，又称SNMP代理，以便通过SNMP管理站进行管理。
7. 网络协议
网络协议即网络中（包括互联网）传递、管理信息的一些规范。如同人与人之间相互交流是需要遵循一定的规矩一样，计算机之间的相互通信需要共同遵守一定的规则，这些规则就称为网络协议。 一台计算机只有在遵守网络协议的前提下，才能在网络上与其他计算机进行正常的通信。网络协议通常被分为几个层次，每层完成自己单独的功能。通信双方只有在共同的层次间才能相互联系。常见的协议有：TCP/IP协议、IPX/SPX协议、NetBEUI协议等。在局域网中用得的比较多的是IPX/SPX.。用户如果访问Internet，则必须在网络协议中添加TCP/IP协议。 TCP/IP是“transmission Control Protocol/Internet Protocol”的简写，中文译名为传输控制协议/互联网络协议）协议， TCP/IP（传输控制协议/网间协议）是一种网络通信协议，它规范了网络上的所有通信设备，尤其是一个主机与另一个主机之间的数据往来格式以及传送方式。TCP/IP是INTERNET的基础协议，也是一种电脑数据打包和寻址的标准方法。在数据传送中，可以形象地理解为有两个信封，TCP和IP就像是信封，要传递的信息被划分成若干段，每一段塞入一个TCP信封，并在该信封面上记录有分段号的信息，再将TCP信封塞入IP大信封，发送上网。在接受端，一个TCP软件包收集信封，抽出数据，按发送前的顺序还原，并加以校验，若发现差错，TCP将会要求重发。因此，TCP/IP在INTERNET中几乎可以无差错地传送数据。 对普通用户来说，并不需要了解网络协议的整个结构，仅需了解IP的地址格式，即可与世界各地进行网络通信。 IPX/SPX是基于施乐的XEROX’S Network System（XNS）协议，而SPX是基于施乐的XEROX’S SPP（Sequenced Packet Protocol：顺序包协议）协议，它们都是由novell公司开发出来应用于局域网的一种高速协议。它和TCP/IP的一个显着不同就是它不使用ip地址，而是使用网卡的物理地址即（MAC）地址。在实际使用中，它基本不需要什么设置，装上就可以使用了。由于其在网络普及初期发挥了巨大的作用，所以得到了很多厂商的支持，包括microsoft等，到现在很多软件和硬件也均支持这种协议。 NetBEUI即NetBios Enhanced User Interface ，或NetBios增强用户接口。它是NetBIOS协议的增强版本，曾被许多操作系统采用，例如Windows for Workgroup、Win 9x系列、Windows NT等。NETBEUI协议在许多情形下很有用，是WINDOWS98之前的操作系统的缺省协议。总之NetBEUI协议是一种短小精悍、通信效率高的广播型协议，安装后不需要进行设置，特别适合于在“网络邻居”传送数据。所以建议除了TCP/IP协议之外，局域网的计算机最好也安上NetBEUI协议。另外还有一点要注意，如果一台只装了TCP/IP协议的WINDOWS98机器要想加入到WINNT域，也必须安装NetBEUI协议。
8. 网络文件协议
网络文件系统是基于网络的分布式文件系统，其文件系统树的各节点可以存在于不同的联网计算机甚至不同的系统平台上，可以用来提供跨平台的信息存储与共享。 当今最主要的两大网络文件系统是Sun提出的NFS（Network File System）以及由微软、EMC和NetApp提出的CIFS（Common Internet File System），前者主要用于各种Unix平台，后者则主要用于Windows平台，我们熟悉的“网上邻居”的文件共享方式就是基于CIFS系统的。其他着名的网络文件系统还有Novell公司的NCP（网络控制协议）、Apple公司的AFP以及卡内基-梅隆大学的Coda等，NAS的主要功能之一便是通过各种网络文件系统提供存储服务。
9. 网络备份软件
目前在数据存储领域可以完成网络数据备份管理的软件产品主要有Legato公司的NetWorker、IBM公司 的Tivoli、Veritas公司 的NetBackup等。另外有些操作系统，诸如Unix的tar/cpio、Windows2000/NT的Windows Backup、Netware的Sbackup也可以作为NAS的备份软件。
NetBackup
NetBackup是Veritas公司推出的适用于中型和大型的存储系统的备份软件，可以广泛的支持各种开放平台。另外该公司还推出了适合低端的备份软件Backup Exec。
NetWorker
NetWorker是Legato公司推出的备份软件，它适用于大型的复杂网络环境，具有各种先进的备份技术机制，广泛的支持各种开放系统平台。值得一提的是， NetWorker中的Cellestra技术第一个在产品上实现了Serverless Backup（无服务器备份）的思想。
IBM Tivoli
IBM Tivoli是IBM公司推出的备份软件，与Veritas的NetBackup和Legato的NetWorker相比，Tivoli Storage Manager更多的适用于IBM主机为主的系统平台，其强大的网络备份功能可以胜任大规模的海量存储系统的备份需要。 此外，CA公司原来的备份软件ARCServe，在低端市场具有相当广泛的影响力。其新一代备份产品--BrightStor，定位直指中高端市场，也具有不错的性能。 选购备份软件时，应该根据不同的用户需要选择合适的产品，理想的网络备份软件系统应该具备以下功能:
集中式管理
网络存储备份管理系统对整个网络的数据进行管理。利用集中式管理工具的帮助，系统管理员可对全网的备份策略进行统一管理，备份服务器可以监控所有机器的备份作业，也可以修改备份策略，并可即时浏览所有目录。所有数据可以备份到同备份服务器或应用服务器相连的任意一台磁带库内。
全自动的备份
备份软件系统应该能够根据用户的实际需求，定义需要备份的数据，然后以图形界面方式根据需要设置备份时间表，备份系统将自动启动备份作业，无需人工干预。这个自动备份作业是可自定的,包括一次备份作业、每周的某几日、每月的第几天等项目。设定好计划后，备份作业就会按计划自动进行。
数据库备份和恢复
在许多人的观念里，数据库和文件还是一个概念。当然，如果你的数据库系统是基于文件系统的，当然可以用备份文件的方法备份数据库。但发展至今，数据库系统已经相当复杂和庞大，再用文件的备份方式来备份数据库已不适用。是否能够将需要的数据从庞大的数据库文件中抽取出来进行备份，是网络备份系统是否先进的标志之一。
在线式的索引
备份系统应为每天的备份在服务器中建立在线式的索引，当用户需要恢复时，只需点取在线式索引中需要恢复的文件或数据，该系统就会自动进行文件的恢复。
归档管理
用户可以按项目、时间定期对所有数据进行有效的归档处理。提供统一的Open Tape Format 数据存储格式从而保证所有的应用数据由一个统一的数据格式作为永久的保存，保证数据的永久可利用性。
有效的媒体管理
备份系统对每一个用于作备份的磁带自动加入一个电子标签，同时在软件中提供了识别标签的功能，如果磁带外面的标签脱落，只需执行这一功能，就会迅速知道该磁带的内容。
满足系统不断增加的需求
备份软件必须能支持多平台系统，当网络上连接上其它的应用服务器时，对于网络存储管理系统来说，只需在其上安装支持这种服务器的客户端软件即可将数据备份到磁带库或光盘库中。
10. 网站浏览器支持
网站浏览器支持是指能否够通过WEB（就是WWW，俗称互联网）手段对NAS产品进行管理，以及管理时使用的浏览器类型。绝大部分的NAS产品都支持WEB管理，这样的好处是管理方便，用户在任何地方只要能够上网就可以轻松的管理NAS设备。 目前NAS产品支持的常用浏览器有微软的IE（Internet Explorer）浏览器以及网景公司的Netscape浏览器。
11. 网络服务
网络服务是指NAS产品在运行时系统能够提供何种服务。典型的网络服务有DHCP、DNS、FTP、Telnet、WINS、SMTP等。
DHCP
DHCP的全名是“Dynamic Host Configuration Protocol”，即动态主机配置协议。在使用DHCP的网络里，用户的计算机可以从DHCP服务器那里获得上网的参数，几乎不需要做任何手工的配置就可以上网。 一般情况下，DHCP服务器会尽量保持每台计算机使用同一个IP地址上网。如果计算机长时间没有上网或配置为使用静态地址上网，DHCP服务器就会把这个地址分配给其他计算机。
WINS
WINS是“Windows Internet Name Service”的简称，中文为Windows网际命名服务，WINS服务器主要用于NetBIOS名字（计算机名称）服务，它处理的是NetBIOS计算机名(Computer Name)，所以也被称为NetBIOS名字服务器(NBNS，NetBIOS Name Server)。WINS服务器可以登记WINS-enabled工作站(下面简称为“WINS工作站”)的计算机名、IP地址、DNS域名等数据，当工作站查询名字时，它又可以将这些数据提供给工作站。
DNS
DNS，Domain Name System或者Domain Name Service（域名系统或者余名服务）。域名系统为Internet上的主机分配域名地址和IP地址。用户使用域名地址，该系统就会自动把域名地址转为IP地址。域名服务是运行域名系统的Internet工具。执行域名服务的服务器称之为DNS服务器，通过DNS服务器来应答域名服务的查询。
FTP
文件传输协议FTP(File Transfer Protocol)是Internet传统的服务之一。FTP使用户能在两个联网的计算机之间传输文件，它是Internet传递文件最主要的方法。使用匿名(Anonymous)FTP， 用户可以免费获取Internet丰富的资源。除此之外，FTP还提供登录、目录查询、文件操作及其他会话控制功能。
SMTP
SMTP(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。SMTP协议属于TCP/IP协议族,它帮助每台计算机在发送或中转信件时找到下一个目的地。通过SMTP协议所指定的服务器,我们就可以把E－mail寄到收信人的服务器上了,整个过程只要几分钟。SMTP服务器则是遵循SMTP协议的发送邮件服务器，用来发送或中转你发出的电子邮件。
Telnet
有的时候我们需要运行一些很大的程序，而自己的PC又达不到运行这个程序所必须的配置，在这种情况下，我们可以通过网络连接上一台功能强大的计算机，并且把自己的PC模拟成那台计算机的终端，进而达到在该计算机上运行程序的目的。这种利用网络远程登录到其他计算机上，并且以虚拟终端方式遥控程序运行的做法就是TELNET。随着计算机硬件的发展，目前TELNET在一般网络用户中已经不是很普遍了，但是对于网络管理员来说，它仍然是个得力助手。
12. 网络安全
网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不受偶然的或者恶意的原因而遭到破坏、更改、泄露，系统连续可靠正常地运行，网络服务不中断。 网络安全实际上包括两部分：网络的安全和主机系统的安全。网络安全主要通过设置防火墙来实现，也可以考虑在路由器上设置一些数据包过滤的方法防止来自Internet上的黑客的攻击。至于系统的安全则需根据不同的操作系统来修改相关的系统文件，合理设置用户权限和文件属性。 NAS产品的网络安全应具有以下四个方面的特征： 保密性：信息不泄露给非授权用户、实体或过程，或供其利用的特性。 完整性： 数据未经授权不能进行改变的特性。即信息在存储或传输过程中保持不被修 改、不被破坏和丢失的特性。 可用性：可被授权实体访问并按需求使用的特性。即当需要时能否存取所需的信息。例 如网络环境下拒绝服务、破坏网络和有关系统的正常运行等都属于对可用性的攻击； 可控性：对信息的传播及内容具有控制能力。
13. NAS
NAS是英文“Network Attached Storage”的缩写, 中文意思是“网络附加存储”。按字面简单说就是连接在网络上, 具备资料存储功能的装置，因此也称为“网络存储器”或者“网络磁盘阵列”。 从结构上讲，NAS是功能单一的精简型电脑，因此在架构上不像个人电脑那么复杂，在外观上就像家电产品，只需电源与简单的控制钮， 结构图如下： NAS是一种专业的网络文件存储及文件备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O（输入/输出）方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、UNIX等平台的共享。 一个NAS系统包括处理器，文件服务管理模块和多个硬盘驱动器(用于数据的存储)。 NAS 可以应用在任何的网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）NFS格式(Unix, Linux)和CIFS（Common Internet File System）格式等等。典型的NAS的网络结构如下图所示： 存储网络（SAN）：SAN 是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作 SAN 的接入点。在有些配置中，SAN 也与网络相连。SAN 中将特殊交换机当作连接设备。它们看起来很像常规的以太网络交换机，是 SAN 中的连通点。SAN 使得在各自网络上实现相互通信成为可能，同时并带来了很多有利条件。 SAN英文全称：Storage Area Network，即存储区域网络。它是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。 SAN由三个基本的组件构成：接口（如SCSI、光纤通道、ESCON等）、连接设备（交换设备、网关、路由器、集线器等）和通信控制协议（如IP和SCSI等）。这三个组件再加上附加的存储设备和独立的SAN服务器，就构成一个SAN系统。SAN提供一个专用的、高可靠性的基于光通道的存储网络，SAN允许独立地增加它们的存储容量，也使得管理及集中控制（特别是对于全部存储设备都集群在一起的时候）更加简化。而且，光纤接口提供了10 km的连接长度，这使得物理上分离的远距离存储变得更容易.

4. 分布式搜索引擎elasticsearch的架构原理

分布式搜索引擎：把大量的索引数据拆散成多块，每台机器放一部分，然 后利用多台机器对分散之后的数据进行搜索，所有操作全部是分布在多台机器上进行，形成了 完整的分布式的架构。

近实时，有两层意思：

集群包含多个节点，每个节点属于哪个集群都是通过一个配置来决定的，
Node 是集群中的一个节点，节点也有一个名称，默认是随机分配的。默认节点会去加入一个名 称为 elasticsearch 的集群。如果直接启动一堆节点，那么它们会自动组成一个elasticsearch 集群，当然一个节点也可以组成 elasticsearch 集群。

文档是 es 中最小的数据单元，一个 document 可以是1条客户数据、1条商品分类数据、1条 订单数据，通常用json 数据结构来表示。每个 index 下的 type，都可以存储多条 document。
1个 document 里面有多个 field，每个 field 就是1个数据字段。

es 集群多个节点，会自动选举1个节点为 master 节点，这个 master 节点其实就是干一些管理 的工作的，比如维护索引元数据、负责切换 primary shard 和 replica shard 身份等。要是 master 节点宕机了，那么会重新选举1个节点为 master 节点。 如果是非 master节点宕机了，那么会由 master 节点，让那个宕机节点上的 primary shard 的身 份转移到其他机器上的 replica shard。接着你要是修复了那个宕机机器，重启了之后，master 节点会控制将缺失的 replica shard 分配过去，同步后续修改的数据之类的，让集群恢复正常。 说得更简单1点，就是说如果某个非 master 节点宕机了，那么此节点上的 primary shard 不就 没了。那好，master 会让 primary shard 对应的 replica shard（在其他机器上）切换为 primary shard。如果宕机的机器修复了，修复后的节点也不再是 primary shard，而是 replica shard。

索引可以拆分成多个 shard ，每个 shard 存储部分数据。拆分多个 shard是有好处的，一是支持横向扩展，比如你数据量是 3T，3 个 shard，每个 shard 就 1T 的数据， 若现在数据量增加到 4T，怎么扩展，很简单，重新建1个有 4 个 shard 的索引，将数据导进 去；二是提高性能，数据分布在多个 shard，即多台服务器上，所有的操作，都会在多台机器 上并行分布式执行，提高了吞吐量和性能。 接着就是这个 shard 的数据实际是有多个备份，就是说每个 shard 都有1个 primary shard ，负责写入数据，但是还有多个 replica shard 。 primary shard 写入数据之后， 会将数据同步到其他几个 replica shard上去。
通过这个 replica 的方案，每个 shard 的数据都有多个备份，如果某个机器宕机了，没关系啊， 还有别的数据副本在别的机器上，这样子就高可用了。

总结：分布式就是两点，1.通过shard切片实现横向扩展；2.通过replica副本机制，实现高可用

基本概念

写数据过程：客户端通过hash选择一个node发送请求，这个node被称做coordinating node（协调节点），协调节点对docmount进行路由，将请求转发给到对应的primary shard，primary shard 处理请求，将数据同步到所有的replica shard，此时协调节点，发现primary shard 和所有的replica shard都处理完之后，就反馈给客户端。

客户端发送get请求到任意一个node节点，然后这个节点就称为协调节点，协调节点对document进行路由，将请求转发到对应的node，此时会使用随机轮询算法，在primary shard 和replica shard中随机选择一个，让读取请求负载均衡，接收请求的node返回document给协调节点，协调节点，返回document给到客户端

es最强大的是做全文检索，就是比如你有三条数据
1.java真好玩儿啊
2.java好难学啊
3.j2ee特别牛

你根据java关键词来搜索，将包含java的document给搜索出来。

更新/删除数据过程，首先还是write、merge操作，然后flush过程中：
1、write过程和上面的一致；
2、refresh过程有点区别

所谓的倒排索引，就是把你的数据内容先分词，每句话分成一个一个的关键词，然后记录好每一个关键词对应出现在了哪些 id 标识的数据。
然后你可以从其他地根据这个 id 找到对应的数据就可以了，这个就是倒排索引的数据格式 以及搜索的方式，这种利倒排索引查找数据的式，也被称之为全文检索。

Inverted Index就是我们常见的倒排索引, 主要包括两部分：
一个有序的数据字典 Dictionary（包括单词 Term 和它出现的频率）。
与单词 Term 对应的 Postings（即存在这个单词的文件）
当我们搜索的时候，首先将搜索的内容分解，然后在字典里找到对应 Term，从而查找到与搜索相关的文件内容。

本质上，Stored Fields 是一个简单的键值对 key-value。默认情况下，Stored Fields是为false的,ElasticSearch 会存储整个文件的 JSON source。

哪些情形下需要显式的指定store属性呢？大多数情况并不是必须的。从_source中获取值是快速而且高效的。如果你的文档长度很长，存储 _source或者从_source中获取field的代价很大，你可以显式的将某些field的store属性设置为yes。缺点如上边所说：假设你存 储了10个field，而如果想获取这10个field的值，则需要多次的io，如果从Stored Field 中获取则只需要一次，而且_source是被压缩过 的。

这个时候你可以指定一些字段store为true，这意味着这个field的数据将会被单独存储(实际上是存两份,source和 Stored Field都存了一份)。这时候，如果你要求返回field1（store：yes），es会分辨出field1已经被存储了，因此不会从_source中加载，而是从field1的存储块中加载。

Doc_values 本质上是一个序列化的 列式存储，这个结构非常适用于聚合（aggregations）、排序（Sorting）、脚本（scripts access to field）等操作。而且，这种存储方式也非常便于压缩，特别是数字类型。这样可以减少磁盘空间并且提高访问速度,ElasticSearch 可以将索引下某一个 Document Value 全部读取到内存中进行操作.

Doc_values是存在磁盘的

在es中text类型字段默认只会建立倒排索引，其它几种类型在建立倒排索引的时候还会建立正排索引，当然es是支持自定义的。在这里这个正排索引其实就是Doc Value。

即上文所描述的动态索引

往 es 写的数据，实际上都写到磁盘文件里去了，查询的时候，操作系统会将磁盘文件里的数据自动缓存到 filesystem cache 中去。

es 的搜索引擎严重依赖于底层的 filesystem cache ，你如果给 filesystem cache 更多的 内存，尽量让内存可以容纳所有的 idx segment file 索引数据文件，那么你搜索的时候就 基本都是走内存的，性能会非常高。 性能差距究竟可以有多大？我们之前很多的测试和压测，如果走磁盘一般肯定上秒，搜索性能 绝对是秒级别的，1秒、5秒、10秒。但如果是走 filesystem cache ，是走纯内存的，那么一 般来说性能比走磁盘要高一个数量级，基本上就是毫秒级的，从几毫秒到几百毫秒不等。

那如何才能节约filesystem cache这部分的空间呢？
当写数据到ES时就要考虑到最小化数据，当一行数据有30几个字段，并不需要把所有的数据都写入到ES，只需要把关键的需要检索的几列写入。这样能够缓存的数据就会越多。 所以需要控制每台机器写入的数据最好小于等于或者略大于filesystem cache空间最好。 如果要搜索海量数据，可以考虑用ES+Hbase架构。用Hbase存储海量数据，然后ES搜索出doc id后，再去Hbase中根据doc id查询指定的行数据。

当每台机器写入的数据大于cache os太多时，导致太多的数据无法放入缓存，那么就可以把一部分热点数据刷入缓存中。

对于那些你觉得比较热的、经常会有人访问的数据，最好做个专门的缓存预热系统，就是 对热数据每隔一段时间，就提前访问一下，让数据进入 filesystem cache 里去。这样下 次别人访问的时候，性能肯定会好很多。

把热数据和冷数据分开，写入不同的索引里，然后确保把热索引数据刷到cache里。

在ES里最好不要用复杂的关联表的操作。当需要这样的场景时，可以在创建索引的时候，就把数据关联好。比如在mysql中需要根据关联ID查询两张表的关联数据：select A.name ,B.age from A join B where A.id = B.id，在写入ES时直接去把相关联数据放到一个document就好。

es 的分页是较坑的，为啥呢？举个例子吧，假如你每页是 10 条数据，你现在要查询第 100 页，实际上是会把每个 shard 上存储的前 1000 条数据都查到1个协调节点上，如果你有个 5 个 shard，那么就有 5000 条数据，接着协调节点对这 5000 条数据进行一些合并、处理，再获取到 最终第 100 页的 10 条数据。
分布式的，你要查第 100 页的 10 条数据，不可能说从 5 个 shard，每个 shard 就查 2 条数据， 最后到协调节点合并成 10 条数据吧？你必须得从每个 shard 都查 1000 条数据过来，然后根据 你的需求进行排序、筛选等等操作，最后再次分页，拿到里面第 100 页的数据。你翻页的时 候，翻的越深，每个 shard 返回的数据就越多，而且协调节点处理的时间越长，非常坑爹。所 以用 es 做分页的时候，你会发现越翻到后面，就越是慢。

我们之前也是遇到过这个问题，用 es 作分页，前几页就几十毫秒，翻到 10 页或者几十页的时 候，基本上就要 5~10 秒才能查出来一页数据了。

解决方案吗？
1）不允许深度分页：跟产品经理说，你系统不允许翻那么深的页，默认翻的越深，性能就越差；
2）在APP或者公众号里，通过下拉来实现分页，即下拉时获取到最新页，可以通过scroll api来实现；
scroll 会1次性给你生成所有数据的1个快照，然后每次滑动向后翻页就是通过游标 scroll_id 移动获取下一页，性能会比上面说的那种分页性能要高很多很 多，基本上都是毫秒级的。 但是，唯1的缺点就是，这个适合于那种类似微博下拉翻页的，不能随意跳到任何一页的场 景。也就是说，你不能先进到第 10 页，然后去第 120 页，然后再回到第 58 页，不能随意乱跳 页。所以现在很多APP产品，都是不允许你随意翻页的，也有一些网站，做的就是你只能往 下拉，一页一页的翻。
初始化时必须指定 scroll 参数，告诉 es 要保存此次搜索的上下文多长时间。你需要确保用户不会持续不断翻页翻几个小时，否则可能因为超时而失败。
除了用 scroll api ，也可以用 search_after 来做， search_after 的思想是使用前一页的结果来帮助检索下一页的数据，显然，这种方式也不允许你随意翻页，你只能一页一页往后 翻。初始化时，需要使用一个唯1值的字段作为 sort 字段。

5. 计算机组成原理中的存储阵列是什么意思

存储阵列：由大量的存储单元组成，每个存储单元能存放1位二值数据（0,1）。通常存储单元排列成N行×M列矩阵形式。

它是把多个磁盘组成一个阵列，当作单一磁盘使用，它将数据以分段(striping)的方式储存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，同时有更佳的空间利用率。磁盘阵列所利用的不同的技术，称为RAID level ，不同的level 针对不同的系统及应用，以解决数据安全的问题。

一般高性能的磁盘阵列都是以硬件的形式来达成，进一步的把磁盘快取控制及磁盘阵列结合在一个控制器(RAID controler)或控制卡上，针对不同的用户解决人们对磁盘输出/入系统的四大要求：

增加存取速度。
容错(fault tolerance )，即安全性。
有效的利用磁盘空间。
尽量的平衡CPU，内存及磁盘的性能差异，提高电脑的整体工作性能。

RAID0为例子，如果我用两个硬组成，500G两个，总容量1000G，读写速度理论是单个的两倍。不过缺点是一个硬盘坏了，全部数据都找不回来

6. 内存的原理

内存可以分为随机访问存储器和只读存储器。随机访问存储器，只有当开机加电后才能存储信息，断电后所有存储的信息就会消失。一般程序必须首先装入到内存中才可以由中央处理器来打开。只读存储器的信息不会丢失，但存储的量很小，通常只是存储一些电脑自身所必需的重要信息。
一般电脑上使用的内存，都是以插条的形式插在主板上，叫做单列直插式内存模块，俗称内存条。内存条与主板插接时引脚个数叫做线，主板上插内存条的插槽有几个引脚，就决定了只能插几根线的内存条。
内存存取数据的速度，以纳秒来计算，十亿分之一秒就是一纳秒，数字越小，存取速度就越高，在内存的芯片上可以看出来。
只读存储器中，一般存储固定的信息，如自检程序等。
希望我能帮助你解疑释惑。

7. 请问存储阵列的定义是什么呢谢谢！！！

磁盘阵列简称RAID（Rendant Arrays of Inexpensive Disks，RAID），有“价格便宜且多余的磁盘阵列”之意。其原理是利用数组方式来作磁盘组，配合数据分散排列的设计，提升数据的安全性。磁盘阵列主要针对硬盘，在容量及速度上，无法跟上CPU及内存的发展，提出改善方法。磁盘阵列是由很多便宜、容量较小、稳定性较高、速度较慢磁盘，组合成一个大型的磁盘组，利用个别磁盘提供数据所产生的加成效果来提升整个磁盘系统的效能。同时，在储存数据时，利用这项技术，将数据切割成许多区段，分别存放在各个硬盘上。