apache算法

① apache开源项目有哪些

这个多了去了 ,apache 绝对是 开源里面的领头羊

for example:

分类 项目名 说明 开发语言
服务器
（共20） Apache HTTP Server 全球第一HTTP服务器 C/C++
Tomcat java的Web服务器 Java
James 邮件服务器 Java
SpamAssassin 反垃圾邮件 C/C++
Perl Apache的Perl编程语言支持 C/C++
Tcl TCL脚本语言 C/C++
Directory Server 超级目录服务器 Java
Axis WebServic服务器 Java
Kanla Axis中WS-Coordination、WS-AtomicTransaction、WS-BusinessActivity协议的实现 Java
Muse Axis中WS-ResourceFramework (WSRF), WS-BaseNotification (WSN), and WS-DistributedManagement (WSDM) 标准的实现（该项目Logo是个不认识的古汉字） Java
Pubscribe Web Services Notification (WSN) 标准实现 Java
Sandesha WS-ReliableMessaging 标准实现 Java
WSS4J WS-Security 标准实现 Java
WSRF Web Services Resource Framework 标准实现 Java
Addressing WebService的WS-Addressing标准（IBM、微软、BEA发布）实现 Java
XML Security XML签名与加密标准的Java、C++实现 Java/C++
jUDDI UDDI的Java实现 Java
XML-RPC XML-RPC实现 Java
Derby 纯Java做的关系数据库 Java
Xindice XML数据库 Java

开发工具（共5） Ant 自动编译 Java
Maven 项目管理工具，比Ant强大，支持插件开发 Java
Gump 每日集成工具，支持Ant、Maven Python
JMeter Web应用性能测试 Java
DdlUtils 用XML来定义DDL Java

Web开发框架（共19） Struts MVC的Web开发框架 Java
Cocoon Web开发框架，基于可运行的XML管道语言 Java
FOP XSL-FO 打印与输出解决方案，基于Java Java
AxKit 基于XML的Web发布 Java
Tapestry Web开发框架 Java
Turbine Web开发框架 Java
Shale 基于JSF的Web开发框架 Java
MyFaces 第一个开源的JSF实现 Java
Beehive 基于Structs的J2EE框架，简化J2EE编程；含Web界面、WebService开发框架 Java
Velocity 模板引擎 Java
Portals 门户解决方案 Java
Cactus Web开发测试框架 Java
Forrest 基于Cocoon的Web发布解决方案 Java
Slide 内容管理，支持WebDAV Java
Jackrabbit 内容库，用于内容管理 Java
Lenya 内容管理，支持版本管理、工作流、所见所得编辑器 Java
Xang 基于JavaScript进行动态Web开发 Java
Xindice 纯XML数据库 Java
JCS 分布式Cache系统（Java Caching System） Java

容器（共7） Geronimo J2EE容器，类似JBoss Java
iBATIS 简单OR映射，有.NET版本 Java/C#
Torque OR映射 Java
ORB ObjectRelationalBridge，OR映射 Java
JDO JDO标准的一个实现 Java
HiveMind 类似Spring的东西，微内核DI容器 Java
Excalibur IoC容器 Java

组件（共82） APR 不同操作系统间可移植运行时库 C/C++
Regexp Java正则表达式 Java
ORO Perl风格的正则表达式 Java
Xerces XML解析，Java/C两种版本 Java/C++
Crimson XML解析器 Java
AXIOM 更高效的DOM实现 Java
Lucene 全文检索，有.NET版本 Java/C#
Logging 不仅Log4j，各个语言的版本都有了 Java/C++/Perl/C#
XMLBeans XML转对象 Java
JaxMe Java/XML绑定的实现 Java
Taglibs JSP Tag库 Java
HttpComponents HTTP访问控件 Java
ECS 辅助生成标签（Element Construction Set） Java
WSIF WebService调用（Web Services Invocation Framework） Java
SOAP SOAP标准实现 Java
Woden WSDL书写工具 Java
Tuscany 简化SOA开发 Java
MIRAE 让手机支持基于XML的服务 Java
BSF 脚本语言框架（Bean Scripting Framework），支持JavaScript等多种脚本语言 Java
BCEL 用于直接生成字节码（Byte Code Engineering Library） Java
POI 存取Office文档 Java
Batik JAVA的SVG实现 Java

Attributes 访问Java 1.5语言中定义的meta 这些项目都在jakarta commons中，都是Java的
BeanUtils 反射支持
Betwixt XML/JavaBean转换
Chain 职责链模式实现
CLI 命令行参数解析
Codec 通用加密/加密算法
Collections Java容器类完善扩充
Configuration 各种来源配置文件存取
Daemon Java模拟Unix的Daemon
DBCP 数据链连接池
DbUtils JDBC辅助类
Digester XML到Java对象映射工具
Discovery 根据名称来查找资源
EL JSP 2.0 表达式标准实现
Email 发送Email类
FileUpload 文件上传辅助类
HttpClient HTTP客户端
IO IO操作辅助类
Jelly 基于XML的脚本引擎
Jexl JSTL 表达式语言扩展
JXPath 用XPath语言来操作对象的辅助类
Lang java.lang.类扩充
Launcher 跨平台Java应用启动器
Logging 不同Log实现的封装
Math 数学、统计辅助类
Modeler 创建兼容JMX标准的MBeans
Net 各种网络协议实现
Pool 对象池
Primitives 很小的Java原始对象类型操作辅助类
SCXML 状态图XML标准实现
Transaction 多层次容器、文件操作事务支持
Validator 用XML定义校验器和校验规则
VFS 虚拟文件系统用于操作FTP、SMB、Zip等

Compress tar、zip、bzip2压缩格式文件操作 这些项目都在jakarta commons中的Sandbox中
CSV CSV文件格式支持
Exec 外部进程执行和环境设置辅助类
Finder 模拟Unix find命令
I18n 国际化辅助类
Id 生成ID辅助类
Javaflow 应用状态管理
JCI Java编译器接口
OpenPGP OpenPGP封装
Pipeline 管道辅助类用于并行或者顺序操作数据
Proxy 动态代码生成辅助类

Cache 对象缓存服务 这些项目都在jakarta commons中的Dormant（睡眠）中
Clazz class操作和反射操作
Contract 契约编程用到Java中
Convert Java对象类西转换辅助类
Events 事件管理容器
Feedparser RSS和Atom实现
Functor 用对象方式来操作函数
JJar Jar操作
Latka HTTP功能测试
Mapper 简单封装后可以选择不同的对象映射实现
Messenger JMS用于Web开发中的辅助类
Resources 国际化资源信息查找
Scaffold Web应用开发工具
ThreadPool 线程池
Workflow 工作流管理系统框架
XMLIO XML配置快速简便导入

② 大数据分析界的“神兽”Apache Kylin有多牛

1.Apache Kylin是什么？

在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）
往往存在很大的局限，如难以水平扩展、无法处理超大规模数据、缺少对Hadoop的支持；而利用Hadoop做数据分析依然存在诸多障碍，例如大多数分析
师只习惯使用SQL，Hadoop难以实现快速交互式查询等等。神兽Apache Kylin就是为了解决这些问题而设计的。

Apache Kylin，中文名麒（shen）麟（shou） 是Hadoop动物园的重要成员。Apache
Kylin是一个开源的分布式分析引擎，最初由eBay开发贡献至开源社区。它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大
规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发。

Apache
Kylin于2014年10月在github开源，并很快在2014年11月加入Apache孵化器，于2015年11月正式毕业成为Apache顶级项
目，也成为首个完全由中国团队设计开发的Apache顶级项目。于2016年3月，Apache
Kylin核心开发成员创建了Kyligence公司，力求更好地推动项目和社区的快速发展。

Kyligence是一家专注于大数据分析领域创新的数据科技公司，提供基于Apache
Kylin的企业级智能分析平台及产品，以及可靠、专业、源码级的商业化支持；并推出Apache Kylin开发者培训，颁发全球唯一的Apache
Kylin开发者认证证书。

2.Kylin的基本原理和架构

下面开始聊一聊Kylin的基本原理和架构。简单来说，Kylin的核心思想是预计算，即对多维分析可能用到的度量进行预计算，将计算好的结果保
存成Cube，供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询，这决定了Kylin能够拥有很好的快速查询和高并发能
力。

上图所示就是一个Cube的例子，假设我们有4个dimension，这个Cube中每个节点（称作Cuboid）都是这4个dimension
的不同组合，每个组合定义了一组分析的dimension（如group
by），measure的聚合结果就保存在这每个Cuboid上。查询时根据SQL找到对应的Cuboid，读取measure的值，即可返回。

为了更好的适应大数据环境，Kylin从数据仓库中最常用的Hive中读取源数据，使用
MapRece作为Cube构建的引擎，并把预计算结果保存在HBase中，对外暴露Rest
API/JDBC/ODBC的查询接口。因为Kylin支持标准的ANSI
SQL，所以可以和常用分析工具（如Tableau、Excel等）进行无缝对接。下面是Kylin的架构图。

说到Cube的构建，Kylin提供了一个称作Layer Cubing的算法。简单来说，就是按照dimension数量从大到小的顺序，从Base
Cuboid开始，依次基于上一层Cuboid的结果进行再聚合。每一层的计算都是一个单独的Map Rece任务。如下图所示。

MapRece的计算结果最终保存到HBase中，HBase中每行记录的Rowkey由dimension组成，measure会保存在
column
family中。为了减小存储代价，这里会对dimension和measure进行编码。查询阶段，利用HBase列存储的特性就可以保证Kylin有
良好的快速响应和高并发。

有了这些预计算的结果，当收到用户的SQL请求，Kylin会对SQL做查询计划，并把本该进行的Join、Sum、Count Distinct等操作改写成Cube的查询操作。

Kylin提供了一个原生的Web界面，在这里，用户可以方便的创建和设置Cube、管控Cube构建进度，并提供SQL查询和基本的结果可视化。

根据公开数据显示，Kylin的查询性能不只是针对个别SQL，而是对上万种SQL 的平均表现，生产环境下90%ile查询能够在在3s内返回。在上个月举办的Apache Kylin

Meetup中，来自美团、京东、网络等互联网公司分享了他们的使用情况。例如，在京东云海的案例中，单个Cube最大有8个维度，最大数据条数4亿，最
大存储空间800G，30个Cube共占存储空间4T左右。查询性能上，当QPS在50左右，所有查询平均在200ms以内，当QPS在200左右，平均
响应时间在1s以内。

北京移动也在meetup上展示了Kylin在电信运营商的应用案例，从数据上看，Kylin能够在比Hive/SparkSQL在更弱的硬件配置下获得更好的查询性能。 目前，有越来越多的国内外公司将Kylin作为大数据生产环境中的重要组件，如ebay、银联、网络、中国移动等。大家如果想了解更多社区的案例和动态，可以登录Apache Kylin官网或Kyligence博客进行查看。

3.Kylin的最新特性

Kylin的最新版本1.5.x引入了不少让人期待的新功能，可扩展架构将Kylin的三大依赖（数据源、Cube引擎、存储引
擎）彻底解耦。Kylin将不再直接依赖于Hadoop/HBase/Hive，而是把Kylin作为一个可扩展的平台暴露抽象接口，具体的实现以插件的
方式指定所用的数据源、引擎和存储。

开发者和用户可以通过定制开发，将Kylin接入除Hadoop/HBase/Hive以外的大数据系统，比如用Kafka代替Hive作数据源，用
Spark代替MapRece做计算引擎，用Cassandra代替HBase做存储，都将变得更为简单。这也保证了Kylin可以随平台技术一起演
进，紧跟技术潮流。

在Kylin
1.5.x中还对HBase存储结构进行了调整，将大的Cuboid分片存储，将线性扫描改良为并行扫描。基于上万查询进行了测试对比结果显示，分片的存
储结构能够极大提速原本较慢的查询5-10倍，但对原本较快的查询提速不明显，综合起来平均提速为2倍左右。

除此之外，1.5.x还引入了Fast
cubing算法，利用Mapper端计算先完成大部分聚合，再将聚合后的结果交给Recer，从而降低对网络瓶颈的压力。对500多个Cube任务
的实验显示，引入Fast cubing后，总体的Cube构建任务提速1.5倍。

目前，社区正在着手准备Apache Kylin 1.5.2版本的发布，目前正处于Apache Mailing list投票阶段，预计将会在本周在Kylin官网发布正式下载。

在本次的1.5.2版本中，Kylin带来了总计
36个缺陷修复、33个功能改进、6个新功能。一些主要的功能改进包括对HyperLogLog计算效率的提升、在Cube构建时对Convert
data to hfile步骤的提速、UI上对功能提示的体验优化、支持hive view作为lookup表等等。

另一个新消息是Kylin将支持MapR和CDH的Hadoop发行版，具体信息可见KYLIN-1515和KYLIN-1672。相应的测试版本是MapR5.1和CDH5.7。

UI上提供了一个重要更新，即允许用户在Cube级别进行自定义配置，以覆盖kylin.properties中的全局配置。如在cube中定义kylin.hbase.region.count.max 可以设置该cube在hbase中region切分的最大数量。

另
一个重要的功能是Diagnosis。用户经常会遇到一些棘手的问题，例如Cube构建任务失败、SQL查询失败，或Cube构建时间过长、SQL查询时
间过长等。但由于运维人员对Kylin系统了解不深，很难快速定位到root cause所在地。我们在mailing
list里也经常看到很多用户求助，由于不能提供足够充分的信息，社区也很难给出一针见血的建议。

当用户遇到查询、Cube/Model管理的问题，单击System页面的Diagnosis按钮，系统会自动抓取当前Project相关的信息并打包成
zip文件下载到用户本地。这个包会包含相关的Metadata、日志、HBase配置等。当用户需要在mailing
list求助，也可以附上这个包。

③ 如何设置apache openssl 的加密算法

使用VS2005下的Visual Studio 2005 Command Prompt进入控制台模式（这个模式会自动设置各种环境变量）
、解压缩openssl的包,进入openssl的目录
、perl configure VC-WIN32
尽量在这个目录下执行该命令，否则找不到Configure文件，或者指定完整的Configure文件路径。
、ms\do_ms
在解压目录下执行ms\do_ms命令
、nmake -f ms\ntdll.mak编译后在openssl解压目录下执行，完成编译后。输出的文件在out32dll里面，包括应用程序的可执行文件、lib文件和dll文件
注意：在运行第五步时，cl编译器会抱怨说.\crypto\des\enc_read.c文件的read是The POSIX name for this item is deprecated（不被推荐的），建议使用_read。呵呵，我可不想将OpenSSL中的所有的read函数修改为_read。再看cl的错误代码 error C2220，于是上MSDN上查找：
warning treated as error - no object file generated
/WX tells the compiler to treat all warnings as errors. Since an error occurred, no object or executable file was generated.
是由于设置了/WX选项，将所有的警告都作为错误对待，所以。。。
于是打开OpenSSL目录下的MS目录下的ntdll.mak文件，将CFLAG的/WX选项去掉，存盘。

④ apache做负载均衡的均衡算法可以修改吗（不用自带的）

可以直接买一台负载均衡交换机啊，何必要浪费1台服务器呢。
应该是每台都会有一个IP地址 外网 访问连接到的那个IP地址 是你的负载均衡交换机的IP地址 他随机把你的访问请求分配到你的3台服务器上
无主从关系，负载均衡交换机它会没2秒左右！

⑤ 如何设置Apache服务器的缓冲区大小

你说的是缓存大小吧

Apache的缓存方式有两种，一种是基于硬盘文件的缓存，由mod_disk_cache实现，另一种是使用内存缓存，由mod_mem_cache实现，不过它们都是依赖mod_cache模块的，mod_cache模块提供了一些缓存配置的指令供它们使用，而mod_file_cache模块是搭配mod_mem_cache模块使用的，下面分别进行介绍。

1、基于硬盘文件的缓存
基于硬盘文件存储的缓存由mod_disk_cache模块实现，先看个简单的配置例子：
<IfMolemod_cache.c>
CacheDefaultExpire86400
<IfMolemod_disk_cache.c>
CacheEnabledisk/
CacheRoot/tmp/apacheCache
CacheDirLevels5
CacheDirLength4
CacheMaxFileSize1048576
CacheMinFileSize10
</IfMole>
</IfMole>

把上面的配置加到Apache的httpd.conf文件中，如果缓存相关的模块都已经编译进了Apache的核心，则无需加载模块，直接就能使用上面的指令。指令的详细说明如下：
CacheDefaultExpire：设定缓存过期的时间（秒），默认是1小时，只有当缓存的文档没有设置过期时间或最后修改时间时这个指令才会生效
CacheEnable：启用缓存，第1个参数是缓存类弄，这里当然是disk了，第2个参数是缓存路径，指的是url路径，这里是缓存所有的东西，直接写上“/”即可，如“/docs”则只缓存/docs下的所有文件
CacheRoot：缓存文件所在的目录，运行Apache的用户（如daemon或nobody）要能对其进行读写，如果不清楚的话可以直接设置成777，请手动建立该目录并设置好访问权限
CacheDirLevels：缓存目录的深度，默认是3，这里设置为5
CacheDirLength：缓存目录名的字符长度，默认是4，这里设置为5
CacheMaxFileSize和CacheMaxFileSize：缓存文件的最大值和最小值（byte），当超过这个范围时将不再缓存，这里设置为1M和10bytes
基于硬盘文件存储的文件基本上就这些内容，设置好后重启Apache应该就能使用了。一切正常的话，可以在缓存目录下看到Apache自动建立的一些目录和缓存的数据文件。
2、基于内存的缓存
基于内存的缓存主要由mod_mem_cache模块实现，还是看个简单的配置吧，这样比较直观:-)
<IfMolemod_cache.c>
<IfMolemod_mem_cache.c>
CacheEnablemem/
MCacheMaxObjectCount20000
MCacheMaxObjectSize1048576
MCacheMaxStreamingBuffer65536
MCacheMinObjectSize10
MCacheRemovalAlgorithmGDSF
MCacheSize131072
</IfMole>
</IfMole>
简单说一下上面一些指令的意思：
CacheEnable：启用缓存，使用基于内存的方式存储
MCacheMaxObjectCount：在内存中最多能存储缓存对象的个数，默认是1009，这里设置为20000
MCacheMaxObjectSize：单个缓存对象最大为1M，默认是10000bytes
MCacheMaxStreamingBuffer：在缓冲区最多能够放置多少的将要被缓存对象的尺寸，这里设置为65536，该值通常小于100000或MCacheMaxObjectSize设置的值
MCacheMinObjectSize：单个缓存对象最小为10bytes，默认为1bytes
MCacheRemovalAlgorithm：清除缓存所使用的算法，默认是GDSF，还有一个是LRU，可以查一下Apache的官方文档，上面有些介绍
MCacheSize：缓存数据最多能使用的内存，单位是kb，默认是100kb，这里设置为128M
保存重启Apache基于内存的缓存系统应该就能生效了，根据需要可以使基于内存的存储或硬盘文件的存储方式一起使用，只要指明不同的URL路径即可。
3、注意事项
使用缓存需要注意如下事项：
要使用缓存，必须使用指令CacheEnable启用它，目前可用的缓存类型为disk或mem，禁止缓存可以使用CacheDisable，如CacheDisable/private
待缓存的URL返回的状态值必须为：200、203、300、301或410
URL的请求方式必须是GET方式
发送请求时，头部中包含“Authorization:”的字符串时，返回的内容将不会被缓存
URL包含查询字符串，如问号?后的那些东西，除非返回的内容包含“Expires:”，否则不会被缓存
如果返回的状态值是200，则返回的头部信息必须包含以下的一种才会被缓存：Etag、Last-Modified、Expires，除非设置了指令CacheIgnoreNoLastModOn
如果返回内容的头部信息“Cache-Control:”中包含“private”，除非设置了指令CacheStorePrivateOn，否则不会被缓存
如果返回内容的头部信息“Cache-Control:”中包含“no-sotre”，除非设置了指令CacheStoreNoStoreOn，否则不会被缓存
如果返回内容的头部信息“Vary:”中包含了“*”，不会被缓存

⑥ 如何使用Apache服务器配置负载均衡集群

Internet 的快速增长，特别是电子商务应用的发展，使Web应用成为目前最重要最广泛的应用，Web服务器动态内容越来越流行。目前，网上信息交换量几乎呈指数增长，需要更高性能的Web服务器提供更多用户的Web服务，因此，Web服务器面临着访问量急剧增加的压力，对其处理能力和响应能力等带来更高的要求，如果Web 服务器无法满足大量Web访问服务，将无法为用户提供稳定、良好的网络应用服务。
由于客观存在的服务器物理内存、CPU 处理速度和操作系统等方面的影响因素，当大量突发的数据到达时，Web服务器无法完全及时处理所有的请求，造成应答滞后、请求丢失等，严重的导致一些数据包因延时而重发，使传输线路和服务器的负担再次增加。传统的方法是提高Web 服务器的CPU 处理速度和增加内存容量等硬件办法但无论如何增加Web 服务器硬件性能，均无法满足日益增加的对用户的访问服务能力。
面对日渐增加的Web 访问服务要求，必须对Web 服务器按一定策略进行负载分配。利用负载均衡[1]的技术，按照一定策略将Web 访问服务分配到几台服务器上，负载处理对用户透明，整体上对外如同一台Web 服务器为用户提供Web服务。
2 Web负载均衡结构
2.1 负载均衡
负载是一个抽象的概念，是表示系统繁忙程度，系统在一段时间空闲，该系统负载轻，系统在一段时间空忙，该系统负载重，影响系统负载的各种因数较多如果存在很多的数据包同时通过网络连向一台Web服务器，也就是网络的速度比网络所连接的设备速度快的情况下，系统负载不断增加，直到最大。
目前提高Web 服务器性能，使其具有较强负载能力，主要有两种处理思想[2]：
1)单机思想
不断升级服务器硬件性能，每当负载增加，服务器随之升级。这随之将带来一些问题，首先，服务器向高档升级，花费资金较多；其次，升级频繁，机器切换造成服务中断，可能会导致整个服务中断；最后，每种架构的服务器升级总有一个极限限制。
2)多机思想
使用多台服务器提供服务，通过一定机制使它们共同分担系统负载，对单一的服务器没有太高的性能要求，系统负载增加，可以多增加服务器来分担。对用户而言，整个系统仿佛是一台单一的逻辑服务器，这样的系统能够提供较强的可扩展性和较好的吞吐性能。
为了适应当前急剧增长的Web访问，有别于传统的单机思想，解决单机思想带来的一系列问题，本文提出了一种基于权值的策略分配负载。
2.2 负载均衡实现设备[2]
目前实现负载均衡需要两类的设备：服务器和分配器。
1)服务器(Server)
为用户提供真正的服务，也就是指给用户提供负载均衡服务的计算机设备，有关该设备的一些性能数据是负载均衡的主要依据之一。
2)分配器(Dispatcher)
由用户浏览器、Web 服务器组成两层结构Web 系统[2]，如所示，实际是基于客户端的负载均衡。
负责给用户服务分配服务器，分配器的主要功能是根据客户和服务器的各种情况(这些情况要能反映服务器的负载状况或性能状况)通过一定的算法进行调动和分配工作，从而提高由服务器整体构成的网站的稳定性、响应能力。它主要是集中所有的HTTP 请求，然后分配到多台Web服务器上处理，来提高系统的处理效率。
2.3 负载均衡系统结构
2.3.1 两层结构的负载均衡系统
在服务器上运行一个特定的程序，该程序相当一个客户端，它定期的收集服务器相关性能参数，如CPU、I/O、内存等动态信息，根据某种策略，确定提供最佳服务的服务器，将应用请求转发给它。如果采集负载信息程序发现服务器失败，则找其它服务器作为服务选择。这是一种动态负载均衡技术，但是每台服务器上必须安装特定的客户端程序，同时，为保证应用程序的透明性，需要对每个应用进行修改，能够将访问请求通过该客户端程序转发到其它服务器上，重定向方式进行，修改每一个应用程序，工作量十分大。
2.3.2 三层结构的负载均衡系统
由用户浏览器、负载均衡和Web服务器组成三层结构Web系统[2]，如所示。实际是基于服务器的负载均衡。如果将基于客户端的负载均衡中客户端的负载均衡部分移植到一个中间平台，形成一个应用服务器，构成请求、负载均衡和服务器的三层结构，客户端应用不需要做特殊修改，透明的中间层将请求均衡的分布到不同的服务器。
据服务器直接连到Internet 与否有两种多Web 服务器结构：隔离式(Separation) 和非隔离式(Unseparation)。隔离式是服务器不直接连到Internet，如所示，非隔离式是服务器直接连到Internet，如所示。 隔离式中只有负载均衡器对外有一个IP 地址，所有的请求由负载均衡器分配到不同的Web Server，所有Web Server 的返回结果也经过负载均衡器传回给用户。非隔离式中每一台Web Server 都有一个IP地址，用户请求经过负载均衡器分配到Web Server，而请求的应答不经过负载均衡器，直接传回用户。为了减轻均衡器的负载，本文中采用了三层结构中的隔离方式。
2.4 负载均衡实现的方法
Web 负载均衡常见算法有[3]：循环调度算法(Round-Robin Scheling)、加权循环调度算法(Weighted Round-Robin Scheling) 、最小连接调度算法(Least-Connection Scheling)、目标地址散列调度算法(Destination Hashing Scheling)、源地址散列调度算法(Source Hashing Scheling)。
本文采用基于权值的调度算法，也就是说权值大的服务器优先得到调度，本文在实现时是基于静态的权值，就是在开始的时候给每一个服务器配置一个默认的权值。当然也可以根据实际运行情况再对每一个服务器的权值进行调整。但是这需要实时的搜集每一个服务器的信息，如服务器的内存实用情况，响应速度等一些信息。

⑦ 大数据分析Apache Spark的应用实例

在考虑Hadoop生态系统中的各种引擎时，重要的是要了解每个引擎在某些用例下效果最佳，并且企业可能需要使用多种工具组合才能满足每个所需的用例。话虽如此，这里是对Apache Spark的一些顶级用例的回顾。

一、流数据

Apache Spark的关键用例是其处理流数据的能力。由于每天要处理大量数据，因此对于公司而言，实时流传输和分析数据变得至关重要。Spark Streaming具有处理这种额外工作负载的能力。一些专家甚至认为，无论哪种类型，Spark都可以成为流计算应用程序的首选平台。提出此要求的原因是，Spark Streaming统一了不同的数据处理功能，从而使开发人员可以使用单个框架来满足其所有处理需求。

当今企业使用Spark Streaming的一般方式包括：

1、流式ETL –在数据仓库环境中用于批处理的传统ETL(提取，转换，加载)工具必须读取数据，将其转换为数据库兼容格式，然后再将其写入目标数据库。使用Streaming ETL，在将数据推送到数据存储之前，将对其进行连续的清理和聚合。

2、数据充实 –这种Spark Streaming功能通过将实时数据与静态数据相结合来充实实时数据，从而使组织能够进行更完整的实时数据分析。在线广告商使用数据充实功能将历史客户数据与实时客户行为数据结合起来，并根据客户的行为实时提供更多个性化和针对性的广告。

3、触发事件检测 – Spark Streaming使组织可以检测到可能对系统内部潜在严重问题的罕见或异常行为(“触发事件”)并做出快速响应。金融机构使用触发器来检测欺诈性交易并阻止其欺诈行为。医院还使用触发器来检测潜在的危险健康变化，同时监视患者的生命体征-向正确的护理人员发送自动警报，然后他们可以立即采取适当的措施。

4、复杂的会话分析 –使用Spark Streaming，与实时会话有关的事件(例如登录网站或应用程序后的用户活动)可以组合在一起并进行快速分析。会话信息还可以用于不断更新机器学习模型。诸如Netflix之类的公司使用此功能可立即了解用户在其网站上的参与方式，并提供更多实时电影推荐。

二、机器学习

许多Apache Spark用例中的另一个是它的机器学习功能。

Spark带有用于执行高级分析的集成框架，该框架可帮助用户对数据集进行重复查询，这从本质上讲就是处理机器学习算法。在此框架中找到的组件包括Spark的可扩展机器学习库(MLlib)。MLlib可以在诸如聚类，分类和降维等领域中工作。所有这些使Spark可以用于一些非常常见的大数据功能，例如预测智能，用于营销目的的客户细分以及情感分析。使用推荐引擎的公司将发现Spark可以快速完成工作。

网络安全是Spark 机器学习功能的一个很好的商业案例。通过使用Spark堆栈的各种组件，安全提供程序可以对数据包进行实时检查，以发现恶意活动的痕迹。在前端，Spark Streaming允许安全分析人员在将数据包传递到存储平台之前检查已知威胁。到达存储区后，数据包将通过其他堆栈组件(例如MLlib)进行进一步分析。因此，安全提供商可以在不断发展的过程中了解新的威胁-始终领先于黑客，同时实时保护其客户。

三、互动分析

Spark最显着的功能之一就是其交互式分析功能。MapRece是为处理批处理而构建的，而Hive或Pig等SQL-on-Hadoop引擎通常太慢，无法进行交互式分析。但是，Apache Spark足够快，可以执行探索性查询而无需采样。Spark还与包括SQL，R和Python在内的多种开发语言接口。通过将Spark与可视化工具结合使用，可以交互地处理和可视化复杂的数据集。

下一版本的Apache Spark(Spark 2.0)将于今年的4月或5月首次亮相，它将具有一项新功能- 结构化流 -使用户能够对实时数据执行交互式查询。通过将实时流与其他类型的数据分析相结合，预计结构化流将通过允许用户针对Web访问者当前会话运行交互式查询来促进Web分析。它也可以用于将机器学习算法应用于实时数据。在这种情况下，将对旧数据进行算法训练，然后将其重定向以合并新的数据，并在其进入内存时从中学习。

四、雾计算

尽管大数据分析可能会引起广泛关注，但真正激发技术界想象力的概念是物联网(IoT)。物联网通过微型传感器将对象和设备嵌入在一起，这些微型传感器彼此之间以及与用户进行通信，从而创建了一个完全互连的世界。这个世界收集了大量数据，对其进行处理，并提供革命性的新功能和应用程序供人们在日常生活中使用。但是，随着物联网的扩展，对大量，种类繁多的机器和传感器数据进行大规模并行处理的需求也随之增加。但是，利用云中的当前分析功能很难管理所有这些处理。

那就是雾计算和Apache Spark出现的地方。

雾计算将数据处理和存储分散化，而不是在网络边缘执行这些功能。但是，雾计算为处理分散数据带来了新的复杂性，因为它越来越需要低延迟，机器学习的大规模并行处理以及极其复杂的图形分析算法。幸运的是，有了Spark Streaming等关键堆栈组件，交互式实时查询工具(Shark)，机器学习库(MLib)和图形分析引擎(GraphX)，Spark不仅具有雾计算解决方案的资格。实际上，随着物联网行业逐渐不可避免地融合，许多行业专家预测，与其他开源平台相比，Spark有可能成为事实上的雾基础设施。

现实世界中的火花

如前所述，在线广告商和诸如Netflix之类的公司正在利用Spark获得见识和竞争优势。其他也从Spark受益的着名企业是：

Uber –这家跨国在线出租车调度公司每天都从其移动用户那里收集TB级的事件数据。通过使用Kafka，Spark Streaming和HDFS构建连续的ETL管道，Uber可以在收集原始非结构化事件数据时将其转换为结构化数据，然后将其用于进一步和更复杂的分析。

Pinterest –通过类似的ETL管道，Pinterest可以利用Spark Streaming即时了解世界各地的用户如何与Pins互动。因此，当人们浏览站点并查看相关的图钉时，Pinterest可以提出更相关的建议，以帮助他们选择食谱，确定要购买的产品或计划前往各个目的地的行程。

Conviva –这家流媒体视频公司每月平均约有400万个视频供稿，仅次于YouTube。Conviva使用Spark通过优化视频流和管理实时视频流量来减少客户流失，从而保持一致的流畅，高质量的观看体验。

何时不使用Spark

尽管它具有通用性，但这并不一定意味着Apache Spark的内存中功能最适合所有用例。更具体地说，大数据分析Apache Spark的应用实例Spark并非设计为多用户环境。Spark用户需要知道他们有权访问的内存对于数据集是否足够。添加更多的用户使此操作变得更加复杂，因为用户必须协调内存使用量才能同时运行项目。由于无法处理这种类型的并发，用户将需要为大型批处理项目考虑使用备用引擎，例如Apache Hive。

随着时间的流逝，Apache Spark将继续发展自己的生态系统，变得比以前更加通用。在大数据已成为规范的世界中，组织将需要找到最佳方式来利用它。从这些Apache Spark用例可以看出，未来几年将有很多机会来了解Spark的真正功能。

随着越来越多的组织认识到从批处理过渡到实时数据分析的好处，Apache Spark的定位是可以在众多行业中获得广泛而快速的采用。

⑧ 详细全面介绍什么是 Apache服务器

Apache，一种开放源码的HTTP服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全性（注1）被广泛使用，是最流行的Web服务器端软件之一。它快速、可靠并且可通过简单的API扩展，Perl/Python等解释器可被编译到服务器中。
历史
Apache 起初由 Illinois 大学 Urbana-Champaign 的国家高级计算程序中心开发。此后，Apache 被开放源代码团体的成员不断的发展和加强。Apache 服务器拥有牢靠可信的美誉，已用在超过半数的因特网站中－特别是几乎所有最热门和访问量最大的网站。
开始，Apache只是Netscape网页服务器（现在是Sun ONE）的之外的开放源代码选择。渐渐的，它开始在功能和速度。超越其他的基于Unix的HTTP服务器。1996年4月以来，Apache一直是Internet上最流行的HTTP服务器: 1999年5月它在 57% 的网页服务器上运行；到了2005年7月这个比例上升到了69%。
作者宣称因为这个名字好记才在最初选择它，但是流传最广的解释是（也是最显而易见的）:这个名字来自这么一个事实:当Apache在1995年初开发的时候，它是由当时最流行的HTTP服务器NCSA HTTPd 1.3 的代码修改而成的，因此是“一个修补的（a patchy）”服务器。然而在服务器官方网站的FAQ中是这么解释的:“‘Apache’这个名字是为了纪念名为Apache(印地语)的美洲印第安人土着的一支，众所周知他们拥有高超的作战策略和无穷的耐性”。无论怎么样，Apache 2.x 分支不包含任何 NCSA 的代码。
特性
Apache支持许多特性，大部分通过编译的模块实现。这些特性从服务器端的编程语言支持到身份认证方案。一些通用的语言接口支持Perl，Python， Tcl， 和 PHP。流行的认证模块包括 mod_access， mod_auth 和 mod_digest。其他的例子有 SSL 和 TLS 支持 (mod_ssl)， proxy 模块，很有用的URL重写(由 mod_rewrite 实现)，定制日志文件 (mod_log_config)，以及过滤支持(mod_include 和 mod_ext_filter)。Apache日志可以通过网页浏览器使用免费的脚本AWStats或Visitors来进行分析。
2.x版本
Apache 的2.x版本核心在Apache 1.x版本之上作出了重要的加强。这包括:线程，更好的支持非UNIX平台（例如Windows），新的 Apache API，以及IPv6支持。
评价
《PC Magazine》2004年8月评出了近30年以来的10款最佳软件产品。他们其中或者是有过最辉煌的历史，或者是最具创意。其对apache的评价是:第三名:Apache（阿帕奇，1995年推出）Apache目前已经演变成了“LAMP”，即linux、Apache、MySQL和PHP的联合体。这是一个开放源代码软件项目，已经对微软的“.NET”战略构成严重威胁。尤其是Apache网络服务器，让用户充分体验到开发源码软件的稳定性、可靠性和可定制性。
Apple.com评价apache时说:Apache是服务器软件始终不断进化的大块部件，它免费但又是无价之宝。Apache 是在资源开放运动中出现的绝对珍品，因为不属于个人专利而是对公共免费。一旦拥有这些源码，程序员能够自由完成所想——能在其它程序员接替工作时被赋予同样的权限来改变和修改自己的源代码。
注释
尽管不断有新的漏洞被发现，但由于其OpenSource的特点，漏洞总能被很快修补。因此总的来说，其安全性还是相当高的。
(） [#page_#][#page_#]AddHandler cgi-script .cgi
AddHandler server-parsed .shtml

Sethandler cgi-script

AddHandler定义了何种扩展名用那一个字符串进行描述.
SetHandler把一个目录下的文件都指定用这一个字符串描述.

我在这里提到的命令都是与其结构密切相关的. Handler和Type的关系在下面会描述的. 许多的东东从外面是看不清楚的, 下面, 我们从里面看.

三 程序的基本结构
-----------------
Apache有非常好的跨平台性. 为了实现这一目标和简化模块编写者的负担,Apache完成了许多基本的功能如IO, 内存分配等, 这些接口都是与具体平台无关的. 还有一些很有用的例程如: hash table, array 等. 在整个体系中, Apache有一个基本点, 它尽可能的使用简单的结构和算法, 这不仅易于理解和维护, 还提高了它的稳定性.

在UNIX系统上, Apache采用了多进程模型, 在Window上采用了多线程模型.多进程模型中, 其子进程处理客户请求, 父进程用于管理子进程. 当系统过载时父进程会再启动几个子进程, 当系统空闲时, 父进程会杀掉几个子进程. 子进程的数目在"MinSpareServers"和"MaxSpareServers"之间. 而且, 每个子进程处理的请求个数也是有限制的, 这可以解决诸如内存泄漏等问题. 所有的进程状态都被记录在share memory中. 由于每个进程的状态记录在其中的一小块内存上, 它通常也只读写这一块内存, 因此, Apache没有使用什么同步机制.

在Richard Steve的书上说到的几种多进程服务器模型, Apache都使用了,在不同的系统上根据其特点选择使用不同的方法:

1. accept :
在accept处阻塞, 只有在accept是在内核级实现的才行.
2. select :
在select处阻塞.
3. mutex/lock_file :
使用mutex或lock_file来进行对accpet进行互斥.

三种方法都要求进行阻塞, 区别在于阻塞与不同的地方. 前两种方法都会由所谓的巨群问题: 多个阻塞在同一个资源上的进程被同时唤醒引发再次竞争. 不过, 按Richard Steve 的评测, 第一种方法最快, 第二种其次, 第三种最慢. 其实, 在linux上第三种方法也会有巨群问题.

Apache虽然并不强调性能, 这并不意味着他们不重视性能. 而是Apache认为在Server端realiable才是第一位的. 但Apache的性能还是不错的.

⑨ Apache Flink是什么

Flink其实就是Apache Flink，是一款业内非常火的大数据产品，由Apache软件基金会开发，核心是用Java和Scala编写的分布式流数据流引擎。Apache Flink是个旨在提供‘一站式’ 的分布式开源数据处理框架。

Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。

此外，Flink的运行时本身也支持迭代算法的执行。

虽然，spark和storm的计算框架非常成熟，但是Flink仍然占据了一席之地。

主要在于flink在设计event time处理模型上比较优秀：watermark的计算实时性高，输出延迟低，而且接受迟到数据没有spark那么受限。

另外，Flink提供的window programming模型非常的灵活，不但支持spark、storm没有的session window，而且只要实现其提供的WindowAssigner、Trigger、Evictor就能创造出符合自身业务逻辑的window，flink可谓功能非常强大。