大数据访问
‘壹’ 大数据会带来哪些问题
一、分布式系统
大数据解决方案将数据和操作分布在许多系统中，以实现更快的处理和分析。这种分布式系统可以平衡负载，避免单点故障。但是这样的系统容易受到安全威胁，黑客只要攻击一个点就可以渗透整个网络。
二.数据存取
大数据系统需要访问控制来限制对敏感数据的访问，否则，任何用户都可以访问机密数据，有些用户可能会出于恶意使用。此外，网络犯罪分子可以入侵与大数据系统相连的系统，窃取敏感数据。因此，使用大数据的公司需要检查和验证每个用户的身份。
三.数据不正确
网络犯罪分子可以通过操纵存储的数据来影响大数据系统的准确性。因此，网络犯罪分子可以创建虚假数据，并将这些数据提供给大数据系统。比如医疗机构可以利用大数据系统研究患者的病历，而黑客可以修改这些数据，产生不正确的诊断结果。
四.侵犯隐私
大数据系统通常包含机密数据，这是很多人非常关心的问题。这样的大数据隐私威胁已经被全世界的专家讨论过了。此外，网络犯罪分子经常攻击大数据系统以破坏敏感数据。这种数据泄露已经成为头条新闻，导致数百万人的敏感数据被盗。
五、云安全性不足
大数据系统收集的数据通常存储在云中，这可能是一个潜在的安全威胁。网络犯罪分子破坏了许多知名公司的云数据。如果存储的数据没有加密，并且没有适当的数据安全性，就会出现这些问题。
‘贰’ 大数据是什么，详细
大数据是指在一定时间内，常规软件工具无法捕捉、管理和处理的数据集合。它是一种海量、高增长、多元化的信息资产，需要一种新的处理模式，以具备更强的决策、洞察和流程优化能力。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些有意义的数据进行专业的处理。换句话说，如果把大数据比作一个行业，这个行业盈利的关键在于提高数据的“处理能力”，通过“处理”实现数据的“增值”。
从技术上讲，大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能用单台计算机处理，必须采用分布式架构。其特点在于海量数据的分布式数据挖掘。但它必须依赖云计算分布式处理、分布式数据库、云存储和虚拟化技术。
扩展信息:
大数据只是现阶段互联网的一个表征或特征。没有必要将其神话或保持敬畏。在以云计算为代表的技术创新背景下，这些原本看似难以收集和使用的数据开始被轻松使用。通过各行各业的不断创新，大数据将逐渐为人类创造更多的价值。
是体现大数据技术价值的手段，是进步的基石。这里从云计算、分布式处理技术、存储技术、感知技术的发展，阐述大数据从采集、处理、存储到形成结果的全过程。
实践是大数据的终极价值。在这里，我们从互联网大数据、政府大数据、企业大数据、个人大数据四个方面来描绘大数据的美好图景和将要实现的蓝图。
‘叁’ 大数据存在的安全问题有哪些
【导读】互联网时代，数据已成为公司的重要资产，许多公司会使用大数据等现代技术来收集和处理数据。大数据的应用，有助于公司改善业务运营并预测行业趋势。那么，大数据存在的安全问题有哪些呢?今天就跟随小编一起来了解下吧!
一、分布式系统
大数据解决方案将数据和操作分布在许多系统中，以实现更快的处理和分析。这种分布式系统可以平衡负载，避免单点故障。但是这样的系统容易受到安全威胁，黑客只要攻击一个点就可以渗透整个网络。
二.数据存取
大数据系统需要访问控制来限制对敏感数据的访问，否则，任何用户都可以访问机密数据，有些用户可能会出于恶意使用。此外，网络犯罪分子可以入侵与大数据系统相连的系统，窃取敏感数据。因此，使用大数据的公司需要检查和验证每个用户的身份。
三.数据不正确
网络犯罪分子可以通过操纵存储的数据来影响大数据系统的准确性。因此，网络犯罪分子可以创建虚假数据，并将这些数据提供给大数据系统。比如医疗机构可以利用大数据系统研究患者的病历，而黑客可以修改这些数据，产生不正确的诊断结果。
四.侵犯隐私
大数据系统通常包含机密数据，这是很多人非常关心的问题。这样的大数据隐私威胁已经被全世界的专家讨论过了。此外，网络犯罪分子经常攻击大数据系统以破坏敏感数据。这种数据泄露已经成为头条新闻，导致数百万人的敏感数据被盗。
五、云安全性不足
大数据系统收集的数据通常存储在云中，这可能是一个潜在的安全威胁。网络犯罪分子破坏了许多知名公司的云数据。如果存储的数据没有加密，并且没有适当的数据安全性，就会出现这些问题。
以上就是小编今天给大家整理分享关于“大数据存在的安全问题有哪些?”的相关内容希望对大家有所帮助。小编认为要想在大数据行业有所建树，需要考取部分含金量高的数据分析师证书，这样更有核心竞争力与竞争资本。
‘肆’ 怎么解决访问大数据，报表速度慢的问题
访问大数据，报表速度慢的问题基本上都会遇到。我们在使用finereport搭建的报表平台时，也经常遇到，但通常是这样一些角度解决问题：
报表执行过程
优化报表取数
优化报表计算时间
巧用参数注入
巧用相邻连续分组
数据集缓存与共享
启用行引擎执行层式报表
单数据集分页sql实现层式报表
多数据集实现层式报表
修改缓存路径
优化调用Oracle存储过程
服务器内存修改
考虑使用集群
‘伍’ 大数据量高并发访问数据库结构的设计
大数据量高并发访问数据库结构的设计
如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。
在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更多的人力物力，而整个系统也不可避免的形成了一个打补丁工程。
所以在考虑整个系统的流程的时候，我们必须要考虑，在高并发大数据量的访问情况下，我们的系统会不会出现极端的情况。（例如：对外统计系统在7月16日出现的数据异常的情况，并发大数据量的的访问造成，数据库的响应时间不能跟上数据刷新的速度造成。具体情况是：在日期临界时（00：00：00），判断数据库中是否有当前日期的记录，没有则插入一条当前日期的记录。在低并发访问的情况下，不会发生问题，但是当日期临界时的访问量相当大的时候，在做这一判断的时候，会出现多次条件成立，则数据库里会被插入多条当前日期的记录，从而造成数据错误。），数据库的模型确定下来之后，我们有必要做一个系统内数据流向图，分析可能出现的瓶颈。
为了保证数据库的一致性和完整性，在逻辑设计的时候往往会设计过多的表间关联，尽可能的降低数据的冗余。（例如用户表的地区，我们可以把地区另外存放到一个地区表中）如果数据冗余低，数据的完整性容易得到保证，提高了数据吞吐速度，保证了数据的完整性，清楚地表达数据元素之间的关系。而对于多表之间的关联查询（尤其是大数据表）时，其性能将会降低，同时也提高了客户端程序的编程难度，因此，物理设计需折衷考虑，根据业务规则，确定对关联表的数据量大小、数据项的访问频度，对此类数据表频繁的关联查询应适当提高数据冗余设计但增加了表间连接查询的操作，也使得程序的变得复杂，为了提高系统的响应时间，合理的数据冗余也是必要的。设计人员在设计阶段应根据系统操作的类型、频度加以均衡考虑。
另外，最好不要用自增属性字段作为主键与子表关联。不便于系统的迁移和数据恢复。对外统计系统映射关系丢失（******************）。
原来的表格必须可以通过由它分离出去的表格重新构建。使用这个规定的好处是，你可以确保不会在分离的表格中引入多余的列，所有你创建的表格结构都与它们的实际需要一样大。应用这条规定是一个好习惯，不过除非你要处理一个非常大型的数据，否则你将不需要用到它。（例如一个通行证系统，我可以将USERID，USERNAME，USERPASSWORD，单独出来作个表，再把USERID作为其他表的外键）
表的设计具体注意的问题：
1、数据行的长度不要超过8020字节，如果超过这个长度的话在物理页中这条数据会占用两行从而造成存储碎片，降低查询效率。
2、能够用数字类型的字段尽量选择数字类型而不用字符串类型的（电话号码），这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接回逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
3、对于不可变字符类型char和可变字符类型varchar都是8000字节,char查询快，但是耗存储空间，varchar查询相对慢一些但是节省存储空间。在设计字段的时候可以灵活选择，例如用户名、密码等长度变化不大的字段可以选择CHAR，对于评论等长度变化大的字段可以选择VARCHAR。
4、字段的长度在最大限度的满足可能的需要的前提下，应该尽可能的设得短一些，这样可以提高查询的效率，而且在建立索引的时候也可以减少资源的消耗。
5、基本表及其字段之间的关系, 应尽量满足第三范式。但是，满足第三范式的数据库设计，往往不是最好的设计。为了提高数据库的运行效率，常常需要降低范式标准：适当增加冗余，达到以空间换时间的目的。
6、若两个实体之间存在多对多的关系，则应消除这种关系。消除的办法是，在两者之间增加第三个实体。这样，原来一个多对多的关系，现在变为两个一对多的关系。要将原来两个实体的属性合理地分配到三个实体中去。这里的第三个实体，实质上是一个较复杂的关系，它对应一张基本表。一般来讲，数据库设计工具不能识别多对多的关系，但能处理多对多的关系。
7、主键PK的取值方法，PK是供程序员使用的表间连接工具，可以是一无物理意义的数字串, 由程序自动加1来实现。也可以是有物理意义的字段名或字段名的组合。不过前者比后者好。当PK是字段名的组合时，建议字段的个数不要太多，多了不但索引占用空间大，而且速度也慢。
8、主键与外键在多表中的重复出现, 不属于数据冗余，这个概念必须清楚，事实上有许多人还不清楚。非键字段的重复出现, 才是数据冗余！而且是一种低级冗余，即重复性的冗余。高级冗余不是字段的重复出现，而是字段的派生出现。
〖例4〗：商品中的“单价、数量、金额”三个字段，“金额”就是由“单价”乘以“数量”派生出来的，它就是冗余，而且是一种高级冗余。冗余的目的是为了提高处理速度。只有低级冗余才会增加数据的不一致性，因为同一数据，可能从不同时间、地点、角色上多次录入。因此，我们提倡高级冗余(派生性冗余)，反对低级冗余(重复性冗余)。
9、中间表是存放统计数据的表，它是为数据仓库、输出报表或查询结果而设计的，有时它没有主键与外键(数据仓库除外)。临时表是程序员个人设计的，存放临时记录，为个人所用。基表和中间表由DBA维护，临时表由程序员自己用程序自动维护。
10、防止数据库设计打补丁的方法是“三少原则”
(1) 一个数据库中表的个数越少越好。只有表的个数少了，才能说明系统的E--R图少而精，去掉了重复的多余的实体，形成了对客观世界的高度抽象，进行了系统的数据集成，防止了打补丁式的设计；
(2) 一个表中组合主键的字段个数越少越好。因为主键的作用，一是建主键索引，二是做为子表的外键，所以组合主键的字段个数少了，不仅节省了运行时间，而且节省了索引存储空间；
(3) 一个表中的字段个数越少越好。只有字段的个数少了，才能说明在系统中不存在数据重复，且很少有数据冗余，更重要的是督促读者学会“列变行”，这样就防止了将子表中的字段拉入到主表中去，在主表中留下许多空余的字段。所谓“列变行”，就是将主表中的一部分内容拉出去，另外单独建一个子表。这个方法很简单，有的人就是不习惯、不采纳、不执行。
数据库设计的实用原则是：在数据冗余和处理速度之间找到合适的平衡点。“三少”是一个整体概念，综合观点，不能孤立某一个原则。该原则是相对的，不是绝对的。“三多”原则肯定是错误的。试想：若覆盖系统同样的功能，一百个实体(共一千个属性) 的E--R图，肯定比二百个实体(共二千个属性)的E--R图，要好得多。
提倡“三少”原则，是叫读者学会利用数据库设计技术进行系统的数据集成。数据集成的步骤是将文件系统集成为应用数据库，将应用数据库集成为主题数据库，将主题数据库集成为全局综合数据库。集成的程度越高，数据共享性就越强，信息孤岛现象就越少，整个企业信息系统的全局E—R图中实体的个数、主键的个数、属性的个数就会越少。
提倡“三少”原则的目的，是防止读者利用打补丁技术，不断地对数据库进行增删改，使企业数据库变成了随意设计数据库表的“垃圾堆”，或数据库表的“大杂院”，最后造成数据库中的基本表、代码表、中间表、临时表杂乱无章，不计其数，导致企事业单位的信息系统无法维护而瘫痪。
“三多”原则任何人都可以做到，该原则是“打补丁方法”设计数据库的歪理学说。“三少”原则是少而精的原则，它要求有较高的数据库设计技巧与艺术，不是任何人都能做到的，因为该原则是杜绝用“打补丁方法”设计数据库的理论依据。
11、在给定的系统硬件和系统软件条件下，提高数据库系统的运行效率的办法是：
(1) 在数据库物理设计时，降低范式，增加冗余, 少用触发器, 多用存储过程。
(2) 当计算非常复杂、而且记录条数非常巨大时(例如一千万条)，复杂计算要先在数据库外面，以文件系统方式用编程语言计算处理完成之后，最后才入库追加到表中去。
(3) 发现某个表的记录太多，例如超过一千万条，则要对该表进行水平分割。水平分割的做法是，以该表主键PK的某个值为界线，将该表的记录水平分割为两个表。若发现某个表的字段太多，例如超过八十个，则垂直分割该表，将原来的一个表分解为两个表。
(4) 对数据库管理系统DBMS进行系统优化，即优化各种系统参数，如缓冲区个数。
(5) 在使用面向数据的SQL语言进行程序设计时，尽量采取优化算法。
总之，要提高数据库的运行效率，必须从数据库系统级优化、数据库设计级优化、程序实现级优化，这三个层次上同时下功夫。
主键设计：
1、不建议用多个字段做主键，单个表还可以，但是关联关系就会有问题，主键自增是高性能的。
2、一般情况下，如果有两个外键，不建议采用两个外键作为联合住建，另建一个字段作为主键。除非这条记录没有逻辑删除标志，且该表永远只有一条此联合主键的记录。
3、一般而言，一个实体不能既无主键又无外键。在E—R 图中, 处于叶子部位的实体, 可以定义主键，也可以不定义主键(因为它无子孙), 但必须要有外键(因为它有父亲)。
主键与外键的设计，在全局数据库的设计中，占有重要地位。当全局数据库的设计完成以后，有个美国数据库设计专家说：“键，到处都是键，除了键之外，什么也没有”，这就是他的数据库设计经验之谈，也反映了他对信息系统核心(数据模型)的高度抽象思想。因为：主键是实体的高度抽象，主键与、外键的配对，表示实体之间的连接。
‘陆’ 大数据的定义是什么
大数据或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
‘柒’ 数据提取属于大数据访问和使用的方式吗
属于。数据提取是大数据访问和使用的常见方式之一，其他常见的大数据访问和使用还有数据整合，数据分类，数据处理等等。
‘捌’ 大数据来源的几种类型
1.数据收集:在大数据的生命周期中,数据收集处于第一阶段。根据MapRece数据应用系统...
2.数据访问:大数据通过不同的技术路线存储和保存,大致可分为三类。第一类主要处理大规模结构化...
3.基础设施:云存储、分布式文件存储等。
4.数据处理:不同的数据集可能有不同的结构和模式,如文件、XML树、关系表等。这显示了数据的异质性。多个异构数据集需要进一步集成或...
5.统计分析:假设检验、显着性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关...
‘玖’ 如何在 BigInsights 2.1 中基于 BigSQL 实现大数据访问
IBM 大数据平台战略可以帮助企业解决大数据的挑战，并支持与客户现有的系统集成，具体包括信息整合、Hadoop 企业版系统（InfoSphere Biginsights）、流计算（InfoSphere Streams）、数据仓库（pureData Systems，InfoSphere Warehouse）、加速器（Accelerator）、可视化与发现（InfoSphere Data Explorer）、应用程序开发、系统管理、数据治理和元数据管理等功能。大数据依赖于一个可缩放且可扩展的信息基础，只有组织的信息基础到位，支持迅 速增长的数据数量、多样性和速度，才能显着从大数据中获益。
IBM 大数据平台提供完善的信息整合、数据治理和元数据管理功能，通过信息整合可以将任何类型的数据集成到 IBM 大数据平台中，通过数据治理可以实现信息的生命周期管理（数据生命周期的保留策略、测试数据管理和数据增长管理）、隐私保护和安全性管理（自动寻找、分类 和保护敏感信息，漏洞、配置和行为评估，隐私信息修订，数据库活动监控和 Hadoop 活动监测）、数据质量控制（数据源分析，元数据世系分析，数据转换、清洗和标准化）和主数据管理等。通过统一的元数据管理，企业不仅可以了解关系型数据还 可以掌握半结构化数据以及非结构化数据所代表的含义，为大数据的进一步分析和洞察提供基础支撑。
IBM 大数据平台提供全面的企业级 Hadoop 平台、流计算和分析引擎以及企业级数据仓库实现各种数据的存储、分析和挖掘，结构化数据可以使用数据仓库进行存储和分析，原始、半结构化和非结构化数据可 以存储到企业级 Hadoop 系统中并进行后续分析处理，动态的半结构化和非结构化信息流通过流计算和分析引擎进行处理、过滤和分析后，生成的结构化分析结果可以存储到数据仓库中以便 和其他历史信息进行进一步的深入分析，而获取的半结构化和非结构化信息可以存储到企业级 Hadoop 系统中（当然结构化的信息也可以存储到企业级 Hadoop 中）。数据仓库技术和企业级 Hadoop 系统之间是相互补充，而非相互竞争关系。
InfoSphere Data Explorer（Vivisimo）作为领先的联邦发现和可视化软件，可以将所有可用信息可视化以便供企业进行风险管理、反欺诈、反洗钱等即席分析。 Data Explorer 通过获取和分析整个企业中的结构化和非结构化数据，帮助企业构建信息单一视图，方便用户浏览整个企业内部数据，提供深入洞察力。
加速器主要包括分析加速器（分析文本、音频、视频、图像、地理空间和数据等，提供先进的数学模型进行统计、挖掘和预测）和面向行业的应用程序加速器（比如 面向电信、社交、金融、零售、公共交通和机器语言的加速器），实现基于模型的可视化分析。构建在 IBM 大数据平台之上的分析应用程序可以是各种行业应用、预测分析、内容分析和运营分析等。
‘拾’ 如何使用Big SQL访问大数据使用详解
使用 JDBC/ODBC 程序访问 Big SQL
我们可以使用 JDBC/ODBC 程序来访问 Big SQL，我们以 JDBC 程序为例，详细介绍了使用 JDBC 访问 Big SQL 的具体方法。
首先，我们需要在 CLASSPATH 环境变量中增加 bigsql-jdbc-driver.jar 文件，如下所示：
清单 8. 增加 CLASSPATH 环境变量
biadmin@imtebi1:/opt/ibm/biginsights/bigsql/samples/queries>
export CLASSPATH=$CLASSPATH:/opt/ibm/biginsights/bigsql/samples/queries/bigsql-jdbc-driver.jar
并创建 countbrand.java 程序，如下所示：
清单 9. countbrand.java 程序
countbrand.java
import java.io.*;
import java.sql.*;
import java.util.*;
class countbrand {
public static void main(String args[]) throws SQLException,Exception {
try {
//load the driver class
Class.forName("com.ibm.biginsights.bigsql.jdbc.BigSQLDriver");
} catch (ClassNotFoundException e) {
System.out.print(e); }
try {
//set connection properties
String user="biadmin";
String password="password";
Connection con = DriverManager.getConnection("jdbc:bigsql://172.16.42.202:7052/gosalesdw",
user,password);
Statement st = con.createStatement();
//query execution
ResultSet rs = st.executeQuery("SELECT count(*) FROM GOSALESDW.GO_BRANCH_DIM AS BD,
GOSALESDW.DIST_INVENTORY_FACT AS IF WHERE IF.BRANCH_KEY = BD.BRANCH_KEY /*+ joinMethod = 'mapSideHash',
buildTable = 'bd' +*/ AND BD.BRANCH_CODE > 20");
while(rs.next()) {
System.out.println(rs.getString(1));
}
} catch(SQLException sqle)
{ System.out.print(sqle); }
}
}
我们可以使用如下命令编译并运行 countbrand.java 程序，如下所示：
清单 10. 编译并运行 countbrand.java 程序
biadmin@imtebi1:/opt/ibm/biginsights/bigsql/samples/queries> javac countbrand.java
biadmin@imtebi1:/opt/ibm/biginsights/bigsql/samples/queries> java countbrand
33318
创建、加载表
同关系数据库一样，Big SQL 也存在模式。模式是指一组对象的集合，我们可以通过创建不同的模式来组织 Big SQL 中的数据对象。如下所示，我们创建 gosalesdw 模式来组织我们需要创建的 Hive 及 HBase 表。
清单 11. 创建 gosalesdw 模式
biadmin@imtebi1:/opt/> $BIGSQL_HOME/bin/jsqsh -U biadmin -P password
JSqsh Release 1.5-ibm, Copyright (C) 2007-2013, Scott C. Gray
Type \help for available help topics. Using JLine.
[localhost][biadmin] 1> create schema if not exists gosalesdw;
0 rows affected (total: 1m4.56s)
[localhost][biadmin] 1> quit;
biadmin@imtebi1:/opt/$HADOOP_HOME/bin/hadoop fs -ls /biginsights/hive/warehouse
drwxr-xr-x - biadmin biadmgrp
0 2013-12-21 21:20 /biginsights/hive/warehouse/gosalesdw.db
在 Big SQL 中，我们创建的模式会在 DFS 分布式文件系统中创建一个相应的目录，该目录可以在创建模式时指定，如果没有指定目录，会在 Hive 的默认目录 /biginsights/hive/warehouse/ 下创建。我们可以通过修改 $HIVE_HOME/conf/hive-site.xml 文件中的 hive.metastore.warehouse.dir 属性值来修改 Hive 的默认存储路径，如下所示：
清单 12. 修改 hive-site.xml
biadmin@imtebi1:/opt/> $BIGSQL_HOME/bin/jsqsh -U biadmin -P password
JSqsh Release 1.5-ibm, Copyright (C) 2007-2013, Scott C. Gray
Type \help for available help topics. Using JLine.
[localhost][biadmin] 1> create schema if not exists gosalesdw1 location
'/usr/biadmin/gosalesdw1.db';
0 rows affected (total: 0.87s)
[localhost][biadmin] 1> quit
biadmin@imtebi1:/opt/> $HADOOP_HOME/bin/hadoop fs -ls /usr/biadmin
Found 1 items
drwxr-xr-x - biadmin supergroup 0 2013-12-21 21:26 /usr/biadmin/gosalesdw1.db
more $HIVE_HOME/conf/hive-site.xml
hive.metastore.warehouse.dir
/biginsights/hive/warehouse