cassandrapython
⑴ python数据分析师需要学什么
python数据分析师。现在大数据分析可以热得不要不要的。从发展来看，python数据分析师很有前景的。但也并不是随便一个公司就可以做大数据分析的。有几个问题是做大数据要考虑的：大数据来源是否全面，分析什么，谁来使用等等。当然如果能到能做大数据的公司，那薪水还是可观的。要做python数据分析师，有一些东西是不得不学的，要不然，做不了分析师的，可能做的程序员，帮别人实现分析的结果而已。第一：统计学知识。（推荐学习：Python视频教程）
这是很大一部分大数据分析师的短板。当然这里说的不是简单的一些统计而已。而是包括均值、中位数、标准差、方差、概率、假设检验等等具有时间、空间、数据本身。差不多应该是理工科的高等数学的知识，甚至还高一点儿。要能够建模，要不然你分析出来的结果离实际相差十万八千里的话，估计要不了几天，你就会被卷铺盖走人了。当然，做个一般的大数据分析师，就不会涉及到很深的高等数学知识了，但要做一个牛B的大数据分析师，还是要学习学习再学习。
第二：很多人想不到的，你还是把EXCEL玩熟悉吧。
当然不需要掌握的高大全，也得要掌握常用的函数，比如重点包括但不限于sum，count，sumif，countif，find，if，left/right，时间转换，透视表，各种图表做法等之类的。如果数据量不算是特别大的话，Excel能够解决很多问题。比如，筛选部分赃数据，排序，挑选满足条件的数据等等。
第三：分析思维的练习。
比如结构化思维、思维导图、或网络脑图、麦肯锡式分析，了解一些smart、5W2H、SWOT等等那就更好了。不一定要掌握多深多全，但一定要了解一些。
第四：数据库知识。
大数据大数据，就是数据量很多，Excel就解决不了这么大数据量的时候，就得使用数据库。如果是关系型数据库，比如Oracle、mysql、sqlserver等等，你还得要学习使用SQL语句，筛选排序，汇总等等。非关系型数据库也得要学习，比如：Cassandra、Mongodb、CouchDB、Redis、 Riak、Membase、Neo4j 和 HBase等等，起码常用的了解一两个，比如Hbase，Mongodb，redis等。
第五：业务学习。
其实对于大数据分析师来说，了解业务比了解数据更重要。对于行业业务是怎么走的对于数据的分析有着非常重要的作用，不了解业务，可能你分析的结果不是别人想要的。
第六：开发工具及环境。
比如：linux OS、Hadoop（存储HDFS，计算Yarn）、Spark、或另外一些中间件。目前用得多的开发工具python等等语言工具。
总之，要做一个高级或总监级的大数据分析师那是相当的烧脑的。要学习了解的东西如果只是单纯的数据方面的话，那业务和统计知识的学习是必不可少的。如果是实用型的大数据分析师可能只掌握某些部分就可以。大数据开发工程师的话，基本就是掌握开发环境、开发语言以及各种图表的应用，也是可以满足的。毕竟，一个公司要团队协作，一人懂一部分就可以搞出分析产品出来了。认定一项事情就去干！越干越轻松，越干越牛B！
更多Python相关技术文章，请访问Python教程栏目进行学习！以上就是小编分享的关于python数据分析师需要学什么的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！
⑵ 为什么在大数据处理中Cassandra与Spark如此受欢迎
动手实验Apache Spark的最好方式是使用交互式Shell命令行，Spark目前有Python Shell和Scala Shell两种交互式命令行。
可以从 这里下载Apache Spark，下载时选择最近预编译好的版本以便能够立即运行shell。
目前最新的Apache Spark版本是1.5.0，发布时间是2015年9月9日。
tar -xvzf ~/spark-1.5.0-bin-hadoop2.4.tgz
运行Python Shell
cd spark-1.5.0-bin-hadoop2.4
./bin/pyspark
在本节中不会使用Python Shell进行演示。
Scala交互式命令行由于运行在JVM上，能够使用java库。
运行Scala Shell
cd spark-1.5.0-bin-hadoop2.4
./bin/spark-shell
执行完上述命令行，你可以看到下列输出：
Scala Shell欢迎信息
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 1.5.0
/_/
Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_25)
Type in expressions to have them evaluated.
Type :help for more information.
15/08/24 21:58:29 INFO SparkContext: Running Spark version 1.5.0
下面是一些简单的练习以便帮助使用shell。也许你现在不能理解我们做的是什么，但在后面我们会对此进行详细分析。在Scala Shell中，执行下列操作：
在Spark中使用README 文件创建textFileRDD
val textFile = sc.textFile("README.md")
获取textFile RDD的第一个元素
textFile.first()
res3: String = # Apache Spark
对textFile RDD中的数据进行过滤操作，返回所有包含“Spark”关键字的行，操作完成后会返回一个新的RDD，操作完成后可以对返回的RDD的行进行计数
筛选出包括Spark关键字的RDD然后进行行计数
val linesWithSpark = textFile.filter(line => line.contains("Spark"))
linesWithSpark.count()
res10: Long = 19
要找出RDD linesWithSpark单词出现最多的行，可以使用下列操作。使用map方法，将RDD中的各行映射成一个数，然后再使用rece方法找出包含单词数最多的行。
找出RDD textFile 中包含单词数最多的行
textFile.map(line => line.split(" ").size)
.rece((a, b) => if (a > b) a else b)
res11: Int = 14
返回结果表明第14行单词数最多。
也可以引入其它java包，例如 Math.max()方法，因为map和rece方法接受scala函数字面量作为参数。
在scala shell中引入Java方法
import java.lang.Math
textFile.map(line => line.split(" ").size)
.rece((a, b) => Math.max(a, b))
res12: Int = 14
我们可以很容易地将数据缓存到内存当中。
将RDD linesWithSpark 缓存，然后进行行计数
linesWithSpark.cache()
res13: linesWithSpark.type =
MapPartitionsRDD[8] at filter at :23
linesWithSpark.count()
res15: Long = 19
上面简要地给大家演示的了如何使用Spark交互式命令行。
弹性分布式数据集（RDDs）
Spark在集群中可以并行地执行任务，并行度由Spark中的主要组件之一——RDD决定。弹性分布式数据集(Resilient distributed data, RDD)是一种数据表示方式，RDD中的数据被分区存储在集群中（碎片化的数据存储方式），正是由于数据的分区存储使得任务可以并行执行。分区数量越多，并行越高。下图给出了RDD的表示：
Display- Edit
想象每列均为一个分区（partition ），你可以非常方便地将分区数据分配给集群中的各个节点。
为创建RDD，可以从外部存储中读取数据，例如从Cassandra、Amazon简单存储服务（Amazon Simple Storage Service）、HDFS或其它Hadoop支持的输入数据格式中读取。也可以通过读取文件、数组或JSON格式的数据来创建RDD。另一方面，如果对于应用来说，数据是本地化的，此时你仅需要使用parallelize方法便可以将Spark的特性作用于相应数据，并通过Apache Spark集群对数据进行并行化分析。为验证这一点，我们使用Scala Spark Shell进行演示：
-
⑶ Python学哪个数据库
数据库得根据业务需要来选择。
关系型数据库RDB:MySQL,Oracle,DB2,PGSQL等
非关系型数据库NoSQL:Redis,Cassandra,Mongodb等
还有最近比较新的NewSQL
⑷ 现在计算机语言这么多有C#、C++、Java什么VB甚至现在还出现了Python和ruby可我没那么的时间学啊
C语言运算快啊，高级语言越来越流行只是因为计算机速度比原来快很多，所以人类可以用运行时的效率为代价来换取开发时的效率。在对运算速度要求高的地方还是需要用C。
另外，Java和.net是强类型的语言，在编译时、或者甚至在编写时就能发现错误，在开发复杂的大项目的时候这个很有必要，这种情况下用python的话在integration test的时候说不定就要出现只知道有错却找不到错误在哪儿的情况。
python、ruby、javascript这些都是开发小项目多，之所以这几年流行，是因为初创企业最开始使用这些很方便。但是当他们长大之后，还是经常要用别的语言重写的。比如facebook用java写了他们专门的数据库cassandra，twitter用java重写他们原来的ruby on rails写的服务器。
所以，编程语言并不是像你想象的那样容易淘汰的，即使是50年代就出现的fortran，依然是每隔几年就有新版本，至今仍然在天文学、气象学、流体力学、生物学、化学、经济学等等这些需要高强度计算来模拟一个模型的领域里被广泛使用。
⑸ 大数据分析应该掌握哪些基础知识呢
前言，学大数据要先换电脑：
保证电脑4核8G内存64位操作系统，尽量有ssd做系统盘，否则卡到你丧失信心。硬盘越大越好。
1，语言要求
java刚入门的时候要求javase。
scala是学习spark要用的基本使用即可。
后期深入要求：
java NIO，netty，多线程，ClassLoader，jvm底层及调优等，rpc。
2，操作系统要求
linux 基本的shell脚本的使用。
crontab的使用，最多。
cpu，内存，网络，磁盘等瓶颈分析及状态查看的工具。
scp，ssh，hosts的配置使用。
telnet，ping等网络排查命令的使用
3，sql基本使用
sql是基础，hive，sparksql等都需要用到，况且大部分企业也还是以数据仓库为中心，少不了sql。
sql统计，排序，join，group等，然后就是sql语句调优，表设计等。
4，大数据基本了解
Zookeeper，hadoop，hbase，hive，sqoop，flume，kafka，spark，storm等这些框架的作用及基本环境的搭建，要熟练，要会运维，瓶颈分析。
5，maprece及相关框架hive，sqoop
深入了解maprece的核心思想。尤其是shuffle，join，文件输入格式，map数目，rece数目，调优等。
6，hive和hbase等仓库
hive和hbase基本是大数据仓库的标配。要回用，懂调优，故障排查。
hbase看浪尖hbase系列文章。hive后期更新。
7，消息队列的使用
kafka基本概念，使用，瓶颈分析。看浪尖kafka系列文章。
8，实时处理系统
storm和spark Streaming
9，spark core和sparksql
spark用于离线分析的两个重要功能。
10，最终方向决策
a),运维。（精通整套系统及故障排查，会写运维脚本啥的。）
b),数据分析。（算法精通）
c),平台开发。（源码精通）
自学还是培训？
无基础的同学，培训之前先搞到视频通学一遍，防止盲目培训跟不上讲师节奏，浪费时间，精力，金钱。
有基础的尽量搞点视频学基础，然后跟群里大牛交流，前提是人家愿意，
想办法跟大牛做朋友才是王道。
⑹ 大家用 Python 做过的规模最大的项目有哪些
目前正在做的，基于深度学习的，汽车年检类型和使用零件的推荐系统，用的是Python语言和Tensorflow框架，对云VPN内服务器，提供API接口，使用kafka消息中间件，预测结果放在cassandra里面
⑺ Cassandra与HBase的大数据对决 谁是胜者
众多基于Bigtable技术的开源项目正在通过不同的方式实现高扩展性、高灵活性、分布式及宽列数据存储等功能，Cassandra和HBase就是其中的代表。
在大数据这一全新的领域里，Bigtable数据库技术非常值得我们关注，因为这一技术是由谷歌的工程发明的，而谷歌是一家公认的非常擅长管理海量数据的
公司。如果你对此非常了解，那么你一家知道也熟悉Cassandra和HBase这两个Apache数据库项目。
谷歌在2006年的一份研究报告中首次对Bigtable进行了阐述。有意思的是，这份报告当时并没有将Bigtable作为数据库技术，而是将其作为一
种“稀疏的分布式多维度”映射技术以存储拍字节级数据，并在商用硬件上运行它们。行先是以一种非常独特的方式被索引，随后Bigtable利用行键对数据
进行分割，将它们分布到集群中。列可以被迅速地定义在行中，让Bigtable适用于大多数的非模式环境。
Cassandra和HBase都在很大程度上借鉴了早期Bigtable的定义。实际上，Cassandra起源于Bigtable和亚马逊的
Dynamo技术，HBase将自身定位为“开源Bigtable工具”。就其本身而论，这两个项目既有许多相同的特点，同时又有许多重大区别。
同为大数据而生
Cassandra与HBase都是NoSQL数据库。总体上看，这意味着用户无法使用SQL数据库。不过，Cassandra使用的是CQL（Cassandra 查询语言），其语法有明显模仿SQL的痕迹。
两者都被设计用于管理非常大的数据集。HBase文件声称一个HBase数据库可以拥有数亿个，甚至是数十亿个行。此外，用户还被建议继续使用关系型数据库。
两者都是分布式数据库，不仅仅是在数据的存储方式上，在数据访问方式上亦是如此。客户端可以与集群中的任意节点相连，并访问任意的数据。
两者都宣称拥有近似于线型的扩展能力。想要管理两倍规模的数据吗？用户只需将集群中的节点扩展两倍即可。
两者都是通过复制来防止集群节点故障而导致出现数据损失。被写入数据库的行主要由单个集群节点负责（行至节点映射取决于用户所使用的分区模式）。数据会被
镜像到称之为冗余节点的其他集群成员当中（用户可配置的复制因子会显示数量）。如果主要节点出现了故障，那么数据仍然可以从另外的冗余节点中被读取。
两者都被称之为列式数据库。由于它们的名字听起来像是关系型数据库，因此用户在接触中需要在思想上进行调整，这导致用户对它们的认知会出现混淆。最容易出
现混淆的地方是，数据在表面上最初是由行进行排列的，表的主要键是行键。但是与关系型数据库不同，在列式数据库中，没两个行需要相同的列。正如上面所说的
那样，在表被创建后，用户能够快速在行中加入列。实际上，你能够向一行中增加许多列。虽然最高上限值难以被准确地计算出来，但是用户几乎不可能达到这样的
上限，即便他们加入大量列的情况下也是如此。
除了这些源于Bigtable定义的特点外，Cassandra和HBase还有一些其他的相似之处。
首先，两者都使用相似的写入路径，即首先将写入操作记录在日志文件中以确保持久性。即便出现写入失败的提示，保存在日志当中的操作记录可以被重新开始。随
后，数据被写入内存缓存中。最后，数据被通过大量的一系列写入操作写入到磁盘中（实际上是将内存缓存的副本拷贝至磁盘中）。Cassandra和
HBase所使用的内存和磁盘数据结构在某种程度上都是日志结构的合并树。Cassandra的磁盘组件是SSTable，HBase中磁盘组件的是
HFile。
两者提供JRuby语言的命令行外壳。两者都通过Java语言被大量写入，这是访问它们的主要编程语言，尽管在许多其他的编程语言中都有适合两者的客户端包。
当然，Cassandra 和 HBase都是Apache软件基金会管理的开源项目，两者都可以通过Apache License version 2.0许可证免费获取。
相似与差别
尽管两者有着众多相似之处，但是它们之间还是存在着许多重大的区别。
尽管Cassandra和HBase中的节点都是对称的，这意味着客户端能够与集群中的任意节点相连，但是这种对称是不完全的。Cassandra需要用
户将一些节点作为种子节点，让它们在集群间通信中扮演集流点的角色。在HBase中，用户必须让一些节点充当主节点，它们的功能是监控和协调地区服务器的
行动。为了确保高可用性，Cassandra采取方式是允许在集群中设置多个种子节点；HBase则是利用备用主节点，如果当前的主节点发生故障，那么备
份主节点将成为新的主节点。
Cassandra在节点间通信中使用的是Gossip协议。目前Gossip服务已经与Cassandra软件整合到了一起。HBase则依托完全独立
的分布式应用Zookeeper来处理相应的任务。尽管HBase与Zookeeper一同出货，但是用户常常会使用预置在HBase数据库中的
Zookeeper。
虽然Cassandra和HBase都不支持实时交易控制，但是两者都提供了一定程度的一致性控制。HBase向用户提供记录级（也就是行级）的一致性。
实际上，HBase在每行都支持ACID级语义。用户可以在HBase中锁定一行，但是这种行为并不被鼓励，因为这不仅影响到并发性，同时行锁定还会导致
无法进行区域分割操作。此外，HBase还可以执行“检查与写入”操作，该操作在单个数据元上提供了“读取-修改-写入”的语义。
Cassandra免费的DataStax社区版包含有一个DataStax 操作中心。该中心提供了集群监控与管理功能，它可以检测数据库模式，提示键空间是否能够被编辑，以及是否可以增加或删除列族。
尽管Cassandra被描述为拥有“终极”一致性，但是读取和写入一致性可以在级别和区间方面进行调整。也就是说，你不仅可以配置必须成功完成操作的冗余节点数量，还可以设置参与的冗余节点是否跨数据中心。
此外，Cassandra还在其计算机指令系统中增加了一些轻量级的交易。Cassandra的轻量级交易采用的是“比较与集合”机制，相当于HBase
的“检查与写入”功能。不过，对于HBase的“读取-修改-写入”操作功能，Cassandra则缺乏相对应的功能。最终，Cassandra的2.0
版本增加了单独的行级写入功能。如果一个客户端在一行中更新了多个列，那么其他的客户端将会看到所有未更新的部分，或所有更新的部分。
在Cassandra和HBase当中，主索引是行键，但是数据被存储在磁盘中，这导致列族成员相互间非常接近。因此仔细规划列族组织非常重要。为了保持
高查询性能，有着相同访问模式的列应该被放在在相同的列族当中。Cassandra允许用户创建关于列值的额外次索引。这一举措提升了对那些值具有高重复
性的列（例如存储客户电子邮件地址中国家地区的列）的数据访问。HBase虽然缺乏对次索引的内置支持，但是它们有一些能够提供次索引功能的机制。这些都
在HBase的在线参考指南和HBase社区博客中被提及。
如前所述，两个数据库都有发布数据操作命令的命令行外壳。由于HBase和Cassandra的壳都是以JRuby壳为基础，因此用户可以编写一些脚本，
让这些脚本能够调用JRuby壳的所有资源与数据库所提供的特定API进行交互。此外，Cassandra还定义了模仿自SQL的CQL。与HBase所
使用的查询语言相比，CQL的功能更加丰富，并且可以在Cassandra的壳内直接执行。
尽管Cassandra仍然支持Thrift
API，但实际上Cassandra一直在推动让CQL成为数据库的主要编辑接口。Cassandra的文档列入了一些针对Java、C#和Python
等使用CQL version
3的驱动。最终，Cassandra将可获得一个JDBC驱动。该驱动用CQL替代了SQL，将CQL作为数据定义与数据管理语言。
HBase也支持Thrift接口和RESTful Web服务接口，不过HBase原生的Java
API向编程人员提供了丰富的功能。虽然HBase的数据操作命令没有CQL丰富，但是HBase拥有一个“筛选”功能，该功能可以在会话的服务器端执
行，大幅提升了扫描（搜索）的吞吐量。
HBase还引入了“协处理器”（coprocessors）这一概念，允许在HBase进程中执行用户代码。这基本上与关系型数据库中的触发和预存进程相同。目前，Cassandra还没有类似HBase协处理器的功能。
Cassandra的文档较HBase的更加醒目，并且拥有更加扁平化的学习曲线。设置一个开发用的Cassandra集群比设置HBase集群要更加简单。当然，这仅对于开发与测试目的来说非常重要。
棘手之处
在必须为特定应用调整集群时，用户需要做一些工作。在指定数据集大小、创建与管理多节点集群（通常会跨多个数据中心）的复杂度后，调整工作将变得非常棘手。用户需要深刻理解集群的内存缓存、磁盘存储和节点间通信之间相互影响，仔细监控集群的活动。
HBase对Zookeeper的依赖会带来一些额外的故障点。虽然Cassandra避开了这一问题，但这并不意味着Cassandra集群的调整难度会大幅下降。我们对两个数据库的集群调整难点进行了对比（如附表所示）。
需要说明的是，这里并没有确定谁是胜出者，谁是失败者。每个数据库的支持者都会找到一些证据来证明他们的系统优于对方。通常用户需要对两个数据库进行测试，然后才能确定它们执行目标应用的情况。
⑻ python 怎么玩cassandra
安装：
[python]view plain
pipinstallpycassa
- 创建一个可操作CF的连接:
importpycassa
pool=pycassa.ConnectionPool(keyspace=ks_name,server_list=server_list,prefill=False)
cf=pycassa.ColumnFamily(pool,cf_name)
cf.insert('rowkey',{'column1':'val'})
cf.get('rowkey')
cf.multiget(['key1','key2'])#查询多个rowkey
cf.remove('key')
cf.remove('key',columns=['column1'])
rows={'key1':{'column1':'val'},'key2':{'column1':'val2'},'key3':{'column1':'val3'}}
cf.batch_insert(rows)
importcql
connection=cql.connect(host,port,keyspace)
cursor=connection.cursor()
cursor.execute("CQLQUERY",dict(kw='Foo',kw2='Bar',etc...))
forrowincursor:#()calls
doRowMagic(row)
cursor.close()
connection.close()
[python]view plain
几个核心的方法:
[python]view plain
cassandra 的cql 是用类似sql的语句来操作 cassandra python也提供了 cql的客户端~
[python]view plain
⑼ cassandra python 怎么删除数据
Cassandra通过写一条“tombstone”来标记一个数据被删除了。被标记的数据默认要10天(配置文件中的
gc_grace_seconds)后且被compaction或cleanup执行到对应的SSTable时才会被真正从磁盘删除，因为如果当时这个
delete操作只在3个节点中的2个执行成功，那么一旦2个有tombstone的节点把数据删了，集群上只剩下没tombstone的那个节点，下次
读这个key的时候就又返回对应的数据，从而导致被删除的数据复活。Repair操作可以同步所有节点的数据从而保证tombstone在3个节点中都存
在，因此如果想确保删除100%成功不会复活需要以小于gc_grace_seconds的周期定期执行repair操作(所以官方建
议”weekly”)。
然而在select数据的时候，在每个SSTable遇到的所有符合查询条件的tombstone要放内存中从而在合并每个SSTable文件的数
据时判断哪些column数据没被删能最终返回，tombstone太多会导致heap被大量占用需要各种GC从而影响性能，所以cassandra默认
读到100000个(可配置)tombstone就强制取消这次读取，因为遇到这种情况一定是你“doing it
wrong”。因此如果经常删除一个row key下的column key，同时又有一次select一个row key下多个column
key的需求，很容易遇到这种情况，tombstone很多的时候即使不到10w最终成功读取了，这次读取也会很慢，并很快导致触发年轻代GC从而拖慢整
个节点的响应速度。
最好的解决方案肯定是设计的时候就避免。但假如在不修改表结构的情况下，解决方案有两种：如果不能接受一个column
key被删又复活，先把gc_grace_seconds改成0，然后删除的时候用ALL模式，当然只要有1个节点超时/挂掉删除就会失败；如果能接受被
删的数据复活，删除只为了减少磁盘空间使用，那就直接把gc_grace_seconds设成0，复活就复活吧。