pythonclusterby

㈠ 大型网站技术架构 核心原理与案例分析 有用么

编辑推荐
编辑
本书作者是阿里巴巴网站构建的亲历者，拥有核心技术部门的一线工作经验，直接体验了大型网站构建与发展过程中的种种生与死，蜕与变，见证了一个网站架构从幼稚走向成熟稳定的历程。
没有晦涩难懂的术语，没有诘屈聱牙的文句，没有故弄玄虚的观点……
明明白白的语句，清清楚楚的文法，干净利落的建议——让读者直接体会网站架构的紧要处，不容马虎的关键点——这恰好是一个优秀的网站架构所必备的要素。
如果说“水不在深，有龙则灵”，那么对于想了解网站架构的读者而言，这本书恰好是“书不在多，有它则行！”
还犹豫什么呢？

内容简介
编辑
本书通过梳理大型网站技术发展历程，剖析大型网站技术架构模式，深入讲述大型互联网架构设计的核心原理，并通过一组典型网站技术架构设计案例，为读者呈现一幅包括技术选型、架构设计、性能优化、Web 安全、系统发布、运维监控等在内的大型网站开发全景视图。
本书不仅适用于指导网站工程师、架构师进行网站技术架构设计，也可用于指导产品经理、项目经理、测试运维人员等了解网站技术架构的基础概念；还可供包括企业系统开发人员在内的各类软件开发从业人员借鉴，了解大型网站的解决方案和开发理念。

㈡ python 文本文件 格式转换 行列 位置 调换

Step by step:

#!/usr/bin/envpython
#coding:utf-8

defgetLines(filename):
"""step1:readfromfileinto{"capture":..,"blocks":[..]}"""
withopen(filename)ashandle:
capture=handle.readline().strip()
handle.readline()#skip2line
handle.readline()
blocks=[[]]
forlninhandle:
ifnotln.strip():#emptylinebreakablock
blocks.append([])
else:
blocks[-1].append(ln.strip('
'))
returndict(
capture=capture,
blocks=blocks
)


defblockparser(block):
"""step2:parserablock:"""
rule=block[-1]
idx=rule.index('*')
rows=[(ln[:idx],ln[idx:])forlninblock[:-1]]
returnrows


forblockingetLines("file_in.txt")["blocks"]:
rows=blockparser(block)
printrows

㈢ 如何从Mysql迁移到MariaDB

本来 MariaDB 的描绘初衷之一即是彻底兼容 MySQL，包含 API 和客户端协议，使之能轻松变成 MySQL 的代替品，所以由 MySQL 搬迁到MariaDB 基本上能够称之为“晋级”，就如同软件晋级版别一样。MariaDB 的技能文档上是这样写的：
若是是一样的根底版别（如5.5），能够直接卸载 MySQL 然后装置MariaDB，这样就能够用了。乃至不需求备份然后复原数据库。当然，稳妥起见，晋级前将一切的数据库都备份一下仍是十分有必要的，以防万一。
若是MariaDB 的主版别高，在通过上面的卸载 MySQL 再装置 MariaDB 操作之后，需求运用 mysql_upgrade晋级一下。是的，乃至连命令行都与运用 MySQL 的时分一样。
一切原先的客户端和连接器（php、Perl、Python、java等）都不需求做任何改动就能正常作业，由于 MariaDB 与 MySQL 运用的是一样的客户端协议，而且客户端库文件也是二进制兼容的。上面用 *来匹配删去一切 mysql 数据包（包含因包依靠而删去的别的包，如 postfix）。由于直接装置的时分会呈现抵触，例如：
file
/usr/share/mysql/ukrainian/errmsg.sys from install of
MariaDB-server-5.5.31-1.i686 conflicts with file from package
mysql-libs-5.5.32-1.el6.remi.i686
嗯，如同由于将 php-mysql 也给删去了（实际上这个不应删去的），所以phpMyAdmin 也由于依靠联系而被删去了，我没仔细看。所以最佳不要用通配符 *，而是选择性删去几个首要的，
# yum remove
mysql mysql-server mysql-libs
可是这个我没有再测验，由于后边有非常好的办法。
C. 然后装置 MARIADB 及相应
PHP 拓展。
也是指定几个首要的装置包，剩余的让 yum 自个进行依靠联系查看。
# yum install
MariaDB-server MariaDB-client php-mysql
或许不装置 MariaDB-server
而改为具有同步多主群集特性（synchronous multi-master cluster）的 MariaDB Galera Cluster：

# yum install MariaDB-Galera-server MariaDB-client galera
这里对比搞笑的是，没注意前面把
php-mysql 给卸载了，成果运转数据库之后拜访 WordPress，成果遭受下面的过错：
Your PHP installation appears
to be missing the MySQL extension which is required by WordPress.
D.
完结，修补
不论版别是不是晋级了，履行一下数据库晋级指令总没有害处：
# mysql_upgrade -p

看看数据库版别是不是晋级了：
# mysql -u root -p -e 'show global variables like
"version";'
Enter password:
+---------------+----------------+

| Variable_name | Value |
+---------------+----------------+

| version | 5.5.31-MariaDB |
+---------------+----------------+

将 MariaDB 参加随体系自发动列表，
# chkconfig --levels 345 mysql on
嗯，曾经
MySQL 的时分是 mysqld，现在是 mysql，就差了一个字母 d。
发动它，
# service mysql start

这个时分服务器上的网站大概现已能够正常作业了，拜访数据库没有疑问。
若是有必要，装置完 MariaDB 之后能够重新装置 postfix。若是发现
phpMyAdmin 提示无拜访权限了，那即是被卸载了，需求重新装置和装备 phpMyAdmin。
别的，由于之前进行了卸载操作，所以本来的 MySQL
和 phpMyAdmin 的装备文件都被清除了，也需求重新装备。特别是 MySQL 的装备文件 /etc/my.cnf，由于 MariaDB
尽管创建了一个my.cnf.d 文件夹来存储自个的装备文件，可是它会首要加载 my.cnf，且本来 MySQL 的装备的 [mysqld]
那一节的内容仍是有用的。
3. 较好的晋级办法
仍是在上面介绍的体系装备下，先增加 MariaDB 装置源，然后直接履行体系晋级，
# yum
update --skip-broken
MariaDB 有关装置包会被装置，不需求的 MySQL
包将被卸载，而且晋级之后不需求对体系进行修补了。看看输出的前面一部分：

==============================================================================================================

Package Arch Version Repository Size

==============================================================================================================

Installing:
MariaDB-Galera-server i686 5.5.29-1 mariadb 19 M

replacing mysql.i686 5.5.21-1.el6.remi
replacing
mysql-server.i686 5.5.21-1.el6.remi
MariaDB-server i686 5.5.31-1 mariadb
32 M
replacing mysql-server.i686 5.5.21-1.el6.remi

MariaDB-shared i686 5.5.31-1 mariadb 1.0 M
replacing
mysql-libs.i686 5.5.21-1.el6.remi
kernel i686 2.6.32-358.11.1.el6
updates 24 M
libjpeg-turbo i686 1.2.1-1.el6 base 176 k
replacing
libjpeg.i686 6b-46.el6
Updating:

㈣ 如何将MySQL的数据迁移到MariaDB里面去

本来 MariaDB 的描绘初衷之一即是彻底兼容 MySQL，包含 API 和客户端协议，使之能轻松变成 MySQL 的代替品，所以由 MySQL 搬迁到
MariaDB 基本上能够称之为“晋级”，就如同软件晋级版别一样。MariaDB 的技能文档上是这样写的：
若是是一样的根底版别（如
5.5），能够直接卸载 MySQL 然后装置
MariaDB，这样就能够用了。乃至不需求备份然后复原数据库。当然，稳妥起见，晋级前将一切的数据库都备份一下仍是十分有必要的，以防万一。
若是
MariaDB 的主版别高，在通过上面的卸载 MySQL 再装置 MariaDB 操作之后，需求运用 mysql_upgrade
晋级一下。是的，乃至连命令行都与运用 MySQL 的时分一样。
一切原先的客户端和连接器（PHP、Perl、Python、Java
等）都不需求做任何改动就能正常作业，由于 MariaDB 与 MySQL 运用的是一样的客户端协议，而且客户端库文件也是二进制兼容的。
上面用 *
来匹配删去一切 mysql 数据包（包含因包依靠而删去的别的包，如 postfix）。由于直接装置的时分会呈现抵触，例如：
file
/usr/share/mysql/ukrainian/errmsg.sys from install of
MariaDB-server-5.5.31-1.i686 conflicts with file from package
mysql-libs-5.5.32-1.el6.remi.i686
嗯，如同由于将 php-mysql 也给删去了（实际上这个不应删去的），所以
phpMyAdmin 也由于依靠联系而被删去了，我没仔细看。
所以最佳不要用通配符 *，而是选择性删去几个首要的，
# yum remove
mysql mysql-server mysql-libs
可是这个我没有再测验，由于后边有非常好的办法。
C. 然后装置 MARIADB 及相应
PHP 拓展。
也是指定几个首要的装置包，剩余的让 yum 自个进行依靠联系查看。
# yum install
MariaDB-server MariaDB-client php-mysql
或许不装置 MariaDB-server
而改为具有同步多主群集特性（synchronous multi-master cluster）的 MariaDB Galera Cluster：

# yum install MariaDB-Galera-server MariaDB-client galera
这里对比搞笑的是，没注意前面把
php-mysql 给卸载了，成果运转数据库之后拜访 WordPress，成果遭受下面的过错：
Your PHP installation appears
to be missing the MySQL extension which is required by WordPress.
D.
完结，修补
不论版别是不是晋级了，履行一下数据库晋级指令总没有害处：
# mysql_upgrade -p

看看数据库版别是不是晋级了：
# mysql -u root -p -e 'show global variables like
"version";'
Enter password:
+---------------+----------------+

| Variable_name | Value |
+---------------+----------------+

| version | 5.5.31-MariaDB |
+---------------+----------------+

将 MariaDB 参加随体系自发动列表，
# chkconfig --levels 345 mysql on
嗯，曾经
MySQL 的时分是 mysqld，现在是 mysql，就差了一个字母 d。
发动它，
# service mysql start

这个时分服务器上的网站大概现已能够正常作业了，拜访数据库没有疑问。
若是有必要，装置完 MariaDB 之后能够重新装置 postfix。若是发现
phpMyAdmin 提示无拜访权限了，那即是被卸载了，需求重新装置和装备 phpMyAdmin。
别的，由于之前进行了卸载操作，所以本来的 MySQL
和 phpMyAdmin 的装备文件都被清除了，也需求重新装备。特别是 MySQL 的装备文件 /etc/my.cnf，由于 MariaDB
尽管创建了一个my.cnf.d 文件夹来存储自个的装备文件，可是它会首要加载 my.cnf，且本来 MySQL 的装备的 [mysqld]
那一节的内容仍是有用的。
3. 较好的晋级办法
仍是在上面介绍的体系装备下，先增加 MariaDB 装置源，然后直接履行体系晋级，
# yum
update --skip-broken
MariaDB 有关装置包会被装置，不需求的 MySQL
包将被卸载，而且晋级之后不需求对体系进行修补了。看看输出的前面一部分：

==============================================================================================================

Package Arch Version Repository Size

==============================================================================================================

Installing:
MariaDB-Galera-server i686 5.5.29-1 mariadb 19 M

replacing mysql.i686 5.5.21-1.el6.remi
replacing
mysql-server.i686 5.5.21-1.el6.remi
MariaDB-server i686 5.5.31-1 mariadb
32 M
replacing mysql-server.i686 5.5.21-1.el6.remi

MariaDB-shared i686 5.5.31-1 mariadb 1.0 M
replacing
mysql-libs.i686 5.5.21-1.el6.remi
kernel i686 2.6.32-358.11.1.el6
updates 24 M
libjpeg-turbo i686 1.2.1-1.el6 base 176 k
replacing
libjpeg.i686 6b-46.el6
Updating:
.........
到这里才感觉到 MariaDB
的描绘思维那个无缝代替 MySQL 不是噱头，而是实实在在的技能。所以我也就不急着给 VPS 晋级到 MariaDB 了，横竖过不了多久 CentOS
就会选用 MariaDB，到时分再自然而然地搬迁吧。转载

㈤ nlp和python有什么关系

nlp的很多工具都有python版本
nlp是研究领域，python是语言工具。

㈥ 用python K值聚类识别图片主要颜色的程序，算法python代码已经有了

难得被人求助一次, 这个必须回答一下. 不过你的需求确实没有写得太清楚. 根据k值算法出来的是主要颜色有三个, 所以我把三个颜色都打在记事本里了. 如果和你的需求有误, 请自行解决吧.

另外这里需要用到numpy的库, 希望你装了, 如果没装, 这个直接安装也比较麻烦, 可以看一下portablepython的绿色版。

代码如下：

#-*-coding:utf-8-*-
importImage
importrandom
importnumpy
classCluster(object):
def__init__(self):
self.pixels=[]
self.centroid=None
defaddPoint(self,pixel):
self.pixels.append(pixel)
defsetNewCentroid(self):
R=[colour[0]forcolourinself.pixels]
G=[colour[1]forcolourinself.pixels]
B=[colour[2]forcolourinself.pixels]
R=sum(R)/len(R)
G=sum(G)/len(G)
B=sum(B)/len(B)
self.centroid=(R,G,B)
self.pixels=[]
returnself.centroid
classKmeans(object):
def__init__(self,k=3,max_iterations=5,min_distance=5.0,size=200):
self.k=k
self.max_iterations=max_iterations
self.min_distance=min_distance
self.size=(size,size)
defrun(self,image):
self.image=image
self.image.thumbnail(self.size)
self.pixels=numpy.array(image.getdata(),dtype=numpy.uint8)
self.clusters=[Noneforiinrange(self.k)]
self.oldClusters=None
randomPixels=random.sample(self.pixels,self.k)
foridxinrange(self.k):
self.clusters[idx]=Cluster()
self.clusters[idx].centroid=randomPixels[idx]
iterations=0
whileself.shouldExit(iterations)isFalse:
self.oldClusters=[cluster.centroidforclusterinself.clusters]
printiterations
forpixelinself.pixels:
self.assignClusters(pixel)
forclusterinself.clusters:
cluster.setNewCentroid()
iterations+=1
return[cluster.centroidforclusterinself.clusters]
defassignClusters(self,pixel):
shortest=float('Inf')
forclusterinself.clusters:
distance=self.calcDistance(cluster.centroid,pixel)
ifdistance<shortest:
shortest=distance
nearest=cluster
nearest.addPoint(pixel)
defcalcDistance(self,a,b):
result=numpy.sqrt(sum((a-b)**2))
returnresult
defshouldExit(self,iterations):
ifself.oldClustersisNone:
returnFalse
foridxinrange(self.k):
dist=self.calcDistance(
numpy.array(self.clusters[idx].centroid),
numpy.array(self.oldClusters[idx])
)
ifdist<self.min_distance:
returnTrue
ifiterations<=self.max_iterations:
returnFalse
returnTrue
#############################################
#
defshowImage(self):
self.image.show()
defshowCentroidColours(self):
forclusterinself.clusters:
image=Image.new("RGB",(200,200),cluster.centroid)
image.show()
defshowClustering(self):
localPixels=[None]*len(self.image.getdata())
foridx,pixelinenumerate(self.pixels):
shortest=float('Inf')
forclusterinself.clusters:
distance=self.calcDistance(
cluster.centroid,
pixel
)
ifdistance<shortest:
shortest=distance
nearest=cluster
localPixels[idx]=nearest.centroid
w,h=self.image.size
localPixels=numpy.asarray(localPixels)
.astype('uint8')
.reshape((h,w,3))
colourMap=Image.fromarray(localPixels)
colourMap.show()

if__name__=="__main__":
fromPILimportImage
importos

k_image=Kmeans()
path=r'.\pics\'
fp=open('file_color.txt','w')
forfilenameinos.listdir(path):
printpath+filename
try:
color=k_image.run(Image.open(path+filename))
fp.write('Thecolorof'+filename+'is'+str(color)+'
')
except:
print"Thisfileformatisnotsupport"
fp.close()

㈦ Hive是什么

此外，hive也支持熟悉map-rece的开发者使用map-rece程序对数据做更加复杂的分析。 hive可以很好的结合thrift和控制分隔符，也支持用户自定义分隔符。 hive基于hadoop，hadoop是批处理系统，不能保存低延迟，因此，hive的查询也不能保证低延迟。 hive的工作模式是：提交一个任务，等到任务结束时被通知，而不是实时查询。相对应的是，类似于Oracle这样的系统当运行于小数据集的时候，响应非常快，可当处理的数据集非常大的时候，可能需要数小时。需要说明的是，hive即使在很小的数据集上运行，也可能需要数分钟才能完成。 低延迟不是hive追求的首要目标。

㈧ 急需 JK罗琳的简介

JK罗琳的简介是：

J.K.罗琳，1965年7月31日出生于英国格温特郡，毕业于英国埃克塞特大学。

1989年，24岁的罗琳有了创作哈利·波特的念头。

1997年6月，推出哈利·波特系列第一本《哈利·波特与魔法石》。

随后，罗琳又分别于1998年与1999年创作了《哈利·波特与密室》和《哈利·波特与阿兹卡班的囚徒》。

2001年，美国华纳兄弟电影公司决定将小说的第一部《哈利·波特与魔法石》搬上银幕。

2003年6月，她再创作出第五部作品《哈利·波特与凤凰社》。

2004年，罗琳荣登《福布斯》富人排行榜，她的身价达到10亿美元。

2005年7月推出了第六部《哈利·波特与混血王子》，2007年7月推出终结篇《哈利·波特与死亡圣器》。

2010年，哈利·波特电影系列的完结篇《哈利·波特与死亡圣器》拍摄完成。

2014年12月，罗琳更新了《哈利·波特》系列相关的小故事。

2017年6月12日，美国《福布斯》公布了2017年度全球百位名人榜，J.K.罗琳排名第三。

2017年12月12日，J·K·罗琳被英国皇室授予“荣誉勋爵”。

2020年3月16日，J.K.罗琳以75亿元财富位列《2020胡润全球白手起家女富豪榜》第87位。

2020年4月6日，J·K·罗琳表示自己曾出现新型冠状病毒肺炎症状，已经完全康复。

J.K.罗琳的人物评价：

罗琳小时候是个戴眼镜的相貌平平的女孩，热爱学习，有点害羞，从小喜欢写作和讲故事。作为一个单身母亲，刚开始哈利丛书的创作时。罗琳母女的生活极其艰辛。她的第一本书《哈利·波特与魔法石》前后共写了5年，罗琳因为自家的屋子又小又冷，时常到住家附近的一家咖啡馆里。

故事完成后，罗琳多次寄出书稿均遭到拒绝。不过，她的努力终于得到了回报。在一所小印刷商Bloomsbury接下印刷权后，一出版便备受瞩目，好评如潮，其中包括英国国家图书奖儿童小说奖，以及斯马蒂图书金奖章奖，她的生活发生天翻地覆地变化。

她被称为“哈利·波特之母”，以天才的想象力孕育了风靡全球的小魔法师哈利·波特，她也从一个贫困潦倒、默默无闻的“灰姑娘”，一跃成为尽享尊荣、财产超过英国女王的作家首富。

㈨ udaf可以用python写吗

Java来实现Hive的写法

package jsl.hive.udf;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;

public final class DomainRoot extends UDF {
public Text evaluate(Text s) {
if (s == null) {return null;}
String tmp = s.toString();
tmp = this.getDomainRoot(tmp);
return new Text(tmp);
}

private String getDomainRoot(String domain) {
throw NoneImplementException("xxxx");
}
}

如果Java的UDF需要当成常用的，不用每次add可以注册到Hive中，
ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java中加入
registerUDF("domain_root", UDFParseUrl.class, false);并重新编译hive即可

下面来说说重点，通过Streaming用Python来写处理。
关于Streaming的基础内容：

约束：首先必须add file到hive中（当python中引用了其他如自己写的模块时，也需要一并add进去）
其次非常不幸,在单独的一个查询中，不能够使用UDAF的函数如sum()
再次不得为中间结果数据使用cluster by或distribute by

注意：对于优化查询，使用cluster by或distribute by 和sort by一起非常重要

㈩ 如何用Python和机器学习炒股赚钱

相信很多人都想过让人工智能来帮你赚钱，但到底该如何做呢？瑞士日内瓦的一位金融数据顾问 Gaëtan Rickter 近日发表文章介绍了他利用 Python 和机器学习来帮助炒股的经验，其最终成果的收益率跑赢了长期处于牛市的标准普尔 500 指数。虽然这篇文章并没有将他的方法完全彻底公开，但已公开的内容或许能给我们带来如何用人工智能炒股的启迪。

我终于跑赢了标准普尔 500 指数 10 个百分点！听起来可能不是很多，但是当我们处理的是大量流动性很高的资本时，对冲基金的利润就相当可观。更激进的做法还能得到更高的回报。

这一切都始于我阅读了 Gur Huberman 的一篇题为《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的论文。该研究描述了一件发生在 1998 年的涉及到一家上市公司 EntreMed（当时股票代码是 ENMD）的事件：

“星期天《纽约时报》上发表的一篇关于癌症治疗新药开发潜力的文章导致 EntreMed 的股价从周五收盘时的 12.063 飙升至 85，在周一收盘时接近 52。在接下来的三周，它的收盘价都在 30 以上。这股投资热情也让其它生物科技股得到了溢价。但是，这个癌症研究方面的可能突破在至少五个月前就已经被 Nature 期刊和各种流行的报纸报道过了，其中甚至包括《泰晤士报》！因此，仅仅是热情的公众关注就能引发股价的持续上涨，即便实际上并没有出现真正的新信息。”

在研究者给出的许多有见地的观察中，其中有一个总结很突出：

“（股价）运动可能会集中于有一些共同之处的股票上，但这些共同之处不一定要是经济基础。”

我就想，能不能基于通常所用的指标之外的其它指标来划分股票。我开始在数据库里面挖掘，几周之后我发现了一个，其包含了一个分数，描述了股票和元素周期表中的元素之间的“已知和隐藏关系”的强度。

我有计算基因组学的背景，这让我想起了基因和它们的细胞信号网络之间的关系是如何地不为人所知。但是，当我们分析数据时，我们又会开始看到我们之前可能无法预测的新关系和相关性。

如果你使用机器学习，就可能在具有已知和隐藏关系的上市公司的寄生、共生和共情关系之上抢占先机，这是很有趣而且可以盈利的。最后，一个人的盈利能力似乎完全关乎他在生成这些类别的数据时想出特征标签（即概念（concept））的强大组合的能力。

我在这类模型上的下一次迭代应该会包含一个用于自动生成特征组合或独特列表的单独算法。也许会基于近乎实时的事件，这可能会影响那些具有只有配备了无监督学习算法的人类才能预测的隐藏关系的股票组。