python2713

① windows下怎麼安裝jupyter

安裝流程大致分為三步
1. 安裝[python2.7.13](https://www.python.org/downloads/release/python-2713/)

下載python2.7.13安裝包。一路next。安裝完成後在cmd 下輸入python 測試python安裝成功。
2. 安裝[setuptools](https://pypi.python.org/pypi/setuptools)和pip工具

下載setuptools，解壓到C:\，cmd進入該文件夾，運行
python ez_setup.py
或者直接下載ez_setup.py源碼，並運行
此時完成easy_install工具安裝。下面使用該工具安裝pip工具。
在cmd 中運行
easy_install pip
pip 是一個Python包管理工具，主要是用於安裝 PyPI 上的軟體包，可以替代 easy_install 工具。安裝好pip後，第一件事是修改pip包源。由於默認的pip源速度慢，下載時經常會報奇怪錯誤，所以修改pip為國內源。作者使用的是豆瓣的源。
3. 安裝ipython和相關庫

在cmd 中運行
pip install ipython
並安裝pyreadline， pyreadline可以讓ipython 開啟高亮和自動補全功能。
安裝完成後在cmd 中輸入 ipython測試
pip install pyreadline
4. 安裝jupyter notebook和相關工具

安裝jupyter notebook，在cmd中運行
pip install jupyter
安裝完成後在cmd中輸入
jupyter notebook
測試jupyter notebook安裝成功。
後續：
這是安裝的做初始的版本，使用過程中發現無法把頁面保存為pdf格式。此問題正在解決。

② 10000以內的質數

[ P1- P10] 2 3 5 7 11 13 17 19 23 29
[ P11- P20] 31 37 41 43 47 53 59 61 67 71
[ P21- P30] 73 79 83 89 97 101 103 107 109 113
[ P31- P40] 127 131 137 139 149 151 157 163 167 173
[ P41- P50] 179 181 191 193 197 199 211 223 227 229
[ P51- P60] 233 239 241 251 257 263 269 271 277 281
[ P61- P70] 283 293 307 311 313 317 331 337 347 349
[ P71- P80] 353 359 367 373 379 383 389 397 401 409
[ P81- P90] 419 421 431 433 439 443 449 457 461 463
[ P91- P100] 467 479 487 491 499 503 509 521 523 541
[ P101- P110] 547 557 563 569 571 577 587 593 599 601
[ P111- P120] 607 613 617 619 631 641 643 647 653 659
[ P121- P130] 661 673 677 683 691 701 709 719 727 733
[ P131- P140] 739 743 751 757 761 769 773 787 797 809
[ P141- P150] 811 821 823 827 829 839 853 857 859 863
[ P151- P160] 877 881 883 887 907 911 919 929 937 941
[ P161- P170] 947 953 967 971 977 983 991 997 1009 1013
[ P171- P180] 1019 1021 1031 1033 1039 1049 1051 1061 1063 1069
[ P181- P190] 1087 1091 1093 1097 1103 1109 1117 1123 1129 1151
[ P191- P200] 1153 1163 1171 1181 1187 1193 1201 1213 1217 1223
[ P201- P210] 1229 1231 1237 1249 1259 1277 1279 1283 1289 1291
[ P211- P220] 1297 1301 1303 1307 1319 1321 1327 1361 1367 1373
[ P221- P230] 1381 1399 1409 1423 1427 1429 1433 1439 1447 1451
[ P231- P240] 1453 1459 1471 1481 1483 1487 1489 1493 1499 1511
[ P241- P250] 1523 1531 1543 1549 1553 1559 1567 1571 1579 1583
[ P251- P260] 1597 1601 1607 1609 1613 1619 1621 1627 1637 1657
[ P261- P270] 1663 1667 1669 1693 1697 1699 1709 1721 1723 1733
[ P271- P280] 1741 1747 1753 1759 1777 1783 1787 1789 1801 1811
[ P281- P290] 1823 1831 1847 1861 1867 1871 1873 1877 1879 1889
[ P291- P300] 1901 1907 1913 1931 1933 1949 1951 1973 1979 1987
[ P301- P310] 1993 1997 1999 2003 2011 2017 2027 2029 2039 2053
[ P311- P320] 2063 2069 2081 2083 2087 2089 2099 2111 2129
[ P321- P330] 2131 2137 2141 2143 2153 2161 2179 2203 2207 2213
[ P331- P340] 2221 2237 2239 2243 2251 2267 2269 2273 2281 2287
[ P341- P350] 2293 2297 2309 2311 2333 2339 2341 2347 2351 2357
[ P351- P360] 2371 2377 2381 2383 2389 2393 2399 2411 2417 2423
[ P361- P370] 2437 2441 2447 2459 2467 2473 2477 2503 2521 2531
[ P371- P380] 2539 2543 2549 2551 2557 2579 2591 2593 2609 2617
[ P381- P390] 2621 2633 2647 2657 2659 2663 2671 2677 2683 2687
[ P391- P400] 2689 2693 2699 2707 2711 2713 2719 2729 2731 2741
[ P401- P410] 2749 2753 2767 2777 2789 2791 2797 2801 2803 2819
[ P411- P420] 2833 2837 2843 2851 2857 2861 2879 2887 2897 2903
[ P421- P430] 2909 2917 2927 2939 2953 2957 2963 2969 2971 2999
[ P431- P440] 3001 3011 3019 3023 3037 3041 3049 3061 3067 3079
[ P441- P450] 3083 3089 3109 3119 3121 3137 3163 3167 3169 3181
[ P451- P460] 3187 3191 3203 3209 3217 3221 3229 3251 3253 3257
[ P461- P470] 3259 3271 3299 3301 3307 3313 3319 3323 3329 3331
[ P471- P480] 3343 3347 3359 3361 3371 3373 3389 3391 3407 3413
[ P481- P490] 3433 3449 3457 3461 3463 3467 3469 3491 3499 3511
[ P491- P500] 3517 3527 3529 3533 3539 3541 3547 3557 3559 3571
[ P501- P510] 3581 3583 3593 3607 3613 3617 3623 3631 3637 3643
[ P511- P520] 3659 3671 3673 3677 3691 3697 3701 3709 3719 3727
[ P521- P530] 3733 3739 3761 3767 3769 3779 3793 3797 3803 3821
[ P531- P540] 3823 3833 3847 3851 3853 3863 3877 3881 3889 3907
[ P541- P550] 3911 3917 3919 3923 3929 3931 3943 3947 3967 3989
[ P551- P560] 4001 4003 4007 4013 4019 4021 4027 4049 4051 4057
[ P561- P570] 4073 4079 4091 4093 4099 4111 4127 4129 4133 4139
[ P571- P580] 4153 4157 4159 4177 4201 4211 4217 4219 4229 4231
[ P581- P590] 4241 4243 4253 4259 4261 4271 4273 4283 4289 4297
[ P591- P600] 4327 4337 4339 4349 4357 4363 4373 4391 4397 4409
[ P601- P610] 4421 4423 4441 4447 4451 4457 4463 4481 4483 4493
[ P611- P620] 4507 4513 4517 4519 4523 4547 4549 4561 4567 4583
[ P621- P630] 4591 4597 4603 4621 4637 4639 4643 4649 4651 4657
[ P631- P640] 4663 4673 4679 4691 4703 4721 4723 4729 4733 4751
[ P641- P650] 4759 4783 4787 4789 4793 4799 4801 4813 4817 4831
[ P651- P660] 4861 4871 4877 4889 4903 4909 4919 4931 4933 4937
[ P661- P670] 4943 4951 4957 4967 4969 4973 4987 4993 4999 5003
[ P671- P680] 5009 5011 5021 5023 5039 5051 5059 5077 5081 5087
[ P681- P690] 5099 5101 5107 5113 5119 5147 5153 5167 5171 5179
[ P691- P700] 5189 5197 5209 5227 5231 5233 5237 5273 5279
[ P701- P710] 5281 5297 5303 5309 5323 5333 5347 5351 5381 5387
[ P711- P720] 5393 5399 5407 5413 5417 5419 5431 5437 5441 5443
[ P721- P730] 5449 5471 5477 5479 5483 5501 5503 5507 5519 5521
[ P731- P740] 5527 5531 5557 5563 5569 5573 5581 5591 5623 5639
[ P741- P750] 5641 5647 5651 5653 5657 5659 5669 5683 5689 5693
[ P751- P760] 5701 5711 5717 5737 5741 5743 5749 5779 5783 5791
[ P761- P770] 5801 5807 5813 5821 5827 5839 5843 5849 5851 5857
[ P771- P780] 5861 5867 5869 5879 5881 5897 5903 5923 5927 5939
[ P781- P790] 5953 5981 5987 6007 6011 6029 6037 6043 6047 6053
[ P791- P800] 6067 6073 6079 6089 6091 6101 6113 6121 6131 6133
[ P801- P810] 6143 6151 6163 6173 6197 6199 6203 6211 6217 6221
[ P811- P820] 6229 6247 6257 6263 6269 6271 6277 6287 6299 6301
[ P821- P830] 6311 6317 6323 6329 6337 6343 6353 6359 6361 6367
[ P831- P840] 6373 6379 6389 6397 6421 6427 6449 6451 6469 6473
[ P841- P850] 6481 6491 6521 6529 6547 6551 6553 6563 6569 6571
[ P851- P860] 6577 6581 6599 6607 6619 6637 6653 6659 6661 6673
[ P861- P870] 6679 6689 6691 6701 6703 6709 6719 6733 6737 6761
[ P871- P880] 6763 6779 6781 6791 6793 6803 6823 6827 6829 6833
[ P881- P890] 6841 6857 6863 6869 6871 6883 6899 6907 6911 6917
[ P891- P900] 6947 6949 6959 6961 6967 6971 6977 6983 6991 6997
[ P901- P910] 7001 7013 7019 7027 7039 7043 7057 7069 7079 7103
[ P911- P920] 7109 7121 7127 7129 7151 7159 7177 7187 7193 7207
[ P921- P930] 7211 7213 7219 7229 7237 7243 7247 7253 7283 7297
[ P931- P940] 7307 7309 7321 7331 7333 7349 7351 7369 7393 7411
[ P941- P950] 7417 7433 7451 7457 7459 7477 7481 7487 7489 7499
[ P951- P960] 7507 7517 7523 7529 7537 7541 7547 7549 7559 7561
[ P961- P970] 7573 7577 7583 7589 7591 7603 7607 7621 7639 7643
[ P971- P980] 7649 7669 7673 7681 7687 7691 7699 7703 7717 7723
[ P981- P990] 7727 7741 7753 7757 7759 7789 7793 7817 7823 7829
[ P991-P1000] 7841 7853 7867 7873 7877 7879 7883 7901 7907 7919
[P1001-P1010] 7927 7933 7937 7949 7951 7963 7993 8009 8011 8017
[P1011-P1020] 8039 8053 8059 8069 8081 8087 8089 8093 8101 8111
[P1021-P1030] 8117 8123 8147 8161 8167 8171 8179 8191 8209 8219
[P1031-P1040] 8221 8231 8233 8237 8243 8263 8269 8273 8287 8291
[P1041-P1050] 8293 8297 8311 8317 8329 8353 8363 8369 8377 8387
[P1051-P1060] 8389 8419 8423 8429 8431 8443 8447 8461 8467 8501
[P1061-P1070] 8513 8521 8527 8537 8539 8543 8563 8573 8581 8597
[P1071-P1080] 8599 8609 8623 8627 8629 8641 8647 8663 8669 8677
[P1081-P1090] 8681 8689 8693 8699 8707 8713 8719 8731 8737 8741
[P1091-P1100] 8747 8753 8761 8779 8783 8803 8807 8819 8821 8831
[P1101-P1110] 8837 8839 8849 8861 8863 8867 8887 8893 8923 8929
[P1111-P1120] 8933 8941 8951 8963 8969 8971 8999 9001 9007 9011
[P1121-P1130] 9013 9029 9041 9043 9049 9059 9067 9091 9103 9109
[P1131-P1140] 9127 9133 9137 9151 9157 9161 9173 9181 9187 9199
[P1141-P1150] 9203 9209 9221 9227 9239 9241 9257 9277 9281 9283
[P1151-P1160] 9293 9311 9319 9323 9337 9341 9343 9349 9371 9377
[P1161-P1170] 9391 9397 9403 9413 9419 9421 9431 9433 9437 9439
[P1171-P1180] 9461 9463 9467 9473 9479 9491 9497 9511 9521 9533
[P1181-P1190] 9539 9547 9551 9587 9601 9613 9619 9623 9629 9631
[P1191-P1200] 9643 9649 9661 9677 9679 9689 9697 9719 9721 9733
[P1201-P1210] 9739 9743 9749 9767 9769 9781 9787 9791 9803 9811
[P1211-P1220] 9817 9829 9833 9839 9851 9857 9859 9871 9883 9887
[P1221-P1230] 9901 9907 9923 9929 9931 9941 9949 9967 9973
簡單的Python代碼(很簡單，就6行）：
for x in range(2,10000): # x循環檢查2-10000
for i in range(2,int(x**0.5)+1):
if x%i==0: # x有因數i，則x不是質數，檢查下一個
break
else:
print x # x沒有質因素，則x是質數，列印出來

③ jupyter怎樣在mac上安裝

安裝流程大致分為三步
1. 安裝[python2.7.13]（https://www.python.org/downloads/release/python-2713/）
下載python2.7.13安裝包。一路next。安裝完成後在cmd 下輸入python 測試python安裝成功。
2. 安裝[setuptools]（https://pypi.python.org/pypi/setuptools）和pip工具
下載setuptools，解壓到C:\，cmd進入該文件夾，運行
python ez_setup.py
或者直接下載ez_setup.py源碼，並運行
此時完成easy_install工具安裝。下面使用該工具安裝pip工具。
在cmd 中運行
easy_install pip
pip 是一個Python包管理工具，主要是用於安裝 PyPI 上的軟體包，可以替代 easy_install 工具。安裝好pip後，第一件事是修改pip包源。由於默認的pip源速度慢，下載時經常會報奇怪錯誤，所以修改pip為國內源。作者使用的是豆瓣的源。
3. 安裝ipython和相關庫
在cmd 中運行
pip install ipython
並安裝pyreadline， pyreadline可以讓ipython 開啟高亮和自動補全功能。
安裝完成後在cmd 中輸入 ipython測試
pip install pyreadline
4. 安裝jupyter notebook和相關工具
安裝jupyter notebook，在cmd中運行
pip install jupyter
安裝完成後在cmd中輸入
jupyter notebook
測試jupyter notebook安裝成功。
後續：
這是安裝的做初始的版本，使用過程中發現無法把頁面保存為pdf格式。此問題正在解決。

④ solr和elasticsearch對比，有啥差別嗎

從兩個方面對ElasticSearch和Solr進行對比，從關系型資料庫中的導入速度和模糊查詢的速度。

單機對比

1. Solr 發布了4.0-alpha，試了一下，發現需要自己修改schema，好處是它自帶一個data importer。在自己的計算機上測試了一下，導入的性能大概是：14分鍾導入 3092730 條記錄，約合 3682條/秒。

2. 3百萬條記錄的情況下，模糊查詢和排序基本都在1秒內返回

3. 剛才的測試，是每個field單獨存儲，現在修改了一下配置文件，增加了一個Field，所有的field都拷貝一份到text這個field裡面去，導入的性能大概是：19分鍾導入了3092730 條記錄，約合 2713條/秒

4. 3百萬條記錄的情況下，針對text的模糊查詢基本在1秒內返回，但是針對所有記錄的排序，大概要2~3秒

5. 使用 elasticsearch 0.19.8，預設配置，用單任務導入，導入性能是：20分鍾導入了3092730 條記錄，約合2577條/秒

6. 3百萬條記錄的情況下，查詢基本上在1秒內返回，但是模糊查詢比較慢，第一次要10秒，後來大概要1~3秒。加上排序大概需要5秒，整體排序基本100ms

查詢及排序的指令：

{

"query": {

"query_string": {

"query": "*999*"

}

},

"sort": [

{

"TIME_UP": {

"order": "asc"

}

}

]

}

7. Es0.19.8，用兩個任務導入，導入性能是：13分鍾導入了3092730 條記錄，約合3965條/秒

8. Solr全部建好索引後，佔用磁碟空間是1.2G，es佔用磁碟空間是4G

單機對比2

在一台Intel i7，32G內存的機器上，重新跑這兩個的對比。不過有個重大的區別在於，Solr是在這台性能很好的機器上跑，而es的導入進程則是在一台Intel 四核 2.5G，4G內存的機器上跑的，也許會有性能的差異。ES版本0.19.8，Solr版本4.0-ALPHA。

1. Solr的導入性能：3400萬條記錄，用時62分鍾，平均9140條/秒，佔用空間12.75G

2. 使用 *999* 這樣的模糊查詢，3秒以內返回，稍長一點的查詢條件 *00100014*，也是2~3秒返回

3. Es的導入性能（設置Xmx為10G）：3400萬條記錄，用時40分鍾，平均14167條/秒，佔用空間33.26G，客戶端採用4個並發。

4. 使用 *999* 這樣的模糊查詢，9秒返回，稍長一點的查詢條件 *00100014*，11.8秒返回

5. 如果不是針對所有欄位查詢，而是針對某個特定欄位，比如 SAM_CODE: *00100014*，那麼也是1秒以內返回。

6. 結論：es的查詢效率也可以很高，只是我們還不會用。

7. 結論2：es有個設置是把所有欄位放一塊的那個，預設是放一起，但是不知道為什麼沒起到應有的作用。

備註：

1. Solr第一次的那個內存使用的是預設設置，這次改為10G，結果導入性能反而變差了，400萬條記錄，用了8分鍾，平均8333條/秒，不知道為什麼。

2. 改回預設的內存配置，導入速度仍然慢。

3. 重啟Linux，用10G的內存配置，再導入，5030萬條記錄，用時92分，約9112條/秒，說明導入速度和內存配置沒有大差別

4. 在10G配置的情況下，檢索速度也差別不大。

5. 為了搞清楚lucene4.0和solr4.0的進步有多大，下載了solr3.6.1，所幸的是4.0的配置文件在3.6.1上也可以用，所以很快就搭起來進行測試，導入性能為：3400萬條記錄，用時55分鍾，約10303條/秒，佔用空間13.85G。查詢性能：*999*第一次11.6s，*00100014* 27.3s，相比4.0ALPHA的結果（5000萬結果當中，*999*第一次2.6s，*00100014*第一次2.5s）來說，慢了很多，與es的性能差不多，因此，也許lucene4.0真的對性能有大幅提升？

集群對比：

採用4台同樣配置（Intel i7，32G內存）的Centos 6.3組成的集群，進行對比。

1. 首先是es，很方便的就組成了一個Cluster，等上一個3400萬條的Index全部均衡負載之後進行測試，導入到另外一個Index當中。

2. 導入性能：8500萬條記錄，用時72分鍾，約為19676條/秒。在前5千萬條記錄導入時的速度在2萬/條以上，初始的速度在2.2萬/條。佔用空間78.6G（由於有冗餘，實際佔用空間為157.2G）

3. 查詢性能：

*999*第一次13.5秒，第二次19.5秒，第三次7.4秒，第四次7.1秒，第五次7.1秒

*00100014*第一次17.2秒，第二次16.6秒，第三次17.9秒，第四次16.7秒，第五次17.1秒

SAM_CODE:*999*，0.8s，1.3s，0.02s，0.02s，0.02s

SAM_CODE: *00100014*，0.1s，0.1s，0.02s，0.03s，0.05s

4. Solr4.0-ALPHA，SolrCloud的配置還算簡單，啟動一個ZooKeeper，然後其他三台機器訪問這個地址，就可以組成一個Cloud：

機器1： nohup java -Xms10G -Xmx10G -Xss256k -Djetty.port=8983 -Dsolr.solr.home="./example-DIH/solr/" -Dbootstrap_confdir=./example-DIH/solr/db/conf/ -Dcollection.configName=xabconf3 -DzkRun -DnumShards=4 -jar start.jar &

其他機器：nohup java -Xms10G -Xmx10G -Dsolr.solr.home="./example-DIH/solr/" -DzkHost=192.168.2.11:9983 -jar start.jar &

但是在執行 data import 的時候，頻繁出現 OutOfMemoryError: unable to create new native thread。查了很多資料，把Linux的ulimit當中的nproc改成10240，把Xss改成256K，都解決不了問題。暫時沒有辦法進行。

結論

1. 導入性能，es更強

2. 查詢性能，solr 4.0最好，es與solr 3.6持平，可以樂觀的認為，等es採用了lucene4之後，性能會有質的提升

3. Es採用SAM_CODE這樣的查詢性能很好，但是用_all性能就很差，而且差別非常大，因此，個人認為在目前的es情況下，仍然有性能提升的空間，只是現在還沒找到方法。