sbtlinux

『壹』 如何運行Spark程序

本文前提是已經正確安裝好scala,sbt以及spark了 簡述將程序掛載到集群上運行的步驟：
1、構建sbt標準的項目工程結構：SBT項目工程結構圖其中：~/build.sbt文件用來配置項目的基本信息（項目名、組織名、項目版本、使用的scala版本或者再次配置些項目所需的依賴包）；project/build.properties文件配置你要使用什麼版本的sbt對項目操作；project/plugins.sbt文件是給項目添加所需的插件；project/Build.scala文件是對項目進行些復雜的高級配置；詳細的sbt安裝配置實用參見博文：
2、到相應目錄下編寫程序，spark程序必須要創建一個SparkContext實例。SparkContext("master", "projectName", "SPARK_HOME", "yourProject.jar path")
3、sbt compile命令編譯程序無錯後，sbt package命令將程序打包。默認打包的jar文件存放路徑為：項目根目錄/target/scala-xx.xx.xx/your-project-name_xx.xx.xx-xx.jar
4、將打包好的jar問價添加到SPAK_CLASSPATH中（在linux中根據作用范圍的不同有多種更改環境變數的方式，這里只說我的配置方式：spark根目錄下的conf/spark-env.sh文件添加SPARK_CLASSPATH:xxxxxxxx）
5、配置好環境變數後就可以在spark的根目錄下使用./run腳本運行你的程序了例如：./run spark.examples.SparkPi spark://masterIP:port注意，如果程序涉及IO操作起默認路徑為SPARK_HOME；至於如何修改這個路徑，有待研究
轉載，僅供參考。

『貳』 scala maven sbt 哪個

SBT是Simple Build Tool的簡稱，如果讀者使用過Maven，那麼可以簡單將SBT看做是Scala世界的Maven，雖然二者各有優劣，但完成的工作基本是類似的。

雖然Maven同樣可以管理Scala項目的依賴並進行構建， 但SBT的某些特性卻讓人如此著迷，比如：

* 使用Scala作為DSL來定義build文件（one language rules them all）;
* 通過觸發執行(trigger execution)特性支持持續的編譯與測試；
* 增量編譯；^[SBT的增量編譯支持因為如此優秀，已經剝離為Zinc，可被Eclipse, Maven,Gradle等使用]
* 可以混合構建java和Scala項目；
* 並行的任務執行；
* 可以重用Maven或者ivy的repository進行依賴管理；

等等這些，都是SBT得以在Scala的世界裡廣受歡迎的印記。

SBT的發展可以分為兩個階段， 即SBT_0.7.x時代以及SBT_0.10.x以後的時代。

目前來講， SBT_0.7.x已經很少使用， 大部分公司和項目都已經遷移到0.10.x以後的版本上來，最新的是0.12版本。 0.10.x之後的版本build定義採用了新的Settings系統，與最初0.7.x版本採用純Scala代碼來定義build文件大相徑庭，雖然筆者在遷移之前很抵觸（因為0.7.x中採用Scala定義build文件的做法可以體現很好的統一性），但還是升級並接納了0.10.x以後的版本，並且也逐漸意識到， 雖然新的版本初看起來很復雜，但一旦了解了其設計和實現的哲學跟思路，就會明白這種設計可以更便捷的定義build文件。而且可選的build文件方式也同樣運行採用Scala代碼來定義，即並未放棄統一性的思想。

以上是SBT的簡單介紹，如果讀者已經急於開始我們的SBT之旅，那麼讓我們先從SBT的安裝和配置開始吧！

## SBT安裝和配置

SBT的安裝和配置可以採用兩種方式，一種是所有平台都通用的安裝配置方式，另一種是跟平台相關的安裝和配置方式，下面我們分別對兩種方式進行詳細介紹。

### 所有平台通用的安裝配置方式
所有平台通用的安裝和配置方式只需要兩步：

1. 下載sbt boot launcher
- 本書採用最新的sbt0.12，其下載地址為<http://typesafe.artifactoryonline.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.12.0/sbt-launch.jar>；
2. 創建sbt啟動腳本（啟動腳本是平台相關的）
- 如果是Linux/Unit系統，創建名稱為sbt的腳本，並賦予其執行許可權，並將其加到PATH路徑中； sbt腳本內容類似於
``java -Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=384M -jar `dirname $0`/sbt-launch.jar "$@"``， 可以根據情況調整合適的java進程啟動參數；
- 如果是Windows系統，則創建sbt.bat命令行腳本，同樣將其添加到PATH路徑中。 腳本內容類似於``set SCRIPT_DIR=%~dp0 \n
java -Xmx512M -jar "%SCRIPT_DIR%sbt-launch.jar" %*``

以上兩步即可完成sbt的安裝和配置。

### 平台相關的安裝配置方式
筆者使用的是Mac系統，安裝sbt只需要執行``brew install sbt``即可（因為我已經安裝有homebrew這個包管理器），使用macport同樣可以很簡單的安裝sbt - ``sudo port install sbt``;

『叄』 java工程師的工作內容有什麼

Java工程師可以做網站
Java語言可以用來編寫網站，現在很多大型網站都用Jsp寫的，JSP全名JavaServerPages，是一門腳本語言，擁有Java語言的所有特性。它是一種動態網頁技術，比如我們看到的各類網站，還有一些政府網站都是採用JSP編寫的。

所以學習Java，畢業以後可以找開發網站方面的工作，各個企業或者想通過互聯網進行與用戶交流的單位，都需要開發自己的網頁。所以，網站網頁開發是Java工程師的首選工作之一。

Java工程師可以做Android
Android即俗稱的「安卓」，是一種基於Linux的自由及開放源代碼的操作系統，其源代碼是Java。

所以市場上見到的手機系統例如MIUI，阿里雲等，都是修改源代碼再發行的。

Java做安卓不單單是指系統，還有APP。對於更多的開發人員來說，他們更多的時間是花在開發APP上面。

Java工程師可以做軟體
一般編程語言都可以做軟體，Java也不例外，例如Eclipse，MyEclipse等知名Java開發工具。有關開發軟體組件，可以了解JavaSwing編程或者awt相關知識。比如：企業級應用開發。大到全國聯網的系統，小到中小企業的應用解決方案，Java都佔有極為重要的地位。