編譯技術實現數據包分析

A. 編譯原理的內容簡介

本書介紹編譯器構造的一般原理和基本實現方法，主要內容包括詞法分析、語法分析、語義分析、中間代碼生成、代碼優化和目標代碼生成等。除了介紹命令式編程語言的編譯技術外，本書還介紹面向對象語言和函數式編程語言的實現技術。本書還強調一些相關的理論知識，如形式語言和自動機理論、語法制導的定義和屬性文法、類型論和類型系統等。
本書取材廣泛新穎、圖文並茂，注意理論聯系實際。本書可作為高等學校計算機科學及相關專業的教材，也可供計算機軟體工程技術人員參考使用。

B. 為什麼要使用python進行數據分析

我使用python這門語言也有三年了，被其簡潔、易讀、強大的庫所折服，我已經深深愛上了python。其pythonic語言特性，對人極其友好，可以說，一個完全不懂編程語言的人，看懂python語言也不是難事。
在數據分析和交互、探索性計算以及數據可視化等方面，相對於R、MATLAB、SAS、Stata等工具，Python都有其優勢。近年來，由於Python庫的不斷發展（如pandas），使其在數據挖掘領域嶄露頭角。結合其在通用編程方面的強大實力，我們完全可以只使用Python這一種語言去構建以數據為中心的應用程序。
由於python是一種解釋性語言，大部分編譯型語言都要比python代碼運行速度快，有些同學就因此鄙視python。但是小編認為，python是一門高級語言，其生產效率更高，程序員的時間通常比CPU的時間值錢，因此為了權衡利弊，考慮用python是值得的。

Python強大的計算能力依賴於其豐富而強大的庫：
Numpy
Numerical Python的簡稱，是Python科學計算的基礎包。其功能：
1. 快速高效的多維數組對象ndarray。
2. 用於對數組執行元素級計算以及直接對數組執行數學運算的函數。
3. 線性代數運算、傅里葉變換，以及隨機數生成。
4. 用於將C、C++、Fortran代碼集成到Python的工具。

除了為Python提供快速的數組處理能力，NumPy在數據分析方面還有另外一個主要作用，即作為在演算法之間傳遞數據的容器。對於數值型數據，NumPy數組在存儲和處理數據時要比內置的Python數據結構高效得多。此外，由低級語言（比如C和Fortran）編寫的庫可以直接操作NumPy數組中的數據，無需進行任何數據復制工作。

SciPy
是一組專門解決科學計算中各種標准問題域的包的集合，主要包括下面這些包：
1. scipy.integrate：數值積分常式和微分方程求解器。
2. scipy.linalg：擴展了由numpy.linalg提供的線性代數常式和矩陣分解功能。
3. scipy.optimize：函數優化器（最小化器）以及根查找演算法。
4. scipy.signal：信號處理工具。
5. scipy.sparse：稀疏矩陣和稀疏線性系統求解器。
6. scipy.special：SPECFUN（這是一個實現了許多常用數學函數（如伽瑪函數）的Fortran庫）的包裝器。
7. scipy.stats：標准連續和離散概率分布（如密度函數、采樣器、連續分布函數等）、各種統計檢驗方法，以及更好的描述統計法。
8. scipy.weave：利用內聯C++代碼加速數組計算的工具。

註：NumPy跟SciPy的有機結合完全可以替代MATLAB的計算功能（包括其插件工具箱）。

SymPy
是python的數學符號計算庫，用它可以進行數學表達式的符號推導和演算。

pandas
提供了使我們能夠快速便捷地處理結構化數據的大量數據結構和函數。你很快就會發現，它是使Python成為強大而高效的數據分析環境的重要因素之一。
pandas兼具NumPy高性能的數組計算功能以及電子表格和關系型資料庫(如SQL)靈活的數據處理功能。它提供了復雜精細的索引功能，以便更為便捷地完成重塑、切片和切塊、聚合以及選取數據子集等操作。
對於使用R語言進行統計計算的用戶，肯定不會對DataFrame這個名字感到陌生，因為它源自於R的data.frame對象。但是這兩個對象並不相同。R的data.frame對象所提供的功能只是DataFrame對象所提供的功能的一個子集。也就是說pandas的DataFrame功能比R的data.frame功能更強大。

matplotlib
是最流行的用於繪制數據圖表的Python庫。它最初由John D. Hunter（JDH）創建，目前由一個龐大的開發人員團隊維護。它非常適合創建出版物上用的圖表。它跟IPython（馬上就會講到）結合得很好，因而提供了一種非常好用的互動式數據繪圖環境。繪制的圖表也是互動式的，你可以利用繪圖窗口中的工具欄放大圖表中的某個區域或對整個圖表進行平移瀏覽。

TVTK
是python數據三維可視化庫，是一套功能十分強大的三維數據可視化庫，它提供了Python風格的API，並支持Trait屬性(由於Python是動態編程語言，其變數沒有類型，這種靈活性有助於快速開發，但是也有缺點。而Trait庫可以為對象的屬性添加檢校功能，從而提高程序的可讀性，降低出錯率。) 和NumPy數組。此庫非常龐大，因此開發公司提供了一個查詢文檔，用戶可以通過下面語句運行它：
>>> from enthought.tvtk.toolsimport tvtk_doc
>>> tvtk_doc.main()

Scikit-Learn
是基於python的機器學習庫，建立在NumPy、SciPy和matplotlib基礎上，操作簡單、高效的數據挖掘和數據分析。其文檔、實例都比較齊全。

小編建議：初學者使用python(x, y)，其是一個免費的科學和工程開發包，提供數學計算、數據分析和可視化展示。非常方便！

C. 編譯器的工作原理

編譯 是從源代碼（通常為高級語言）到能直接被計算機或虛擬機執行的目標代碼（通常為低級語言或機器語言）的翻譯過程。然而，也存在從低級語言到高級語言的編譯器，這類編譯器中用來從由高級語言生成的低級語言代碼重新生成高級語言代碼的又被叫做反編譯器。也有從一種高級語言生成另一種高級語言的編譯器，或者生成一種需要進一步處理的的中間代碼的編譯器（又叫級聯）。
典型的編譯器輸出是由包含入口點的名字和地址， 以及外部調用（到不在這個目標文件中的函數調用）的機器代碼所組成的目標文件。一組目標文件，不必是同一編譯器產生，但使用的編譯器必需採用同樣的輸出格式，可以鏈接在一起並生成可以由用戶直接執行的EXE,
所以我們電腦上的文件都是經過編譯後的文件。

D. 為什麼要學習編譯原理

大學課程為什麼要開設編譯原理呢？這門課程關注的是編譯器方面的產生原理和技術問題，似乎和計算機的基礎領域不沾邊，可是編譯原理卻一直作為大學本科的必修課程，同時也成為了研究生入學考試的必考內容。編譯原理及技術從本質上來講就是一個演算法問題而已，當然由於這個問題十分復雜，其解決演算法也相對復雜。我們學的數據結構與演算法分析也是講演算法的，不過講的基礎演算法，換句話說講的是演算法導論，而編譯原理這門課程講的就是比較專註解決一種的演算法了。在20世紀50年代，編譯器的編寫一直被認為是十分困難的事情，第一Fortran的編譯器據說花了18年的時間才完成。在人們嘗試編寫編譯器的同時，誕生了許多跟編譯相關的理論和技術，而這些理論和技術比一個實際的編譯器本身價值更大。就猶如數學家們在解決著名的哥德巴赫猜想一樣，雖然沒有最終解決問題，但是其間誕生不少名著的相關數論。
推薦參考書
雖然編譯理論發展到今天，已經有了比較成熟的部分，但是作為一個大學生來說，要自己寫出一個像TurbocC,java那樣的編譯器來說還是太難了。不僅寫編譯器困難，學習編譯原理這門課程也比較困難。
第一本書的原名叫《CompilersPrinciples,Techniques,andTools》,另外一個響亮的名字就是龍書。原因是這本書的封面上有條紅色的龍，也因為獗臼樵詒嘁朐?砘?嘴域確實?忻?所以很多國外的學者都直接取名為龍書。最近機械工業出版社已經出版了此書的中文版，名字就叫《編譯原理》。該書出的比較早，大概是在85或86年編寫完成的，作者之一還是著名的貝爾實驗室的科學家。裡面講解的核心編譯原理至今都沒有變過，所以一直到今天，它的價值都非凡。這本書最大的特點就是一開始就通過一個實際的小例子，把編譯原理的大致內容羅列出來，讓很多編譯原理的初學者很快心裡有了個底,也知道為什麼會有這些理論，怎麼運用這些理論。而這一點是我感覺國內的教材缺乏的東西，所以國內的教材都不是寫給願意自學的讀者，總之讓人看了半天，卻不知道裡面的東西有什麼用。
第二本書的原名叫《ModernCompilerDesign》,中文名字叫做《現代編譯程序設計》。該書由人民郵電出版社所出。此書比較關注的是編譯原理的實踐，書中給出了不少的實際程序代碼，還有很多實際的編譯技術問題等等。此書另外一個特點就是其現代而字。在傳統的編譯原理教材中，你是不可能看到如同Java中的垃圾回收等演算法的。因為Java這樣的解釋執行語言是在近幾年才流行起來的東西。如果你想深入學習編譯原理的理論知識，那麼你肯定得看前面那本龍書，如果你想自己動手做一個先進的編譯器，那麼你得看這本《現代編譯程序設計》。
第三本書就是很多國內的編譯原理學者都推薦的那本《編譯原理及實踐》。或許是這本書引入國內比較早吧，我記得我是在高中就買了這本書，不過也是在前段時間才把整本書看完。此書作為入門教程也的確是個不錯的選擇。書中給出的編譯原理講解也相當細致，雖然不如前面的龍書那麼深入，但是很多地方都是點到為止，作為大學本科教學已經是十分深入了。該書的特點就是注重實踐，不過感覺還不如前面那本《現代編譯程序設計》的實踐味道更重。此書的重點還是在原理上的實踐，而非前面那本那樣的技術實踐。《編譯原理及實踐》在講解編譯原理的各個部分的同時，也在逐步實踐一個現代的編譯器TinyC.等你把整本書看完，差不多自己也可以寫一個TinyC了。作者還對Lex和Yacc這兩個常用的編譯相關的工具進行了很詳細的說明，這一點也是很難在國內的教材中看到的。
推薦了這三本教材，都有英文版和中文版的。很多英文好的同學只喜歡看原版的書，不我的感覺是這三本書的翻譯都很不錯，沒有必要特別去買英文版的。理解理論的實質比理解表面的文字更為重要。
編譯原理的實質
幾乎每本編譯原理的教材都是分成詞法分析，語法分析（LL演算法，遞歸下降演算法，LR演算法），語義分析，運行時環境，中間代碼，代碼生成，代碼優化這些部分。其實現在很多編譯原理的教材都是按照85,86出版的那本龍書來安排教學內容的，所以那本龍書的內容格式幾乎成了現在編譯原理教材的定式，包括國內的教材也是如此。一般來說，大學裡面的本科教學是不可能把上面的所有部分都認真講完的，而是比較偏重於前面幾個部分。像代碼優化那部分東西，就像個無底洞一樣，如果要認真講，就是單獨開一個學期的課也不可能講得清楚。所以，一般對於本科生，對詞法分析和語法分析掌握要求就相對要高一點了。
詞法分析相對來說比較簡單。可能是詞法分析程序本身實現起來很簡單吧，很多沒有學過編譯原理的人也同樣可以寫出各種各樣的詞法分析程序。不過編譯原理在講解詞法分析的時候，重點把正則表達式和自動機原理加了進來，然後以一種十分標準的方式來講解詞法分析程序的產生。這樣的做法道理很明顯，就是要讓詞法分析從程序上升到理論的地步。
語法分析部分就比較麻煩一點了。現在一般有兩種語法分析演算法，LL自頂向下演算法和LR自底向上演算法。LL演算法還好說，到了LR演算法的時候，困難就來了。很多自學編譯原理的都是遇到LR演算法的理解成問題後就放棄了自學。其實這些東西都是只要大家理解就可以了，又不是像詞法分析那樣非得自己寫出來才算真正的會。像LR演算法的語法分析器，一般都是用工具Yacc來生成，實踐中完全沒有比較自己來實現。對於LL演算法中特殊的遞歸下降演算法，因為其實踐十分簡單，那麼就應該要求每個學生都能自己寫。當然，現在也有不少好的LL演算法的語法分析器，不過要是換在非C平台，比如Java,Delphi,你不能運用YACC工具了，那麼你就只有自己來寫語法分析器。
等學到詞法分析和語法分析時候，你可能會出現這樣的疑問：詞法分析和語法分析到底有什麼？就從編譯器的角度來講，編譯器需要把程序員寫的源程序轉換成一種方便處理的數據結構（抽象語法樹或語法樹）,那麼這個轉換的過程就是通過詞法分析和語法分析的。其實詞法分析並非一開始就被列入編譯器的必備部分，只是我們為了簡化語法分析的過程，就把詞法分析這種繁瑣的工作單獨提取出來，就成了現在的詞法分析部分。除了編譯器部分，在其它地方，詞法分析和語法分析也是有用的。比如我們在DOS,Unix,Linux下輸入命令的時候，程序如何分析你輸入的命令形式，這也是簡單的應用。總之，這兩部分的工作就是把不規則的文本信息轉換成一種比較好分析好處理的數據結構。那麼為什麼編譯原理的教程都最終把要分析的源分析轉換成樹這種數據結構呢？數據結構中有Stack,Line,List這么多數據結構，各自都有各自的特點。但是Tree這種結構有很強的遞歸性，也就是說我們可以把Tree的任何結點Node提取出來後，它依舊是一顆完整的Tree。這一點符合我們現在編譯原理分析的形式語言，比如我們在函數裡面使用函樹，循環中使用循環，條件中使用條件等等，那麼就可以很直觀地表示在Tree這種數據結構上。同樣，我們在執行形式語言的程序的時候也是如此的遞歸性。在編譯原理後面的代碼生成的部分，就會介紹一種堆棧式的中間代碼，我們可以根據分析出來的抽象語法樹，很容易，很機械地運用遞歸遍歷抽象語法樹就可以生成這種指令代碼。而這種代碼其實也被廣泛運用在其它的解釋型語言中。像現在流行的Java,.NET，其底層的位元組碼bytecode,可以說就是這中基於堆棧的指令代碼的。
關於語義分析，語法制導翻譯，類型檢查等等部分，其實都是一種完善前面得到的抽象語法樹的過程。比如說，我們寫C語言程序的時候，都知道，如果把一個浮點數直接賦值給一個整數，就會出現類型不匹配，那麼C語言的編譯器是怎麼知道的呢？就是通過這一步的類型檢查。像C++語言這中支持多態函數的語言，這部分要處理的問題就更多更復雜了。大部編譯原理的教材在這部分都是講解一些比較好的處理策略而已。因為新的問題總是在發生，舊的辦法不見得足夠解決。
本來說，作為一個編譯器，起作用的部分就是用戶輸入的源程序到最終的代碼生成。但是在講解最終代碼生成的時候，又不得不講解機器運行環境等內容。因為如果你不知道機器是怎麼執行最終代碼的，那麼你當然無法知道如何生成合適的最終代碼。這部分內容我自我感覺其意義甚至超過了編譯原理本身。因為它會把一個計算機的程序的運行過程都通通排在你面前，你將來可能不會從事編譯器的開發工作，但是只要是和計算機軟體開發相關的領域,都會涉及到程序的執行過程。運行時環境的講解會讓你更清楚一個計算機程序是怎麼存儲，怎麼裝載，怎麼執行的。關於部分的內容，我強烈建議大家看看龍書上的講解，作者從最基本的存儲組織，存儲分配策略，非局部名字的訪問，參數傳遞，符號表到動態存儲分配(malloc,new)都作了十分詳細的說明。這些東西都是我們編寫平常程序的時候經常要做的事情，但是我們卻少去探求其內部是如何完成。
關於中間代碼生成，代碼生成,代碼優化部分的內容就實在不好說了。國內很多教材到了這部分都會很簡單地走馬觀花講過去，學生聽了也只是作為了解，不知道如何運用。不過這部分內容的東西如果要認真講，單獨開一學期的課程都講不完。在《編譯原理及實踐》的書上，對於這部分的講解就恰到好處。作者主要講解的還是一種以堆棧為基礎的指令代碼，十分通俗易懂，讓人看了後，很容易模仿，自己下來後就可以寫自己的代碼生成。當然，對於其它代碼生成技術，代碼優化技術的講解就十分簡單了。如果要仔細研究代碼生成技術，其實另外還有本叫做《》,那本書現在由機械工業出版社引進的，十分厚重，而且是英文原版。不過這本書我沒有把它列為推薦書給大家，畢竟能把龍書的內容搞清楚，在中國已經就算很不錯的高手了，到那個時候再看這本《》也不遲。代碼優化部分在大學本科教學中還是一個不太重要的部分，就是算是實踐過程中，相信大家也不太運用得到。畢竟，自己做的編譯器能正確生成執行代碼已經很不錯了，還談什麼優化呢？
編譯原理的課程畢竟還只是講解原理的課程，不是專門的編譯技術課程。這兩門課程是有很大的區別的。編譯技術更關注實際的編寫編譯器過程中運用到的技術，而原理的課

E. 大數據分析一般用什麼工具分析

大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助，而大數據分析是去分析海量的數據，所以就不得不藉助一些工具去分析大數據，。一般來說，數據分析工作中都是有很多層次的，這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。

首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據，數據的存儲是一個非常重要的事情，如果懂得資料庫技術，並且能夠操作好資料庫技術，這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。

1、MySQL資料庫，這個對於部門級或者互聯網的資料庫應用是必要的，這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。

2、SQL Server的最新版本，對中小企業，一些大型企業也可以採用SQL Server資料庫，其實這個時候本身除了數據存儲，也包括了數據報表和數據分析了，甚至數據挖掘工具都在其中了。

3、DB2，Oracle資料庫都是大型資料庫了，主要是企業級，特別是大型企業或者對數據海量存儲需求的就是必須的了，一般大型資料庫公司都提供非常好的數據整合應用平台;

接著說數據報表層。一般來說，當企業存儲了數據後，首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。

1、Crystal Report水晶報表，Bill報表，這都是全球最流行的報表工具，非常規范的報表設計思想，早期商業智能其實大部分人的理解就是報表系統，不藉助IT技術人員就可以獲取企業各種信息——報表。

2、Tableau軟體，這個軟體是近年來非常棒的一個軟體，當然它已經不是單純的數據報表軟體了，而是更為可視化的數據分析軟體，因為很多人經常用它來從資料庫中進行報表和可視化分析。

第三說的是數據分析層。這個層其實有很多分析工具，當然我們最常用的就是Excel，我經常用的就是統計分析和數據挖掘工具;

1、Excel軟體，首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能，Excel功能非常強大，甚至可以完成所有的統計分析工作!但是我也常說，有能力把Excel玩成統計工具不如專門學會統計軟體;

2、SPSS軟體：當前版本是18，名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析，到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化，從重視醫學、化學等開始越來越重視商業分析，現在已經成為了預測分析軟體。

最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。

1、PowerPoint軟體：大部分人都是用PPT寫報告。

2、Visio、SmartDraw軟體：這些都是非常好用的流程圖、營銷圖表、地圖等，而且從這里可以得到很多零件;

3、Swiff Chart軟體：製作圖表的軟體，生成的是Flash

F. python用於數據分析和web開發的不同

Python語言成為數據科學領域的流行語言不只僅僅因為大數據公司採用它，還因為很多該領域的起步教學也是使用它，Python語言已經在2015機器學習領域上升到前十大語言。

Bjarne Stroustrup說：有兩種語言：一種人們抱怨它，另外一種卻沒有人使用。

Python語言屬於前一種，卻在數值計算 機器學習等領域使用量不斷上升，Python除了性能攸關的領域以外幾乎能做任何事情，使用Python最好的選擇是進行數據分析和統計計算，而學習Python用於Web開發卻需要掌握很多不同的Web框架，比如Django，而學習Python用於數據科學只需要數據科學家們學習正則表達式的使用，包括科學類庫和數據虛擬化等概念即可。這是兩種完全不同的目標，無需掌握任何Web編程概念的數據專家可以容易地使用Python進行數據工作，毫無任何困難。

Python是一個有23年歷史的豐富表達的動態編程語言，編程人員可以一次編寫代碼無需另外編譯器就能執行，在Web開發中Python支持各種編程範式比如結構編程，函數式編程和面向對象編程。

不可否認使用Python編寫一個動態Web網站可以是很優秀的，但是學習Web框架也是必須的。

下面是幾種PythonWeb開發框架：
1. Django：它是一個完美的快速Web開發框架，適合資料庫驅動的Web應用開發，但是它也許有點overkill(過度的殺傷威力)，因為它會混淆文件系統和嚴格目錄結構(strict directory structure)，使用python進行Web開發的公司有紐約時報 Instagram,和 Pinterest.

2.Flask：這是對於初學者輕量解決方案，適合開發單頁Web應用，框架不支持檢驗 數據抽象層和其他框架有的組件功能，它不是完整開發棧，只是用於小網站。

3.CherryPy:它著重Python的慣例設計，這樣可以使用面向對象的方式開發應用，它是其他完整開發棧框架（TurboBears 和 Web2py）的基礎模板。

此外還有Pyramid, Bottle, 和Pylons 等待，無論使用哪個框架，都需要深度閱讀理解文檔和教程。

使用Python進行Web開發也許是一個不切實際的選擇，理由如下：
1.使用Python進行Web開發需要非標准和昂貴的主機託管，而PHP語言如此廣泛應用在web開發，因此，大部分投資者不會投資用於運行python web網站的主機資源。也就是說，很難找到像PHP那樣的主機資源運行你的Python Web應用。

2.相比PHP Java和Ruby on Rails，Python並不是在Web開發領域的普遍開發技術，Python用於數據科學正在不斷吸引注意力，大量從事數據科學和機器學習的公司在尋找這方面的Python人才，而不是Web方面的Python人才。

3.Python用於Web開發已經探索很長一段時間，但是它相比其他語言如PHP，在學習方面有比較陡峭的學習曲線，比較難以學習掌握。

為什麼Python是最適合於數據科學呢？
Python因為其類似英語語法，在研發大數據 財務 統計和數值計算等方面有其強大的天然性，最近快速增長的機器學習，自然語言處理和數據虛擬化以及數據探測 數據分析以及數據挖掘等需求導致了形成Pythonification。Python是數據科學家最暢銷的技能，在紐約進行Python數據科學編程平均薪水是 $140,000

那麼為什麼數據科學家喜歡使用Python進行數據科學研究呢？

因為Python能夠讓他們的想法更快速地原型化，他們喜歡趕快把想法實現，然後快速地從巨大的數據集中分析得出結論。而Python在這方面編程是最多才多藝、最體現其能力的全才，它有助於科學家以優化最短的時間編碼、調試、執行和得到的結果。

一個偉大的企業數據科學家真正價值是使用各種數據可視化幫助根據數據模式進行快速預測，從而贏得商業競爭優勢，否則只是一場零和游戲。Python有科學計算需要的很高的計算強度。

1.Python有統一的設計哲學，它聚焦於易於使用，可讀性好和對數據科學家的易學低門檻。
2.Python有高可擴展性scalability，和Stata, Matlab相比要快得多。
3.有越來越多的數據虛擬包和很酷的應用編程介面都增加了圖形介面來採納數據分析的結果輸出。
4.Python有很大的數據科學社區，包括Sci-Kit learn, NumPy, Pandas, 和Statsmodels, SciPy等庫包，這些都已經充分測試，Python數據科學包一直在增長。

G. 編譯原理和演算法與數據結構那門課比較重要

坦白的講都很重要，但這等於沒有回答你的問題，我理解你是想問學習的先後。其實演算法和數據結構是計算機編程技術的精髓，偏重理論和抽象，是重中之重；一旦你進入計算機編程領域時，編譯原理是你實現想法的重要工具，是知其然，而後知其所以然，讓你知道機器是如何實現你的想法的，方便你更好的利用機器，讓你的想法有可行性。

H. 了解什麼叫做jit compiling，與傳統的編譯技術有何不同

Java 應用程序的性能經常成為開發社區中的討論熱點。因為該語言的設計初衷是使用解釋的方式支持應用程序的可移植性目標，早期
Java 運行時所提供的性能級別遠低於 C 和
C++
之類的編譯語言。盡管這些語言可以提供更高的性能，但是生成的代碼只能在有限的幾種系統上執行。在過去的十年中，Java
運行時供應商開發了一些復雜的動態編譯器，通常稱作即時（Just-in-time，JIT）編譯器。程序運行時，JIT
編譯器選擇將最頻繁執行的方法編譯成本地代碼。運行時才進行本地代碼編譯而不是在程序運行前進行編譯（用 C 或
C++ 編寫的程序正好屬於後一情形），保證了可移植性的需求。有些 JIT 編譯器甚至不使用解釋程序就能編譯所有的代碼，但是這些編譯器仍然通過在程序執行時進行一些操作來保持 Java 應用程序的可移植性。
由於動態編譯技術的多項改進，在很多應用程序中，現代的 JIT 編譯器可以產生與 C 或 C++
靜態編譯相當的應用程序性能。但是，仍然有很多軟體開發人員認為 —— 基於經驗或者傳聞 ——
動態編譯可能嚴重干擾程序操作，因為編譯器必須與應用程序共享 CPU。一些開發人員強烈呼籲對 Java
代碼進行靜態編譯，並且堅信那樣可以解決性能問題。對於某些應用程序和執行環境而言，這種觀點是正確的，靜態編譯可以極大地提高 Java
性能，或者說它是惟一的實用選擇。但是，靜態地編譯 Java 應用程序在獲得高性能的同時也帶來了很多復雜性。一般的
Java 開發人員可能並沒有充分地感受到 JIT 動態編譯器的優點。

本文考察了 Java 語言靜態編譯和動態編譯所涉及的一些問題，重點介紹了實時 (RT) 系統。簡要描述了 Java
語言解釋程序的操作原理並說明了現代 JIT 編譯器執行本地代碼編譯的優缺點。介紹了 IBM 在 WebSphere Real Time 中發布的
AOT 編譯技術和它的一些優缺點。然後比較了這兩種編譯策略並指出了幾種比較適合使用 AOT
編譯的應用程序領域和執行環境。要點在於這兩種編譯技術並不互斥：即使在使用這兩種技術最為有效的各種應用程序中，它們也分別存在一些影響應用程序的優缺
點。

執行 Java 程序

Java 程序最初是通過 Java SDK 的 javac程序編譯成本地的與平台無關的格式（類文件）。可將此格式看作 Java
平台，因為它定義了執行 Java 程序所需的所有信息。Java 程序執行引擎，也稱作 Java 運行時環境（JRE），包含了為特定的本地平台實現
Java 平台的虛擬機。例如，基於 Linux 的 Intel x86 平台、Sun Solaris 平台和 AIX 操作系統上運行的 IBM
System p 平台，每個平台都擁有一個 JRE。這些 JRE 實現實現了所有的本地支持，從而可以正確執行為
Java 平台編寫的程序。

事實上，操作數堆棧的大小有實際限制，但是編程人員極少編寫超出該限制的方法。JVM 提供了安全性檢查，對那些創建出此類方法的編程人員進行通知。

Java 平台程序表示的一個重要部分是位元組碼序列，它描述了 Java
類中每個方法所執行的操作。位元組碼使用一個理論上無限大的操作數堆棧來描述計算。這個基於堆棧的程序表示提供了平台無關性，因為它不依賴任何特定本地平台
的 CPU 中可用寄存器的數目。可在操作數堆棧上執行的操作的定義都獨立於所有本地處理器的指令集。Java
虛擬機（JVM）規范定義了這些位元組碼的執行（參見 參考資料）。執行 Java 程序時，用於任何特定本地平台的任何 JRE 都必須遵守 JVM
規范中列出的規則。

因為基於堆棧的本地平台很少（Intel X87 浮點數協處理器是一個明顯的例外），所以大多數本地平台不能直接執行 Java 位元組碼。為了解決這個問題，早期的 JRE 通過解釋位元組碼來執行 Java 程序。即 JVM 在一個循環中重復操作：

◆獲取待執行的下一個位元組碼；

◆解碼；

◆從操作數堆棧獲取所需的操作數；

◆按照 JVM 規范執行操作；

◆將結果寫回堆棧。

這種方法的優點是其簡單性：JRE 開發人員只需編寫代碼來處理每種位元組碼即可。並且因為用於描述操作的位元組碼少於 255 個，所以實現的成本比較低。當然，缺點是性能：這是一個早期造成很多人對 Java 平台不滿的問題，盡管擁有很多其他優點。

解決與 C 或 C++ 之類的語言之間的性能差距意味著，使用不會犧牲可移植性的方式開發用於 Java 平台的本地代碼編譯。

編譯 Java 代碼

盡管傳聞中 Java 編程的 「一次編寫，隨處運行」
的口號可能並非在所有情況下都嚴格成立，但是對於大量的應用程序來說情況確實如此。另一方面，本地編譯本質上是特定於平台的。那麼 Java
平台如何在不犧牲平台無關性的情況下實現本地編譯的性能？答案就是使用 JIT 編譯器進行動態編譯，這種方法已經使用了十年（參見圖 1）：

圖 1. JIT 編譯器

使用 JIT 編譯器時，Java
程序按每次編譯一個方法的形式進行編譯，因為它們在本地處理器指令中執行以獲得更高的性能。此過程將生成方法的一個內部表示，該表示與位元組碼不同但是其級
別要高於目標處理器的本地指令。（IBM JIT
編譯器使用一個表達式樹序列表示方法的操作。）編譯器執行一系列優化以提高質量和效率，最後執行一個代碼生成步驟將優化後的內部表示轉換成目標處理器的本
地指令。生成的代碼依賴運行時環境來執行一些活動，比如確保類型轉換的合法性或者對不能在代碼中直接執行的某些類型的對象進行分配。JIT
編譯器操作的編譯線程與應用程序線程是分開的，因此應用程序不需要等待編譯的執行。

圖 1 中還描述了用於觀察執行程序行為的分析框架，通過周期性地對線程取樣找出頻繁執行的方法。該框架還為專門進行分析的方法提供了工具，用來存儲程序的此次執行中可能不會改變的動態值。

因為這個 JIT 編譯過程在程序執行時發生，所以能夠保持平台無關性：發布的仍然是中立的 Java 平台代碼。C 和 C++ 之類的語言缺乏這種優點，因為它們在程序執行前進行本地編譯；發布給（本地平台）執行環境的是本地代碼。

挑戰

盡管通過 JIT 編譯保持了平台無關性，但是付出了一定代價。因為在程序執行時進行編譯，所以編譯代碼的時間將計入程序的執行時間。任何編寫過大型 C 或 C++ 程序的人都知道，編譯過程往往較慢。

為了克服這個缺點，現代的 JIT
編譯器使用了下面兩種方法的任意一種（某些情況下同時使用了這兩種方法）。第一種方法是：編譯所有的代碼，但是不執行任何耗時多的分析和轉換，因此可以快
速生成代碼。由於生成代碼的速度很快，因此盡管可以明顯觀察到編譯帶來的開銷，但是這很容易就被反復執行本地代碼所帶來的性能改善所掩蓋。第二種方法是：
將編譯資源只分配給少量的頻繁執行的方法（通常稱作熱方法）。低編譯開銷更容易被反復執行熱代碼帶來的性能優勢掩蓋。很多應用程序只執行少量的熱方法，因
此這種方法有效地實現了編譯性能成本的最小化。

動態編譯器的一個主要的復雜性在於權衡了解編譯代碼的預期獲益使方法的執行對整個程序的性能起多大作用。一個極端的例子是，程序執行後，您非常清楚哪些方
法對於這個特定的執行的性能貢獻最大，但是編譯這些方法毫無用處，因為程序已經完成。而在另一個極端，程序執行前無法得知哪些方法重要，但是每種方法的潛
在受益都最大化了。大多數動態編譯器的操作介於這兩個極端之間，方法是權衡了解方法預期獲益的重要程度。

Java 語言需要動態載入類這一事實對 Java
編譯器的設計有著重要的影響。如果待編譯代碼引用的其他類還沒有載入怎麼辦？比如一個方法需要讀取某個尚未載入的類的靜態欄位值。Java
語言要求第一次執行類引用時載入這個類並將其解析到當前的 JVM
中。直到第一次執行時才解析引用，這意味著沒有地址可供從中載入該靜態欄位。編譯器如何處理這種可能性？編譯器生成一些代碼，用於在沒有載入類時載入並解
析類。類一旦被解析，就會以一種線程安全的方式修改原始代碼位置以便直接訪問靜態欄位的地址，因為此時已獲知該地址。

IBM JIT
編譯器中進行了大量的努力以便使用安全而有效率的代碼補丁技術，因此在解析類之後，執行的本地代碼只載入欄位的值，就像編譯時已經解析了欄位一樣。另外一
種方法是生成一些代碼，用於在查明欄位的位置以前一直檢查是否已經解析欄位，然後載入該值。對於那些由未解析變成已解析並被頻繁訪問的欄位來說，這種簡單
的過程可能帶來嚴重的性能問題。

動態編譯的優點

動態地編譯 Java 程序有一些重要的優點，甚至能夠比靜態編譯語言更好地生成代碼，現代的 JIT 編譯器常常向生成的代碼中插入掛鉤以收集有關程序行為的信息，以便如果要選擇方法進行重編譯，就可以更好地優化動態行為。

關於此方法的一個很好的例子是收集一個特定 array操作的長度。如果發現每次執行操作時該長度基本不變，則可以為最頻繁使用的

array長度生成專門的代碼，或者可以調用調整為該長度的代碼序列。由於內存系統和指令集設計的特性，用於復制內存的最佳通用常式的執行速度通
常比用於復制特定長度的代碼慢。例如，復制 8
個位元組的對齊的數據可能需要一到兩條指令直接復制，相比之下，使用可以處理任意位元組數和任意對齊方式的一般復制循環可能需要 10 條指令來復制同樣的 8

個位元組。但是，即使此類專門的代碼是為某個特定的長度生成的，生成的代碼也必須正確地執行其他長度的復制。生成代碼只是為了使常見長度的操作執行得更快，
因此平均下來，性能得到了改進。此類優化對大多數靜態編譯語言通常不實用，因為所有可能的執行中長度恆定的操作比一個特定程序執行中長度恆定的操作要少得
多。

此類優化的另一個重要的例子是基於類層次結構的優化。例如，一個虛方法調用需要查看接收方對象的類調用，以便找出哪個實際目標實現了接收方對象的虛方法。
研究表明：大多數虛調用只有一個目標對應於所有的接收方對象，而 JIT
編譯器可以為直接調用生成比虛調用更有效率的代碼。通過分析代碼編譯後類層次結構的狀態，JIT
編譯器可以為虛調用找到一個目標方法，並且生成直接調用目標方法的代碼而不是執行較慢的虛調用。當然，如果類層次結構發生變化，並且出現另外的目標方法，
則 JIT
編譯器可以更正最初生成的代碼以便執行虛調用。在實踐中，很少需要作出這些更正。另外，由於可能需要作出此類更正，因此靜態地執行這種優化非常麻煩。

因為動態編譯器通常只是集中編譯少量的熱方法，所以可以執行更主動的分析來生成更好的代碼，使編譯的回報更高。事實上，大部分現代的
JIT
編譯器也支持重編譯被認為是熱方法的方法。可以使用靜態編譯器（不太強調編譯時間）中常見的非常主動的優化來分析和轉換這些頻繁執行的方法，以便生成更好
的代碼並獲得更高的性能。

這些改進及其他一些類似的改進所產生的綜合效果是：對於大量的 Java 應用程序來說，動態編譯已經彌補了與 C 和 C++ 之類語言的靜態本地編譯性能之間的差距，在某些情況下，甚至超過了後者的性能。

缺點

但是，動態編譯確實具有一些缺點，這些缺點使它在某些情況下算不上一個理想的解決方案。例如，因為識別頻繁執行的方法以及編譯這些方法需要時間，所以應用
程序通常要經歷一個准備過程，在這個過程中性能無法達到其最高值。在這個准備過程中出現性能問題有幾個原因。首先，大量的初始編譯可能直接影響應用程序的
啟動時間。不僅這些編譯延遲了應用程序達到穩定狀態的時間（想像 Web
伺服器經
歷一個初始階段後才能夠執行實際有用的工作），而且在准備階段中頻繁執行的方法可能對應用程序的穩定狀態的性能所起的作用也不大。如果 JIT
編譯會延遲啟動又不能顯著改善應用程序的長期性能，則執行這種編譯就非常浪費。雖然所有的現代 JVM
都執行調優來減輕啟動延遲，但是並非在所有情況下都能夠完全解決這個問題。

其次，有些應用程序完全不能忍受動態編譯帶來的延遲。如 GUI 介面之類互動式應用程序就是這樣的例子。在這種情況下，編譯活動可能對用戶使用造成不利影響，同時又不能顯著地改善應用程序的性能。

最後，用於實時環境並具有嚴格的任務時限的應用程序可能無法忍受編譯的不確定性性能影響或動態編譯器本身的內存開銷。

因此，雖然 JIT 編譯技術已經能夠提供與靜態語言性能相當（甚至更好）的性能水平，但是動態編譯並不適合於某些應用程序。在這些情況下，Java 代碼的提前（Ahead-of-time，AOT）編譯可能是合適的解決方案。

AOT Java 編譯

大致說來，Java 語言本地編譯應該是為傳統語言（如 C++ 或
Fortran）而開發的編譯技術的一個簡單應用。不幸的是，Java 語言本身的動態特性帶來了額外的復雜性，影響了 Java
程序靜態編譯代碼的質量。但是基本思想仍然是相同的：在程序執行前生成 Java 方法的本地代碼，以便在程序運行時直接使用本地代碼。目的在於避免
JIT 編譯器的運行時性能消耗或內存消耗，或者避免解釋程序的早期性能開銷。

挑戰

動態類載入是動態 JIT 編譯器面臨的一個挑戰，也是 AOT
編譯的一個更重要的問題。只有在執行代碼引用類的時候才載入該類。因為是在程序執行前進行 AOT
編譯的，所以編譯器無法預測載入了哪些類。就是說編譯器無法獲知任何靜態欄位的地址、任何對象的任何實例欄位的偏移量或任何調用的實際目標，甚至對直接調
用（非虛調用）也是如此。在執行代碼時，如果證明對任何這類信息的預測是錯誤的，這意味著代碼是錯誤的並且還犧牲了 Java 的一致性。

因為代碼可以在任何環境中執行，所以類文件可能與代碼編譯時不同。例如，一個 JVM
實例可能從磁碟的某個特定位置載入類，而後面一個實例可能從不同的位置甚至網路載入該類。設想一個正在進行 bug
修復的開發環境：類文件的內容可能隨不同的應用程序的執行而變化。此外，Java 代碼可能在程序執行前根本不存在：比如 Java
反射服務通常在運行時生成新類來支持程序的行為。

缺少關於靜態、欄位、類和方法的信息意味著嚴重限制了 Java 編譯器中優化框架的大部分功能。內聯可能是靜態或動態編譯器應用的最重要的優化，但是由於編譯器無法獲知調用的目標方法，因此無法再使用這種優化。

內聯

內聯是一種用於在運行時生成代碼避免程序開始和結束時開銷的技術，方法是將函數的調用代碼插入到調用方的函數中。但是內聯最大的益處可能是優化方可見的代碼的范圍擴大了，從而能夠生成更高質量的代碼。下面是一個內聯前的代碼示例：

int foo() { int x=2, y=3; return bar(x,y); }final int bar(int a, int b) { return a+b; }

如果編譯器可以證明這個 bar就是 foo()中調用的那個方法，則 bar中的代碼可以取代 foo()中對
bar()的調用。這時，bar()方法是 final類型，因此肯定是 foo()中調用的那個方法。甚至在一些虛調用例子中，動態 JIT
編譯器通常能夠推測性地內聯目標方法的代碼，並且在絕大多數情況下能夠正確使用。編譯器將生成以下代碼：

int foo() { int x=2, y=3; return x+y; }

在這個例子中，簡化前名為值傳播的優化可以生成直接返回
5的代碼。如果不使用內聯，則不能執行這種優化，產生的性能就會低很多。如果沒有解析
bar()方法（例如靜態編譯），則不能執行這種優化，而代碼必須執行虛調用。運行時，實際調用的可能是另外一個執行兩個數字相乘而不是相加的
bar方法。所以不能在 Java 程序的靜態編譯期間直接使用內聯。

AOT
代碼因此必須在沒有解析每個靜態、欄位、類和方法引用的情況下生成。執行時，每個這些引用必須利用當前運行時環境的正確值進行更新。這個過程可能直接影響
第一次執行的性能，因為在第一次執行時將解析所有引用。當然，後續執行將從修補代碼中獲益，從而可以更直接地引用實例、靜態欄位或方法目標。

另外，為 Java 方法生成的本地代碼通常需要使用僅在單個 JVM 實例中使用的值。例如，代碼必須調用 JVM
運行時中的某些運行時常式來執行特定操作，如查找未解析的方法或分配內存。這些運行時常式的地址可能在每次將 JVM 載入到內存時變化。因此 AOT
編譯代碼需要綁定到 JVM 的當前執行環境中，然後才能執行。其他的例子有字元串的地址和常量池入口的內部位置。

在 WebSphere Real Time 中，AOT 本地代碼編譯通過 jxeinajar工具（參見圖 2）來執行。該工具對 JAR 文件中所有類的所有方法應用本地代碼編譯，也可以選擇性地對需要的方法應用本地代碼編譯。結果被存儲到名為 Java eXEcutable (JXE) 的內部格式中，但是也可輕松地存儲到任意的持久性容器中。

您可能認為對所有的代碼進行靜態編譯是最好的方法，因為可以在運行時執行最大數量的本地代碼。但是此處可以作出一些權衡。編譯的方法越多，代碼佔用的內存
就越多。編譯後的本地代碼大概比位元組碼大 10 倍：本地代碼本身的密度比位元組碼小，而且必須包含代碼的附加元數據，以便將代碼綁定到 JVM
中，並且在出現異常或請求堆棧跟蹤時正確執行代碼。構成普通 Java 應用程序的 JAR
文件通常包含許多很少執行的方法。編譯這些方法會消耗內存卻沒有什麼預期收益。相關的內存消耗包括以下過程：將代碼存儲到磁碟上、從磁碟取出代碼並裝入
JVM，以及將代碼綁定到 JVM。除非多次執行代碼，否則這些代價不能由本地代碼相對解釋的性能優勢來彌補。

圖 2. jxeinajar

跟大小問題相違背的一個事實是：在編譯過的方法和解釋過的方法之間進行的調用（即編譯過的方法調用解釋過的方法，或者相反）可能比這兩類方法各自內部之間
進行的調用所需的開銷大。動態編譯器通過最終編譯所有由 JIT
編譯代碼頻繁調用的那些解釋過的方法來減少這項開銷，但是如果不使用動態編譯器，則這項開銷就不可避免。因此如果是選擇性地編譯方法，則必須謹慎操作以使
從已編譯方法到未編譯方法的轉換最小化。為了在所有可能的執行中都避免這個問題而選擇正確的方法會非常困難。
優點
雖然 AOT 編譯代碼具有上述的缺點和挑戰，但是提前編譯 Java 程序可以提高性能，尤其是在不能將動態編譯器作為有效解決方案的環境中。

可以通過謹慎地使用 AOT 編譯代碼加快應用程序啟動，因為雖然這種代碼通常比 JIT
編譯代碼慢，但是卻比解釋代碼快很多倍。此外，因為載入和綁定 AOT
編譯代碼的時間通常比檢測和動態編譯一個重要方法的時間少，所以能夠在程序執行的早期達到那樣的性能。類似地，互動式應用程序可以很快地從本地代碼中獲
益，無需使用引起較差響應能力的動態編譯。

RT 應用程序也能從 AOT 編譯代碼中獲得重要的收益：更具確定性的性能超過了解釋的性能。WebSphere Real Time
使用的動態 JIT 編譯器針對在 RT 系統中的使用進行了專門的調整。使編譯線程以低於 RT
任務的優先順序操作，並且作出了調整以避免生成帶有嚴重的不確定性性能影響的代碼。但是，在一些 RT 環境中，出現 JIT
編譯器是不可接受的。此類環境通常需要最嚴格的時限管理控制。在這些例子中，AOT
編譯代碼可以提供比解釋過的代碼更好的原始性能，又不會影響現有的確定性。消除 JIT
編譯線程甚至消除了啟動更高優先順序 RT 任務時發生的線程搶占所帶來的性能影響。

優缺點統計

動態（JIT）編譯器支持平台中立性，並通過利用應用程序執行的動態行為和關於載入的類及其層次結構的信息來生成高質量的代碼。但是
JIT
編譯器具有一個有限的編譯時預算，而且會影響程序的運行時性能。另一方面，靜態（AOT）編譯器則犧牲了平台無關性和代碼質量，因為它們不能利用程序的動
態行為，也不具有關於載入的類或類層次結構的信息。AOT 編譯擁有有效無限制的編譯時預算，因為 AOT
編譯時間不會影響運行時性能，但是在實踐中開發人員不會長期等待靜態編譯步驟的完成。

表 1 總結了本文討論的 Java 語言動態和靜態編譯器的一些特性：

表 1. 比較編譯技術

兩種技術都需要謹慎選擇編譯的方法以實現最高的性能。對動態編譯器而言，編譯器自身作出決策，而對於靜態編譯器，由開發人員作出選擇。讓
JIT 編譯器選擇編譯的方法是不是優點很難說，取決於編譯器在給定情形中推斷能力的好壞。在大多數情況下，我們認為這是一種優點。

因為它們可以最好地優化運行中的程序，所以 JIT 編譯器在提供穩定狀態性能方面更勝一籌，而這一點在大量的生產 Java
系統中最為重要。靜態編譯可以產生最佳的互動式性能，因為沒有運行時編譯行為來影響用戶預期的響應時間。通過調整動態編譯器可以在某種程度上解決啟動和確
定性性能問題，但是靜態編譯在需要時可提供最快的啟動速度和最高級別的確定性。表 2 在四種不同的執行環境中對這兩種編譯技術進行了比較：

表 2. 使用這些技術的最佳環境

圖 3 展示了啟動性能和穩定狀態性能的總體趨勢：

圖 3. AOT 和 JIT 的性能對比

使用 JIT 編譯器的初始階段性能很低，因為要首先解釋方法。隨著編譯方法的增多及 JIT
執行編譯所需時間的縮短，性能曲線逐漸升高最後達到性能峰值。另一方面，AOT 編譯代碼啟動時的性能比解釋的性能高很多，但是無法達到 JIT
編譯器所能達到的最高性能。將靜態代碼綁定到 JVM 實例中會產生一些開銷，因此開始時的性能比穩定狀態的性能值低，但是能夠比使用 JIT
編譯器更快地達到穩定狀態的性能水平。

沒有一種本地代碼編譯技術能夠適合所有的 Java
執行環境。某種技術所擅長的通常正是其他技術的弱項。出於這個原因，需要同時使用這兩種編譯技術以滿足 Java
應用程序開發人員的要求。事實上，可以結合使用靜態和動態編譯以便提供最大可能的性能提升 —— 但是必須具備平台無關性，它是 Java
語言的主要賣點，因此不成問題。

結束語

本文探討了 Java 語言本地代碼編譯的問題，主要介紹了 JIT 編譯器形式的動態編譯和靜態 AOT 編譯，比較了二者的優缺點。

雖然動態編譯器在過去的十年裡實現了極大的成熟，使大量的各種 Java 應用程序可以趕上或超過靜態編譯語言（如 C++ 或
Fortran）所能夠達到的性能。但是動態編譯在某些類型的應用程序和執行環境中仍然不太合適。雖然 AOT
編譯號稱動態編譯缺點的萬能解決方案，但是由於 Java 語言本身的動態特性，它也面臨著提供本地編譯全部潛能的挑戰。

這兩種技術都不能解決 Java 執行環境中本地代碼編譯的所有需求，但是反過來又可以在最有效的地方作為工具使用。這兩種技術可以相互補充。能夠恰當地使用這兩種編譯模型的運行時系統可以使很大范圍內的應用程序開發環境中的開發人員和用戶受益。

I. 編譯程序的綜合部分

綜合階段必須根據符號表和中間語言程序產生出目標程序，其主要工作包括代碼優化、存儲分配和代碼生成。代碼優化是通過重排和改變程序中的某些操作，以產生更加有效的目標程序。存儲分配的任務是為程序和數據分配運行時的存儲單元。代碼生成的主要任務是產生與中間語言程序符等價的目標程序，順序加工中間語言程序，並利用符號表和常數表中的信息生成一系列的匯編語言或機器語言指令。 編譯過程分為分析和綜合兩個部分，並進一步劃分為詞法分析、語法分析、語義分析、代碼優化、存儲分配和代碼生成等六個相繼的邏輯步驟。這六個步驟只表示編譯程序各部分之間的邏輯聯系，而不是時間關系。編譯過程既可以按照這六個邏輯步驟順序地執行，也可以按照平行互鎖方式去執行。在確定編譯程序的具體結構時，常常分若干遍實現。對於源程序或中間語言程序，從頭到尾掃視一次並實現所規定的工作稱作一遍。每一遍可以完成一個或相連幾個邏輯步驟的工作。例如，可以把詞法分析作為第一遍；語法分析和語義分析作為第二遍；代碼優化和存儲分配作為第三遍；代碼生成作為第四遍。反之，為了適應較小的存儲空間或提高目標程序質量，也可以把一個邏輯步驟的工作分為幾遍去執行。例如，代碼優化可劃分為代碼優化准備工作和實際代碼優化兩遍進行。
一個編譯程序是否分遍,以及如何分遍,根據具體情況而定。其判別標准可以是存儲容量的大小、源語言的繁簡、解題范圍的寬窄，以及設計、編制人員的多少等。分遍的好處是各遍功能獨立單純、相互聯系簡單、邏輯結構清晰、優化准備工作充分。缺點是各遍之中不可避免地要有些重復的部分，而且遍和遍之間要有交接工作，因之增加了編譯程序的長度和編譯時間。
一遍編譯程序是一種極端情況，整個編譯程序同時駐留在內存,彼此之間採用調用轉接方式連接在一起(圖2)。當語法分析程序需要新符號時，它就調用詞法分析程序；當它識別出某一語法結構時，它就調用語義分析程序。語義分析程序對識別出的結構進行語義檢查，並調用「存儲分配」和「代碼生成」程序生成相應的目標語言指令。
隨著程序設計語言在形式化、結構化、直觀化和智能化等方面的發展，作為實現相應語言功能的編譯程序，也正向自動程序設計的目標發展，以便提供理想的程序設計工具。
參考書目
陳火旺、錢家驊、孫永強編：《編譯原理》，國防工業出版社，北京，1980。
A.V.Aho, Principles of Compiler Design,Addison Wes-ley, Reading, Massachusetts, 1977. 20世紀80年代以後，程序設計語言在形式化、結構化、直觀化和智能化等方面有了長足的進步和發展，主要表現在兩個方面：①隨著程序設計理論和方法的發展，相繼推出了一系列新型程序設計語言，如結構化程序設計語言、並發程序設計語言、分布式程序設計語言、函數式程序設計語言、智能化程序設計語言、面向對象程序設計語言等；②基於語法、語義和語用方面的研究成果，從不同的角度和層次上深刻地揭示了程序設計語言的內在規律和外在表現形式。與此相應地，作為實現程序設計語言重要手段之一的編譯程序，在體系結構、設計思想、實現技術和處理內容等方面均有不同程度的發展、變化和擴充。另外，編譯程序已作為實現編程的重要軟體工具，被納入到軟體支援環境的基本層軟體工具之中。因此，規劃編譯程序實現方案時，應從所處的具體軟體支援環境出發，既要遵循整個環境的全局性要求和規定，又要精心考慮與其他諸層軟體 工具之間的相互支援、配合和銜接關系。

J. 做數據分析必須學R語言的4個理由

做數據分析必須學R語言的4個理由

R 是一種靈活的編程語言，專為促進探索性數據分析、經典統計學測試和高級圖形學而設計。R 擁有豐富的、仍在不斷擴大的數據包庫，處於統計學、數據分析和數據挖掘發展的前沿。R 已證明自己是不斷成長的大數據領域的一個有用工具，並且已集成到多個商用包中，比如 IBM SPSS? 和 InfoSphere?，以及 Mathematica。
本文提供了一位統計學家Catherine Dalzell對 R 的價值的看法。
為什麼選擇 R?
R可以執行統計。您可以將它視為 SAS Analytics 等分析系統的競爭對手，更不用提 StatSoft STATISTICA 或 Minitab 等更簡單的包。政府、企業和制葯行業中許多專業統計學家和方法學家都將其全部職業生涯都投入到了 IBM SPSS 或 SAS 中，但卻沒有編寫過一行 R 代碼。所以從某種程度上講，學習和使用 R 的決定事關企業文化和您希望如何工作。我在統計咨詢實踐中使用了多種工具，但我的大部分工作都是在 R 中完成的。以下這些示例給出了我使用 R 的原因：
R 是一種強大的腳本語言。我最近被要求分析一個范圍研究的結果。研究人員檢查了 1,600 篇研究論文，並依據多個條件對它們的內容進行編碼，事實上，這些條件是大量具有多個選項和分叉的條件。它們的數據(曾經扁平化到一個 Microsoft? Excel? 電子表格上)包含 8,000 多列，其中大部分都是空的。研究人員希望統計不同類別和標題下的總數。R 是一種強大的腳本語言，能夠訪問類似 Perl 的正則表達式來處理文本。凌亂的數據需要一種編程語言資源，而且盡管 SAS 和 SPSS 提供了腳本語言來執行下拉菜單意外的任務，但 R 是作為一種編程語言編寫的，所以是一種更適合該用途的工具。
R 走在時代的前沿。統計學中的許多新發展最初都是以 R 包的形式出現的，然後才被引入到商業平台中。我最近獲得了一項對患者回憶的醫療研究的數據。對於每位患者，我們擁有醫生建議的治療項目數量，以及患者實際記住的項目數量。自然模型是貝塔—二項分布。這從上世紀 50 年代就已知道，但將該模型與感興趣的變數相關聯的估算過程是最近才出現的。像這樣的數據通常由廣義估計方程式 (general estimating equations, GEE) 處理，但 GEE 方法是漸進的，而且假設抽樣范圍很廣。我想要一種具有貝塔—二項 R 的廣義線性模型。一個最新的 R 包估算了這一模型：Ben Bolker 編寫的 betabinom。而 SPSS 沒有。
集成文檔發布。 R 完美地集成了 LaTeX 文檔發布系統，這意味著來自 R 的統計輸出和圖形可嵌入到可供發布的文檔中。這不是所有人都用得上，但如果您希望便攜非同步關於數據分析的書籍，或者只是不希望將結果復制到文字處理文檔，最短且最優雅的路徑就是通過 R 和 LaTeX。
沒有成本。作為一個小型企業的所有者，我很喜歡 R 的免費特定。即使對於更大的企業，知道您能夠臨時調入某個人並立即讓他們坐在工作站旁使用一流的分析軟體，也很不錯。無需擔憂預算。
R 是什麼，它有何用途?
作為一種編程語言，R 與許多其他語言都很類似。任何編寫過代碼的人都會在 R 中找到很多熟悉的東西。R 的特殊性在於它支持的統計哲學。
一種統計學革命：S 和探索性數據分析
140 字元的解釋：R 是 S 的一種開源實現，是一種用於數據分析和圖形的編程環境。
計算機總是擅長計算 — 在您編寫並調試了一個程序來執行您想要的演算法後。但在上世紀 60 和 70 年代，計算機並不擅長信息的顯示，尤其是圖形。這些技術限制在結合統計理論中的趨勢，意味著統計實踐和統計學家的培訓專注於模型構建和假設測試。一個人假定這樣一個世界，研究人員在其中設定假設(常常是農業方面的)，構建精心設計的實驗(在一個農業站)，填入模型，然後運行測試。一個基於電子表格、菜單驅動的程序(比如 SPSS 反映了這一方法)。事實上，SPSS 和 SAS Analytics 的第一個版本包含一些子常式，這些子常式可從一個(Fortran 或其他)程序調用來填入和測試一個模型工具箱中的一個模型。
在這個規范化和滲透理論的框架中，John Tukey 放入了探索性數據分析 (EDA) 的概念，這就像一個鵝卵石擊中了玻璃屋頂。如今，很難想像沒有使用箱線圖(box plot) 來檢查偏度和異常值就開始分析一個數據集的情形，或者沒有針對一個分位點圖檢查某個線性模型殘差的常態的情形。這些想法由 Tukey 提出，現在任何介紹性的統計課程都會介紹它們。但並不總是如此。
與其說 EDA 是一種理論，不如說它是一種方法。該方法離不開以下經驗規則：
只要有可能，就應使用圖形來識別感興趣的功能。
分析是遞增的。嘗試以下這種模型;根據結果來填充另一個模型。
使用圖形檢查模型假設。標記存在異常值。
使用健全的方法來防止違背分布假設。
Tukey 的方法引發了一個新的圖形方法和穩健估計的發展浪潮。它還啟發了一個更適合探索性方法的新軟體框架的開發。
S 語言是在貝爾實驗室由 John Chambers 和同事開發的，被用作一個統計分析平台，尤其是 Tukey 排序。第一個版本(供貝爾實驗室內部使用)於 1976 年開發，但直到 1988 年，它才形成了類似其當前形式的版本。在這時，該語言也可供貝爾實驗室外部的用戶使用。該語言的每個方面都符合數據分析的 「新模型」：
S 是一種在編程環境操作的解釋語言。S 語法與 C 的語法很相似，但省去了困難的部分。S 負責執行內存管理和變數聲明，舉例而言，這樣用戶就無需編寫或調試這些方面了。更低的編程開銷使得用戶可以在同一個數據集上快速執行大量分析。
從一開始，S 就考慮到了高級圖形的創建，您可向任何打開的圖形窗口添加功能。您可很容易地突出興趣點，查詢它們的值，使散點圖變得更平滑，等等。
面向對象性是 1992 年添加到 S 中的。在一個編程語言中，對象構造數據和函數來滿足用戶的直覺。人類的思維始終是面向對象的，統計推理尤其如此。統計學家處理頻率表、時間序列、矩陣、具有各種數據類型的電子表格、模型，等等。在每種情況下，原始數據都擁有屬性和期望值：舉例而言，一個時間序列包含觀察值和時間點。而且對於每種數據類型，都應得到標准統計數據和平面圖。對於時間序列，我可能繪制一個時間序列平面圖和一個相關圖;對於擬合模型，我可能繪制擬合值和殘差。S 支持為所有這些概念創建對象，您可以根據需要創建更多的對象類。對象使得從問題的概念化到其代碼的實現變得非常簡單。
一種具有態度的語言：S、S-Plus 和假設測試
最初的 S 語言非常重視 Tukey 的 EDA，已達到只能 在 S 中執行 EDA 而不能執行其他任何操作的程度。這是一種具有態度的語言。舉例而言，盡管 S 帶來了一些有用的內部功能，但它缺乏您希望統計軟體擁有的一些最明顯的功能。沒有函數來執行雙抽樣測試或任何類型的真實假設測試。但 Tukey 認為，假設測試有時正合適。
1988 年，位於西雅圖的 Statistical Science 獲得 S 的授權，並將該語言的一個增強版本(稱為 S-Plus)移植到 DOS 以及以後的 Windows? 中。實際認識到客戶想要什麼後，Statistical Science 向 S-Plus 添加了經典統計學功能。添加執行方差分析 (ANOVA)、測試和其他模型的功能。對 S 的面向對象性而言，任何這類擬合模型的結果本身都是一個 S 對象。合適的函數調用都會提供假設測試的擬合值、殘差和 p-值。模型對象甚至可以包含分析的中間計算步驟，比如一個設計矩陣的 QR 分解(其中 Q 是對角線，R 是右上角)。
有一個 R 包來完成該任務!還有一個開源社區
大約在與發布 S-Plus 相同的時間，紐西蘭奧克蘭大學的 Ross Ihaka 和 Robert Gentleman 決定嘗試編寫一個解釋器。他們選擇了 S 語言作為其模型。該項目逐漸成形並獲得了支持。它們將其命名為 R。
R 是 S 的一種實現，包含 S-Plus 開發的更多模型。有時候，發揮作用的是同一些人。R 是 GNU 許可下的一個開源項目。在此基礎上，R 不斷發展，主要通過添加包。R 包 是一個包含數據集、R 函數、文檔和 C 或 Fortran 動態載入項的集合，可以一起安裝並從 R 會話訪問。R 包向 R 添加新功能，通過這些包，研究人員可在同行之間輕松地共享計算方法。一些包的范圍有限，另一些包代表著整個統計學領域，還有一些包含最新的技術發展。事實上，統計學中的許多發展最初都是以 R 包形式出現的，然後才應用到商用軟體中。
在撰寫本文時，R 下載站點 CRAN 上已有 4,701 個 R 包。其中，單單那一天就添加了 6 個 R 。萬事萬物都有一個對應的 R 包，至少看起來是這樣。
我在使用 R 時會發生什麼?
備註：本文不是一部 R 教程。下面的示例僅試圖讓您了解 R 會話看起來是什麼樣的。
R 二進制文件可用於 Windows、Mac OS X 和多個 Linux? 發行版。源代碼也可供人們自行編譯。
在 Windows? 中，安裝程序將 R 添加到開始菜單中。要在 Linux 中啟動 R，可打開一個終端窗口並在提示符下鍵入 R。您應看到類似圖 1 的畫面。

圖 1. R 工作區
在提示符下鍵入一個命令，R 就會響應。
此時，在真實的環境中，您可能會從一個外部數據文件將數據讀入 R 對象中。R 可從各種不同格式的文件讀取數據，但對於本示例，我使用的是來自 MASS 包的 michelson 數據。這個包附帶了 Venables and Ripley 的標志性文本 Modern Applied Statistics with S-Plus(參見 參考資料)。michelson 包含來自測量光速的流行的 Michelson and Morley 實驗的結果。
清單 1 中提供的命令可以載入 MASS 包，獲取並查看 michelson 數據。圖 2 顯示了這些命令和來自 R 的響應。每一行包含一個 R 函數，它的參數放在方括弧 ([]) 內。
清單 1. 啟動一個 R 會話
2+2 # R can be a calculator. R responds, correctly, with 4.
library(「MASS」) # Loads into memory the functions and data sets from
# package MASS, that accompanies Modern Applied Statistics in S
data(michelson) # Copies the michelson data set into the workspace.
ls() # Lists the contents of the workspace. The michelson data is there.
head(michelson) # Displays the first few lines of this data set.
# Column Speed contains Michelson and Morleys estimates of the
# speed of light, less 299,000, in km/s.
# Michelson and Morley ran five experiments with 20 runs each.
# The data set contains indicator variables for experiment and run.
help(michelson) # Calls a help screen, which describes the data set.
圖 2. 會話啟動和 R 的響應

現在讓我們看看該數據(參見 清單 2)。輸出如 圖 3 中所示。
清單 2. R 中的一個箱線圖
# Basic boxplot
with(michelson, boxplot(Speed ~ Expt))
# I can add colour and labels. I can also save the results to an object.
michelson.bp = with(michelson, boxplot(Speed ~ Expt, xlab=」Experiment」, las=1,
ylab=」Speed of Light – 299,000 m/s」,
main=」Michelson-Morley Experiments」,
col=」slateblue1″))
# The current estimate of the speed of light, on this scale, is 734.5
# Add a horizontal line to highlight this value.
abline(h=734.5, lwd=2,col=」purple」) #Add modern speed of light
Michelson and Morley 似乎有計劃地高估了光速。各個實驗之間似乎也存在一定的不均勻性。
圖 3. 繪制一個箱線圖

在對分析感到滿意後，我可以將所有命令保存到一個 R 函數中。參見清單 3。
清單 3. R 中的一個簡單函數
MyExample = function(){
library(MASS)
data(michelson)
michelson.bw = with(michelson, boxplot(Speed ~ Expt, xlab=」Experiment」, las=1,
ylab=」Speed of Light – 299,000 m/s」, main=」Michelsen-Morley Experiments」,
col=」slateblue1″))
abline(h=734.5, lwd=2,col=」purple」)
}
這個簡單示例演示了 R 的多個重要功能：
保存結果—boxplot() 函數返回一些有用的統計數據和一個圖表，您可以通過類似 michelson.bp = … 的負值語句將這些結果保存到一個 R 對象中，並在需要時提取它們。任何賦值語句的結果都可在 R 會話的整個過程中獲得，並且可以作為進一步分析的主題。boxplot 函數返回一個用於繪制箱線圖的統計數據(中位數、四分位等)矩陣、每個箱線圖中的項數，以及異常值(在 圖 3 中的圖表上顯示為開口圓)。請參見圖 4。
圖 4. 來自 boxplot 函數的統計數據

公式語言— R(和 S)有一種緊湊的語言來表達統計模型。參數中的代碼 Speed ~ Expt 告訴函數在每個 Expt (實驗數字)級別上繪制 Speed 的箱線圖。如果希望執行方差分析來測試各次實驗中的速度是否存在顯著差異，那麼可以使用相同的公式：lm(Speed ~ Expt)。公式語言可表達豐富多樣的統計模型，包括交叉和嵌套效應，以及固定和隨機因素。
用戶定義的 R 函數— 這是一種編程語言。
R 已進入 21 世紀
Tukey 的探索性數據分析方法已成為常規課程。我們在教授這種方法，而統計學家也在使用該方法。R 支持這種方法，這解釋了它為什麼仍然如此流行的原因。面向對象性還幫助 R 保持最新，因為新的數據來源需要新的數據結構來執行分析。InfoSphere? Streams 現在支持對與 John Chambers 所設想的不同的數據執行 R 分析。
R 與 InfoSphere Streams
InfoSphere Streams 是一個計算平台和集成開發環境，用於分析從數千個來源獲得的高速數據。這些數據流的內容通常是非結構化或半結構化的。分析的目的是檢測數據中不斷變化的模式，基於快速變化的事件來指導決策。SPL(用於 InfoSphere Streams 的編程語言)通過一種範例來組織數據，反映了數據的動態性以及對快速分析和響應的需求。
我們已經距離用於經典統計分析的電子表格和常規平面文件很遠，但 R 能夠應付自如。從 3.1 版開始，SPL 應用程序可將數據傳遞給 R，從而利用 R 龐大的包庫。InfoSphere Streams 對 R 的支持方式是，創建合適的 R 對象來接收 SPL 元組(SPL 中的基本數據結構)中包含的信息。InfoSphere Streams 數據因此可傳遞給 R 供進一步分析，並將結果傳回到 SPL。
R 需要主流硬體嗎?
我在一台運行 Crunchbang Linux 的宏碁上網本上運行了這個示例。R 不需要笨重的機器來執行中小規模的分析。20 年來，人們一直認為 R 之所以緩慢是因為它是一種解釋性語言，而且它可以分析的數據大小受計算機內存的限制。這是真的，但這通常與現代機器毫無干係，除非應用程序非常大(大數據)。
R 的不足之處
公平地講，R 也有一些事做不好或完全不會做。不是每個用戶都適合使用 R：
R 不是一個數據倉庫。在 R 中輸入數據的最簡單方式是，將數據輸入到其他地方，然後將它導入到 R 中。人們已經努力地為 R 添加了一個電子表格前端，但它們還沒流行起來。電子表格功能的缺乏不僅會影響數據輸入，還會讓以直觀的方式檢查 R 中的數據變得很困難，就像在 SPSS 或 Excel 中一樣。
R 使普通的任務變得很困難。舉例而言，在醫療研究中，您對數據做的第一件事就是計算所有變數的概括統計量，列出無響應的地方和缺少的數據。這在 SPSS 中只需 3 次單擊即可完成，但 R 沒有內置的函數來計算這些非常明顯的信息，並以表格形式顯示它。您可以非常輕松地編寫一些代碼，但有時您只是想指向要計算的信息並單擊滑鼠。
R 的學習曲線是非平凡的。初學者可打開一個菜單驅動的統計平台並在幾分鍾內獲取結果。不是每個人都希望成為程序員，然後再成為一名分析家，而且或許不是每個人都需要這么做。
R 是開源的。R 社區很大、非常成熟並且很活躍，R 無疑屬於比較成功的開源項目。前面已經提到過，R 的實現已有超過 20 年歷史，S 語言的存在時間更長。這是一個久經考驗的概念和久經考驗的產品。但對於任何開源產品，可靠性都離不開透明性。我們信任它的代碼，因為我們可自行檢查它，而且其他人可以檢查它並報告錯誤。這與自行執行基準測試並驗證其軟體的企業項目不同。而且對於更少使用的 R 包，您沒有理由假設它們會實際生成正確的結果。
結束語
我是否需要學習 R?或許不需要;需要 是一個感情很強烈的詞。但 R 是否是一個有價值的數據分析工具呢?當然是的。該語言專為反映統計學家的思考和工作方式而設計。R 鞏固了良好的習慣和合理的分析。對我而言，它是適合我的工作的工具。