編譯器ast解析

① C語言VC編譯器出現無法解析的外部命令LNK200

C語言中，要寫成 struct DirList，不可以直接 DirList

② 用Java怎麼解析C/C++代碼生成AST抽象語法樹結構

其中一個明顯的例子是Eclipse CDT里的parser。
它是完全用Java實現的，手寫的遞歸下降parser，能把C或C++源碼parse成AST供Eclipse CDT的IDE功能使用。它支持C99語法（包括GCC擴展）、C++語法（我沒仔細看現在支持到什麼版本了）等。
它並不用於實際的編譯（這跟Eclipse JDT里的Eclipse Compiler for Java不同）；實際編譯還是交給諸如GCC、xlc之類的編譯器去完成。
關於Eclipse CDT里的C與C++ parser的介紹，請參考

③ 「編譯」與「編譯器」是什麼意思

編譯是動詞
編譯器是名詞
編譯(compilation , compile)
1、利用編譯程序從源語言編寫的源程序產生目標程序的過程。
2、用編譯程序產生目標程序的動作。

編譯就是把高級語言變成計算機可以識別的2進制語言，計算機只認識1和0，編譯程序把人們熟悉的語言換成2進制的。
編譯程序把一個源程序翻譯成目標程序的工作過程分為五個階段：詞法分析；語法分析；中間代碼生成；代碼優化；目標代碼生成。主要是進行詞法分析和語法分析，又稱為源程序分析，分析過程中發現有語法錯誤，給出提示信息。
（1） 詞法分析
詞法分析的任務是對由字元組成的單詞進行處理，從左至右逐個字元地對源程序進行掃描，產生一個個的單詞符號，把作為字元串的源程序改造成為單詞符號串的中間程序。執行詞法分析的程序稱為詞法分析程序或掃描器。
源程序中的單詞符號經掃描器分析，一般產生二元式：單詞種別；單詞自身的值。單詞種別通常用整數編碼，如果一個種別只含一個單詞符號，那麼對這個單詞符號，種別編碼就完全代表它自身的值了。若一個種別含有許多個單詞符號，那麼，對於它的每個單詞符號，除了給出種別編碼以外，還應給出自身的值。
詞法分析器一般來說有兩種方法構造：手工構造和自動生成。手工構造可使用狀態圖進行工作，自動生成使用確定的有限自動機來實現。
（2） 語法分析
編譯程序的語法分析器以單詞符號作為輸入，分析單詞符號串是否形成符合語法規則的語法單位，如表達式、賦值、循環等，最後看是否構成一個符合要求的程序，按該語言使用的語法規則分析檢查每條語句是否有正確的邏輯結構，程序是最終的一個語法單位。編譯程序的語法規則可用上下文無關文法來刻畫。
語法分析的方法分為兩種：自上而下分析法和自下而上分析法。自上而下就是從文法的開始符號出發，向下推導，推出句子。而自下而上分析法採用的是移進歸約法，基本思想是：用一個寄存符號的先進後出棧，把輸入符號一個一個地移進棧里，當棧頂形成某個產生式的一個候選式時，即把棧頂的這一部分歸約成該產生式的左鄰符號。
（3） 中間代碼生成
中間代碼是源程序的一種內部表示，或稱中間語言。中間代碼的作用是可使編譯程序的結構在邏輯上更為簡單明確，特別是可使目標代碼的優化比較容易實現。中間代碼即為中間語言程序，中間語言的復雜性介於源程序語言和機器語言之間。中間語言有多種形式，常見的有逆波蘭記號、四元式、三元式和樹。
（4） 代碼優化
代碼優化是指對程序進行多種等價變換，使得從變換後的程序出發，能生成更有效的目標代碼。所謂等價，是指不改變程序的運行結果。所謂有效，主要指目標代碼運行時間較短，以及佔用的存儲空間較小。這種變換稱為優化。
有兩類優化：一類是對語法分析後的中間代碼進行優化，它不依賴於具體的計算機；另一類是在生成目標代碼時進行的，它在很大程度上依賴於具體的計算機。對於前一類優化，根據它所涉及的程序范圍可分為局部優化、循環優化和全局優化三個不同的級別。
（5） 目標代碼生成
目標代碼生成是編譯的最後一個階段。目標代碼生成器把語法分析後或優化後的中間代碼變換成目標代碼。目標代碼有三種形式：
① 可以立即執行的機器語言代碼，所有地址都重定位；
② 待裝配的機器語言模塊，當需要執行時，由連接裝入程序把它們和某些運行程序連接起來，轉換成能執行的機器語言代碼；
③ 匯編語言代碼，須經過匯編程序匯編後，成為可執行的機器語言代碼。
目標代碼生成階段應考慮直接影響到目標代碼速度的三個問題：一是如何生成較短的目標代碼；二是如何充分利用計算機中的寄存器，減少目標代碼訪問存儲單元的次數；三是如何充分利用計算機指令系統的特點，以提高目標代碼的質量。
編譯器，是將便於人編寫，閱讀，維護的高級計算機語言翻譯為計算機能解讀、運行的低階機器語言的程序。編譯器將原始程序（Source program）作為輸入，翻譯產生使用目標語言（Target language）的等價程序。源代碼一般為高階語言 (High-level language), 如 Pascal、C++、Java 等，而目標語言則是匯編語言或目標機器的目標代碼（Object code），有時也稱作機器代碼（Machine code）。
一個現代編譯器的主要工作流程如下：
源代碼 (source code) → 預處理器 (preprocessor) → 編譯器 (compiler) → 匯編程序 (assembler) → 目標代碼 (object code) → 連接器 (Linker) → 可執行程序 (executables)

工作原理
[編輯本段]

編譯是從源代碼（通常為高階語言）到能直接被計算機或虛擬機執行的目標代碼（通常為低階語言或機器語言）的翻譯過程。然而，也存在從低階語言到高階語言的編譯器，這類編譯器中用來從由高階語言生成的低階語言代碼重新生成高階語言代碼的又被叫做反編譯器。也有從一種高階語言生成另一種高階語言的編譯器，或者生成一種需要進一步處理的的中間代碼的編譯器（又叫級聯）。
典型的編譯器輸出是由包含入口點的名字和地址, 以及外部調用（到不在這個目標文件中的函數調用）的機器代碼所組成的目標文件。一組目標文件，不必是同一編譯器產生，但使用的編譯器必需採用同樣的輸出格式，可以鏈接在一起並生成可以由用戶直接執行的可執行程序。

編譯器種類
[編輯本段]

編譯器可以生成用來在與編譯器本身所在的計算機和操作系統（平台）相同的環境下運行的目標代碼，這種編譯器又叫做「本地」編譯器。另外，編譯器也可以生成用來在其它平台上運行的目標代碼，這種編譯器又叫做交叉編譯器。交叉編譯器在生成新的硬體平台時非常有用。「源碼到源碼編譯器」是指用一種高階語言作為輸入，輸出也是高階語言的編譯器。例如: 自動並行化編譯器經常採用一種高階語言作為輸入，轉換其中的代碼，並用並行代碼注釋對它進行注釋（如OpenMP）或者用語言構造進行注釋（如FORTRAN的DOALL指令）。

預處理器（preprocessor）

作用是通過代入預定義等程序段將源程序補充完整。

編譯器前端（frontend）

前端主要負責解析（parse）輸入的源代碼，由語法分析器和語意分析器協同工作。語法分析器負責把源代碼中的『單詞』（Token）找出來,語意分析器把這些分散的單詞按預先定義好的語法組裝成有意義的表達式，語句 ，函數等等。 例如「a = b + c;」前端語法分析器看到的是「a, =, b , +, c;」，語意分析器按定義的語法，先把他們組裝成表達式「b + c」，再組裝成「a = b + c」的語句。 前端還負責語義（semantic checking）的檢查，例如檢測參與運算的變數是否是同一類型的，簡單的錯誤處理。最終的結果常常是一個抽象的語法樹（abstract syntax tree，或 AST），這樣後端可以在此基礎上進一步優化，處理。

編譯器後端（backend）

編譯器後端主要負責分析，優化中間代碼（Intermediate representation）以及生成機器代碼（Code Generation）。

一般說來所有的編譯器分析，優化，變型都可以分成兩大類： 函數內（intraproceral）還是函數之間（interproceral）進行。很明顯，函數間的分析，優化更准確，但需要更長的時間來完成。

編譯器分析（compiler analysis）的對象是前端生成並傳遞過來的中間代碼，現代的優化型編譯器（optimizing compiler）常常用好幾種層次的中間代碼來表示程序，高層的中間代碼（high level IR）接近輸入的源代碼的格式，與輸入語言相關（language dependent），包含更多的全局性的信息，和源代碼的結構；中層的中間代碼（middle level IR）與輸入語言無關，低層的中間代碼(Low level IR)與機器語言類似。 不同的分析，優化發生在最適合的那一層中間代碼上。

常見的編譯分析有函數調用樹（call tree），控制流程圖（Control flow graph），以及在此基礎上的 變數定義－使用，使用－定義鏈（define-use/use-define or u-d/d-u chain），變數別名分析（alias analysis），指針分析（pointer analysis），數據依賴分析（data dependence analysis）等等。

上述的程序分析結果是編譯器優化（compiler optimization）和程序變形（compiler transformation）的前提條件。常見的優化和變新有：函數內嵌（inlining），無用代碼刪除（Dead code elimination），標准化循環結構（loop normalization），循環體展開（loop unrolling），循環體合並，分裂（loop fusion，loop fission），數組填充（array padding），等等。 優化和變形的目標是減少代碼的長度，提高內存（memory），緩存（cache）的使用率，減少讀寫磁碟，訪問網路數據的頻率。更高級的優化甚至可以把序列化的代碼（serial code）變成並行運算，多線程的代碼（parallelized，multi-threaded code）。

機器代碼的生成是優化變型後的中間代碼轉換成機器指令的過程。現代編譯器主要採用生成匯編代碼（assembly code）的策略，而不直接生成二進制的目標代碼（binary object code）。即使在代碼生成階段，高級編譯器仍然要做很多分析，優化，變形的工作。例如如何分配寄存器（register allocatioin），如何選擇合適的機器指令（instruction selection），如何合並幾句代碼成一句等等。

編譯語言與直譯語言對比
[編輯本段]

許多人將高階程序語言分為兩類: 編譯型語言 和 直譯型語言 。然而，實際上，這些語言中的大多數既可用編譯型實現也可用直譯型實現，分類實際上反映的是那種語言常見的實現方式。（但是，某些直譯型語言，很難用編譯型實現。比如那些允許 在線代碼更改 的直譯型語言。）

歷史
[編輯本段]

上世紀50年代，IBM的John Backus帶領一個研究小組對FORTRAN語言及其編譯器進行開發。但由於當時人們對編譯理論了解不多，開發工作變得既復雜又艱苦。與此同時，Noam Chomsky開始了他對自然語言結構的研究。他的發現最終使得編譯器的結構異常簡單，甚至還帶有了一些自動化。Chomsky的研究導致了根據語言文法的難易程度以及識別它們所需要的演算法來對語言分類。正如現在所稱的Chomsky架構（Chomsky Hierarchy），它包括了文法的四個層次：0型文法、1型文法、2型文法和3型文法，且其中的每一個都是其前者的特殊情況。2型文法（或上下文無關文法）被證明是程序設計語言中最有用的，而且今天它已代表著程序設計語言結構的標准方式。分析問題（parsing problem，用於上下文無關文法識別的有效演算法）的研究是在60年代和70年代，它相當完善的解決了這個問題。現在它已是編譯原理中的一個標准部分。

有限狀態自動機（Finite Automaton）和正則表達式（Regular Expression）同上下文無關文法緊密相關，它們與Chomsky的3型文法相對應。對它們的研究與Chomsky的研究幾乎同時開始，並且引出了表示程序設計語言的單詞的符號方式。

人們接著又深化了生成有效目標代碼的方法，這就是最初的編譯器，它們被一直使用至今。人們通常將其稱為優化技術（Optimization Technique），但因其從未真正地得到過被優化了的目標代碼而僅僅改進了它的有效性，因此實際上應稱作代碼改進技術（Code Improvement Technique）。

當分析問題變得好懂起來時，人們就在開發程序上花費了很大的功夫來研究這一部分的編譯器自動構造。這些程序最初被稱為編譯器的編譯器（Compiler-compiler），但更確切地應稱為分析程序生成器（Parser Generator），這是因為它們僅僅能夠自動處理編譯的一部分。這些程序中最著名的是Yacc（Yet Another Compiler-compiler），它是由Steve Johnson在1975年為Unix系統編寫的。類似的，有限狀態自動機的研究也發展了一種稱為掃描程序生成器（Scanner Generator）的工具，Lex（與Yacc同時，由Mike Lesk為Unix系統開發）是這其中的佼佼者。

在70年代後期和80年代早期，大量的項目都貫注於編譯器其它部分的生成自動化，這其中就包括了代碼生成。這些嘗試並未取得多少成功，這大概是因為操作太復雜而人們又對其不甚了解。

編譯器設計最近的發展包括：首先，編譯器包括了更加復雜演算法的應用程序它用於推斷或簡化程序中的信息；這又與更為復雜的程序設計語言的發展結合在一起。其中典型的有用於函數語言編譯的Hindley-Milner類型檢查的統一演算法。其次，編譯器已越來越成為基於窗口的交互開發環境（Interactive Development Environment，IDE）的一部分，它包括了編輯器、連接程序、調試程序以及項目管理程序。這樣的IDE標准並沒有多少，但是對標準的窗口環境進行開發已成為方向。另一方面，盡管近年來在編譯原理領域進行了大量的研究，但是基本的編譯器設計原理在近20年中都沒有多大的改變，它現在正迅速地成為計算機科學課程中的中心環節。

在九十年代，作為GNU項目或其它開放源代碼項目標一部分，許多免費編譯器和編譯器開發工具被開發出來。這些工具可用來編譯所有的計算機程序語言。它們中的一些項目被認為是高質量的，而且對現代編譯理論感興趣的人可以很容易的得到它們的免費源代碼。

大約在1999年，SGI公布了他們的一個工業化的並行化優化編譯器Pro64的源代碼，後被全世界多個編譯器研究小組用來做研究平台，並命名為Open64。Open64的設計結構好，分析優化全面，是編譯器高級研究的理想平台。

④ ast樹開源

您好，AST樹是Abstract Syntax Tree的縮寫，它是一種抽象語法樹，是一種用於表示程序語法結構改凳的數據結構。它鏈運可以用核喚旅來表示編程語言的語法結構，用於描述程序語言的語法結構，以及用於程序分析和編譯器的實現。AST樹可以用來表示程序的語法結構，以及用於程序分析和編譯器的實現。AST樹的開源實現有很多，比如ANTLR，Eclipse AST，JavaCC，JastAdd等。它們都是用來提供AST樹的開源實現，可以用來構建編譯器，解釋器，代碼分析器，以及其他程序分析工具。

⑤ 編譯器內部使用了哪些技術

編譯器是一種將高級語言代碼轉換為機器語言代碼的工具。在編譯器內部，使用了許多技術來實現代碼的轉換和優化。

其中一些常見的技術包括：

詞法分析器（Lexer）：將源代碼轉換為一個個標記（Token），並去除無用的空格和注釋。

語法分析器（Parser）：將標記轉換為抽象語法樹（AST），並舉隱檢查語正虛廳法是否正確。

語義分析器（Semantic Analyzer）：對AST進行分析，檢查變數、函數、類型等是否符合規范，並進行類型檢查等操作。

優譽早化器（Optimizer）：對生成的機器語言代碼進行優化，以提高代碼的執行效率和空間利用率。

代碼生成器（Code Generator）：將優化後的代碼生成可執行的機器語言代碼。

調試器（Debugger）：用於調試生成的代碼，可以在代碼執行過程中進行斷點調試、變數監視等操作。

編譯器內部使用這些技術，可以提高代碼的執行效率、減少代碼出錯的概率，並方便程序員進行調試和維護。
碼字不易，希望能幫到您！ 求採納...

⑥ C++編譯器變數未初始化錯誤解析

變數未初始化是C++編程中最為常見和易犯的錯誤之一。在C++中叢族，為變數所分配的內存空間並不是完全「干凈的」，也不會在分配空間時自動做清零處理。其結果就是，一個未初雹慎始化的變數將包含某個值，但沒辦法准確地知道這個值是多少。此外，每次執行這個程序的時候，該變數的值可能都會源鄭敬發生改變。這就有可能產生間歇性發作的問題，是特別難以追蹤的。

⑦ php程序編譯中常見錯誤信息及解釋

編寫程序時 無論怎樣小心謹慎 犯錯總是在所難免的 這些錯誤通常會迷惑PHP編譯器 如果開發人員無法了解編譯器報錯信息的含義 那麼這些錯誤信息不僅毫無用處 還會常常讓人感到沮喪 編譯PHP腳本時 PHP編譯器會盡其所能報告它遇到的第一個問題 這樣就產生一個問題 只有當錯誤出現時 PHP才能將它識別出來(本文後面對此問題進行了詳細描述) 正是由於這個緣故 編譯器指出出錯的那行 從表面上看來可能語法正確無誤 或者可能是根本就不存在的一行!更好地理解錯誤信息可以大大節省確定並改正錯誤內容所花費的時間 因此 在本文中 我將努力闡明多種不同類型的PHP報錯信息 以及在開發過程中如何正確理解各種報錯信息的含義 本文中所講述的內容與您所應用的PHP的版本無關 因為本文所描述的各種錯誤並不限定於某一特殊版本的特定錯誤 另外我們假定您是一位初級或者中級程序員 並已經從事編程工作有半年或一年的時間 編譯器的工作方式要搞清楚編譯器為什麼會報告某一行上存在錯誤 首先必須明確編譯器解析PHP代碼的機制 我並不打算在本文中對此進行詳細論述 但是 我們將會討論一些更易於引發錯誤的簡單概念 變數聲明如果在一條語句中聲明一個變數 具體方式如下所示 $variable = value ;編譯器首先求出語句右半部分的值(即等號右邊的所有內容) 在一些編程書籍中 將此表示為語句的 RHS (右半部分) 恰恰正是語句的這一部分常常會引發錯大逗誤 如果使用的語法不正確 就會出現解析錯誤 解析錯誤Parse error:解析錯誤 unexpected T_WHILE in c://program files//apache group//apache//htdocs//script php on line 每次確定了前一錯誤時 解析錯誤一個接一個地不斷出現 因為PHP在第一個解析錯誤之後就停止執行腳本 調試並糾正這一系列的錯誤往往會讓人覺得特別厭煩 而且 解析錯誤具有很少的信息 幾乎不報告錯誤所在的行號 具體原因就是當出現錯誤時 編譯器判定好幾行的語法看起來應該是有效的 直至遇到無效的語法 最可能的情形就是表達式中使用了預定義的字詞 例如;while = ; // Bad ? while 就是一個預定義字詞 不能分配給一個值預定義的字詞包括 while function等 如果PHP使用 uses to evaluate your code 您不能使用這些預定義字詞來命名變數 而且如果您非要這樣做的話 PHP就會報出更多的慎胡錯誤 這是您無法忍受 關於這個問題 下面的示例可能會對您有所幫助 請咨詢閱讀一下下面所示的PHP 代碼 $b = somevalueif($b == somevalue){print Hello world!;}?>錯誤位於$b =一行(在語句的末端缺少分號) 所以錯誤應該是解析錯誤:第 行缺少分號對吧?而不應該依據解析器判定的 Parse error: parse error unexpected T_IF in c://program files//apachegroup//apache//htdocs//ereg php on line 在第 行 if() 語句的語法是正確的 那麼 編譯器是被什麼給搞糊塗了呢?線索就是unexpected T_IF 部分 出現 unexpected T_???錯誤時 它所表示的含義為 編譯器發現在預定義字不應該出現的位置出現 T_IF 代表 if() T_WHILE 代表 while() T_FOR 代表 for()等 值得慶幸的是 一些錯誤的原因也很簡單 語句沒有使用分號(;)結束 比如上面的示例 字元串中缺少引號 其他一些常見的錯誤我見過的最常見的錯誤就是 當沒有使用大括弧( } )結束一個函數或者一個循環時出現的錯誤 這很可能是最常見 最讓人煩的錯誤 具體代碼如下滾孝賣 function UselessFunction() {for($i < ; $i < ; $i++){}將產生下列錯誤 Parse error: parse error unexpected $ in c://program files//apachegroup//apache//htdocs//ereg php on line 由於函數 UselessFunction 沒有使用大括弧( } )來結束 PHP編譯器不斷查找表示結束的大括弧直至到達文件末尾為止 因為編譯器未找到一個匹配的大括弧 就會報告文件末尾處有錯誤 如果正確地反映了代碼的層次結構 錯誤信息就會變得非常明顯 如果沒有標明代碼的層次結構 那麼最後要想查清楚到底忘記了什麼也會變得幾乎是不可能的 所以 請記住 一定要標明代碼的層次結構 Tab鍵可以很容易地實現這一點 對後續的開發人員來說 把握代碼框架並對其進行修改也會更容易一些 Mysql 錯誤另一極其令人討厭的錯誤信息就是最常見的MySQL錯誤 這常常使 PHP新手感到頗為頭疼 Warning: Supplied argument is not a valid MySQL result resource in 上面所報告有錯的一行可能是 while($row = mysql_fetch_array($result)) {參數 $result並不是一個有效的資源 在英語中它表示因為查詢失敗 將無法處理mysql_fetch_array 任一查詢的語法無效(您應該將查詢復制 粘貼到MySQL 控制台參考來進行測試) 或者與資料庫的連接失敗(這種情況下您應該再次檢查用戶名和口令等) 防止錯誤發生第一步 智能代碼器可採取以下幾步來消除下列錯誤出現 · 在每一條語句的末尾處 不必考慮添加分號——這應該成為一種習慣 · 總是要盡可能標明代碼的層次結構 這可以使您能夠查看是否忘記在if 調用或函數末端等位置添加大括弧 · 請使用可突出顯示語法的編輯器(如 HTML Kit) 有了這類編輯器的輔助 您就能確定是否忘記了添加引號 是否缺少分號等 lishixin/Article/program/PHP/201311/21338

⑧ C++編譯器整數除法錯誤解析

C++中的大多數二元操作都要求兩搭悶頌個操作數是同一類型。如果操作數的不同類型，其中一個操作數會提升到和另一個操作數相匹配的類型。在C++中，知鄭除法操作符可以被看做是2個不同的操作：其中一個操作於整數之上，另一個是操作於浮點數之上。如果操作數是浮點數類罩前型，除法操作將返回一個浮點數的值。

⑨ 如何用python寫一個解釋器

大學里計算機科學最吸引我的地方就是編譯器。最神奇的是，編譯器是如何讀出我寫的那些爛代碼，並且還能生成那麼復雜的程序。當我終於選了一門編譯方面的課程時，我發現這個過程比我想的要簡單得多。
在本系列的文章中，我會試著通過為一種基本命令語言IMP寫一個解釋器，來展示這種簡易性。因為IMP是一個簡單廣為人知的語言，所以打算用 Python寫這個解釋器。Python代碼看起來很像偽代碼，所以即使你不認識 Python，你也能理解它。解析可以通過一套從頭開始實現的解析器組合完成（在本系列的下一篇文章中會有解釋）。除了sys（用於I/O）、re（用於解析正則表達式）以及unittest（用於確保一切工作正常）庫，沒有使用其他額外的庫。
IMP 語言
在開始寫之前，我們先來討論一下將要解釋的語言。IMP是擁有下面結構的最小命令語言：
賦值語句（所有變數都是全局的，而且只能存儲整數）：

Python

1

x := 1

條件語句：

Python

1
2
3
4
5

if x = 1 then
y := 2
else
y := 3
end

while循環：

Python

1
2
3

while x < 10 do
x := x + 1
end

復合語句（分號分隔）：

Python

1
2

x := 1;
y := 2

OK，所以它只是一門工具語言，但你可以很容易就把它擴展成比Lua或python更有用的語言。我希望能把這份教程能保持盡量簡單。
下面這個例子是計算階乘的程序：

Python

1
2
3
4
5
6

n := 5;
p := 1;
while n > 0 do
p := p * n;
n := n - 1
end

IMP沒有讀取輸入的方式，所以初始狀態必須是在程序最開始寫一系列的賦值語句。也沒有列印結果的方式，所以解釋器必須在程序的結尾列印所有變數的值。
解釋器的結構
解釋器的核心是「中間表示」（Intermediate representation，IR）。這就是如何在內存中表示IMP程序。因為IMP是一個很簡單的語言，中間表示將直接對應於語言的語法；每一種表達和語句都有對應的類。在一種更復雜的語言中，你不僅需要一個「語法表示」，還需要一個更容易分析或運行的「語義表示」。
解釋器將會執行三個階段：
將源碼中的字元分割成標記符（token）
將標記符組織成一棵抽象語法樹（AST）。抽象語法樹就是中間表示。
評估這棵抽象語法樹，並在最後列印這棵樹的狀態
將字元串分割成標記符的過程叫做「詞法分析」，通過一個詞法分析器完成。關鍵字是很短，易於理解的字元串，包含程序中最基本的部分，如數字、標識符、關鍵字和操作符。詞法分析器會除去空格和注釋，因為它們都會被解釋器忽略。

將標記符組織成抽象語法樹（AST）的過程稱為「解析過程」。解析器將程序的結構提取成一張我們可以評估的表格。

實際執行這個解析過的抽象語法樹的過程稱為評估。這實際上是這個解析器中最簡單的部分了。
本文會把重點放在詞法分析器上。我們將編寫一個通用的詞彙庫，然後用它來為IMP創建一個詞法分析器。下一篇文章將會重點打造一個語法分析器和評估計算器。
詞彙庫
詞法分析器的操作相當簡單。它是基於正則表達式的，所以如果你不熟悉它們，你可能需要讀一些資料。簡單來說，正則表達式就是一種能描述其他字元串的特殊的格式化的字元串。你可以使用它們去匹配電話號碼或是郵箱地址，或者是像我們遇到在這種情況，不同類型的標記符。
詞法分析器的輸入可能只是一個字元串。簡單起見，我們將整個輸入文件都讀到內存中。輸出是一個標記符列表。每個標記符包括一個值（它代表的字元串）和一個標記（表示它是一個什麼類型的標記符）。語法分析器會使用這兩個數據來決定如何構建一棵抽象語法樹。
由於不論何種語言的詞法分析器，其操作都大同小異，我們將創建一個通用的詞法分析器，包括一個正則表達式列表和對應的標簽（tag）。對每一個表達式，它都會檢查是否和當前位置的輸入文本匹配。如果匹配，匹配文本就會作為一個標記符被提取出來，並且被加上該正則表達式的標簽。如果該正則表達式沒有標簽，那麼這段文本將會被丟棄。這樣免得我們被諸如注釋和空格之類的垃圾字元干擾。如果沒有匹配的正則表達式，程序就要報錯並終止。這個過程會不斷循環直到沒有字元可匹配。
下面是一段來自詞彙庫的代碼：

Python

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import sys
import re

def lex(characters, token_exprs):
pos = 0
tokens = []
while pos < len(characters):
match = None
for token_expr in token_exprs:
pattern, tag = token_expr
regex = re.compile(pattern)
match = regex.match(characters, pos)
if match:
text = match.group(0)
if tag:
token = (text, tag)
tokens.append(token)
break
if not match:
sys.stderr.write('Illegal character: %sn' % characters[pos])
sys.exit(1)
else:
pos = match.end(0)
return tokens

注意，我們遍歷正則表達式的順序很重要。lex會遍歷所有的表達式，然後接受第一個匹配成功的表達式。這也就意味著，當使用詞法分析器時，我們應當首先考慮最具體的表達式（像那些匹配運算元（matching operator）和關鍵詞），其次才是比較一般的表達式（像標識符和數字）。
詞法分析器
給定上面的lex函數，為IMP定義一個詞法分析器就非常簡單了。首先我們要做的就是為標記符定義一系列的標簽。IMP只需要三個標簽。RESERVED表示一個保留字或操作符。INT表示一個文字整數。ID代表標識符。

Python

1
2
3
4
5

import lexer

RESERVED = 'RESERVED'
INT = 'INT'
ID = 'ID'

接下來定義詞法分析器將會用到的標記符表達式。前兩個表達式匹配空格和注釋。它們沒有標簽，所以 lex 會丟棄它們匹配到的所有字元。

Python

1
2
3

token_exprs = [
(r'[ nt]+', None),
(r'#[^n]*', None),

然後，只剩下所有的操作符和保留字了。記住，每個正則表達式前面的「r」表示這個字元串是「raw」；Python不會處理任何轉義字元。這使我們可以在字元串中包含進反斜線，正則表達式正是利用這一點來轉義操作符比如「＋」和「＊」。

Python

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

(r':=', RESERVED),
(r'(', RESERVED),
(r')', RESERVED),
(r';', RESERVED),
(r'+', RESERVED),
(r'-', RESERVED),
(r'*', RESERVED),
(r'/', RESERVED),
(r'<=', RESERVED),
(r'<', RESERVED),
(r'>=', RESERVED),
(r'>', RESERVED),
(r'=', RESERVED),
(r'!=', RESERVED),
(r'and', RESERVED),
(r'or', RESERVED),
(r'not', RESERVED),
(r'if', RESERVED),
(r'then', RESERVED),
(r'else', RESERVED),
(r'while', RESERVED),
(r'do', RESERVED),
(r'end', RESERVED),

最後，輪到整數和標識符的表達式。要注意的是，標識符的正則表達式會匹配上面的所有的保留字，所以它一定要留到最後。

Python

1
2
3

(r'[0-9]+', INT),
(r'[A-Za-z][A-Za-z0-9_]*', ID),
]

既然正則表達式已經定義好了，我們還需要創建一個實際的lexer函數。

Python

1
2

def imp_lex(characters):
return lexer.lex(characters, token_exprs)

如果你對這部分感興趣，這里有一些驅動代碼可以測試輸出：

Python

1
2
3
4
5
6
7
8
9
10
11

import sys
from imp_lexer import *

if __name__ == '__main__':
filename = sys.argv[1]
file = open(filename)
characters = file.read()
file.close()
tokens = imp_lex(characters)
for token in tokens:
print token

繼續……

⑩ hive核心組件及流程(一)

依賴第三方組件： Meta store（mysql），hdfs，MapRece
hive：
Client客戶端 CLI、JDBC
Driver連接客戶端與服務端的橋梁
SQL Pareser解析器，將SQL轉換為抽象語法樹AST
1.將HQL語句轉換為Token
2.對Token進行解析，生成AST
Physical Plan編譯器將AST編譯生成邏激虛帆輯譽磨執行計劃
Query Optimizer優化器，對邏輯執行計劃進行優化
1.將AST轉換為QueryBlock
2.將QueryBlock轉換為OperatorTree
3.OperatorTree進行邏輯優化
4.生成TaskTree
5.TaskTree執行物理優化
Execution執行器把邏輯執行計劃轉換成可以運行的物理計劃
1.獲取MR臨時工作目錄
3.定義Mapper和Recer
2.定義Partitioner
4.實例化Job
5.提交Job

1.以Antlr定義的語法規則，對SQL完成詞法解析，將SQL轉換為AST
2.遍歷AST，抽象出查詢基本組成單元QueryBlock。
3.遍歷QueryBlock，將其轉換為OperatorTree,邏輯執行單元
4.利用邏輯優化器對OperatorTree進行邏輯優化。
5.遍歷OperatorTree轉換為TaskTree，將邏輯執行計劃轉化為物理執行計劃
6.使用物理優化器對TaskTree進行物理優化
7.生成最終的執行計劃，提交執行

$HIVE_HOME/bin/hive可以進入客戶端

$HIVE_HOME/bin/hive -e "{SQL語句}"可以執行SQL語句

$HIVE_HOME/bin/hive -f {SQL文件名.sql}可以執行sql文件

開啟hiveserver2服務，可以通過JDBC提交SQL

創建Driver
創建OptionsProcessor
初始化log4j
標准輸入輸出以及錯誤輸出流的定義,後續需要輸入 SQL 以及列印控制台信息
解析輸入的參數，包含"-e -f -v -database"
讀取輸入的sql
按照";"分割的方式解析
解析單行SQL
遇到為"quit"或者"exit"退出
遇到為"source"開頭,執行 SQL 文件,讀取文件並解析
如果命令以"!"開頭,則表示用戶需要執行 shell命令
以上三種都不是的情況下執行SQL，進行SQL解析

獲取當前系統時間
獲取系統結束時間
編譯SQL語句
SQL生成AST，構建詞法解析器，將關鍵詞替換為TOKEN，明雹進行語法解析，生成最終AST
處理AST,轉換為QueryBlock然後轉換為OperatorTree,對Operator進行邏輯優化，然後轉換為任務樹，然後進行物理優化。
根據任務樹構建MrJob
添加啟動任務,根據是否可以並行來決定是否並行啟動Task
設置MR任務的InputFormat、OutputFormat 等等這些 MRJob 的執行類
構建執行MR任務的命令
向yarn提交任務
列印頭信息
獲取結果集並獲取抓取到的條數
列印SQL執行時間及數據條數