雙目視覺演算法

Ⅰ 榮耀10支持2D人臉識別，2D與3D有什麼區別

1、圖像數據的獲取不同。2D人臉識別以2D圖像為基礎，這也就給了虛假照片、視頻或人臉硅膠面套的可乘之機。3D人臉識別是過3D攝像頭立體成像，可以識別視野內空間得每個點位的三維坐標信息，從而提升分析判斷的准確性。

2、安全性不同。3D結構光生物人臉識別，簡單的說就是在空間上的投影，不僅僅是長和寬，還有高，也就是xyz軸，安全系數非常高，還支持了人臉支付的操作。2D傳統的人臉識別就只是進行簡單圖片的比對，安全系數很低，基本上沒有什麼實用性。

3、人臉特徵的提取方式不一樣。3D結構光人臉識別，與2D識別不同的是，對人臉採集了3萬多個採集點。2D人臉識別主要是基於可見光圖像的人臉識別，在暗光環境下無法解鎖，可以使用照片解鎖的安全問題等。

(1)雙目視覺演算法擴展閱讀

3D人臉模型比2D人臉模型有更強的描述能力，能更好的表達出真實人臉，所以基於3D數據的人臉識別不管識別准確率還是活體檢測准確率都有很大的提高。

2D人臉識別的優勢是實現的演算法相對比較多，有一套比較成熟的流程，圖像數據獲取比較簡單，只需一個普通攝像頭即可，所以基於2D圖像數據的人臉識別是目前的主流，在安防、監控、門禁、考勤、金融身份輔助認證、娛樂等多種場景中都有應用。

3D人臉識別在市場上根據使用攝像頭成像原理主要分為：3D結構光、TOF、雙目立體視覺。

3D人臉識別處理的是3D的數據，如點雲、體素等，這些數據是完整的，立體的，能表達出物體各個角度的特徵，不管一個人正臉還是側臉，理論上都是同一個人。但是因為點雲等3D數據具有數據量大、而且點雲數據具有無序性、稀疏性等特點，3D人臉識別開發難度比較大。

Ⅱ 雙目視覺的匹配演算法是不是有好幾種具體是哪幾種

與普通的圖像模板匹配不同的是，立體匹配是通過在兩幅或多幅存在視點差異、幾何畸變、灰度畸變、雜訊干擾的圖像對之間進行的，不存在任何標准模板進行匹配。立體匹配方法一般包含以下三個問題:(1)基元的選擇，即選擇適當的圖像特徵如點、直線、相位等作為匹配基元;(2)匹配的准則，將關於物理世界的某些固有特徵表示為匹配所必須遵循的若干規則，使匹配結果能真實反映景物的本來面目;(3)演算法結構，通過利用適當的數學方法設計能正確匹配所選擇基元的穩定演算法。

根據匹配基元的不同，立體視覺匹配演算法目前主要分為三大類,即區域匹配、相位匹配和特徵匹配:

基於區域灰度的匹配演算法是把一幅圖像(基準圖)中某一點的灰度鄰域作為模板，在另一幅圖像(待匹配圖)中搜索具有相同(或相似)灰度值分布的對應點鄰域，從而實現兩幅圖像的匹配。這類演算法的性能取決於度量演算法及搜索策略的選擇。另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對於景物中存在的遮擋或圖像不光滑的情況會更多的出現誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會有不同的影響。因此應該合理選取匹配區域的大小和形式來達到較好的匹配結果。

相位匹配是近二十年發展起來的一種匹配演算法，相位作為匹配基元，即認為圖像對中的對應點局部相位是一致的。最常用的相位匹配演算法有相位相關法和相位差——頻率法，雖然該方法是一種性能穩定、具有較強的抗輻射抗透視畸變能力、簡單高效、能得到稠密視差圖的特徵匹配方法。但是，當局部結構存在的假設不成立時，相位匹配演算法因帶通輸出信號的幅度太低而失去有效性，也就是通常提到的相位奇點問題，在相位奇點附近，相位信息對位置和頻率的變化極為敏感，因此用這些像素所確定的相位差異來衡量匹配誤差將導致極不可靠的結果。此外，相位匹配演算法的收斂范圍與帶通濾波器的波長有關，通常要考慮相位卷繞，在用相位差進行視差計算時，由於所採用的相位只是原信號某一帶通條件下的相位，故視差估計只能限制在某一限定范圍之內，隨視差范圍的增大，其精確性會有所下降。

基於特徵的圖像匹配方法是目前最常用的方法之一，由於它能夠將對整個圖像進行的各種分析轉化為對圖像特徵(特徵點、特徵曲線等)的分析的優點，從而大大減小了圖像處理過程的計算量，對灰度變化、圖像變形、噪音污染以及景物遮擋等都有較好的適應能力。

基於特徵的匹配方法是為使匹配過程滿足一定的抗噪能力且減少歧義性問題而提出來的。與基於區域的匹配方法不同，基於特徵的匹配方法是有選擇地匹配能表示景物自身特性的特徵，通過更多地強調空間景物的結構信息來解決匹配歧義性問題。這類方法將匹配的搜索范圍限制在一系列稀疏的特徵上。利用特徵間的距離作為度量手段，具有最小距離的特徵對就是最相近的特徵對，也就是匹配對。特徵間的距離度量有最大最小距離、歐氏距離等。

特徵點匹配演算法嚴格意義上可以分成特徵提取、特徵匹配和消除不良匹配點三步。特徵匹配不直接依賴於灰度，具有較強的抗干擾性。該類方法首先從待匹配的圖像中提取特徵，用相似性度量和一些約束條件確定幾何變換，最後將該變換作用於待匹配圖像。匹配中常用的特徵基元有角點、邊緣、輪廓、直線、顏色、紋理等。同時，特徵匹配演算法也同樣地存在著一些不足，主要表現為:

(l)特徵在圖像中的稀疏性決定了特徵匹配只能得到稀疏的視差場，要獲得密集的視差場必須通過使用插值的過程，插值過程通常較為復雜。

(2)特徵的提取和定位的准確與否直接影響特徵匹配結果的精確度。

(3)由於其應用場合的局限性，特徵匹配往往適用於具有特徵信息顯著的環境中，在缺少顯著主導特徵環境中該方法有很大困難。

總之，特徵匹配基元包含了演算法編程上的靈活性以及令人滿意的統計特性。演算法的許多約束條件均能清楚地應用於數據結構，而數據結構的規則性使得特徵匹配非常適用於硬體設計。例如，基於線段的特徵匹配演算法將場景模型描繪成相互聯結的邊緣線段，而不是區域匹配中的平面模型，因此能很好地處理一些幾何畸變問題，對對比度和明顯的光照變化等相對穩定。特徵匹配由於不直接依賴於灰度，計算量小，比基於區域的匹配演算法速度快的多。且由於邊緣特徵往往出現在視差不連續的區域，特徵匹配較易處理立體視覺匹配中的視差不連續問題。

Ⅲ 如何評價ORB-SLAM3

我覺得 ORB-SLAM3 系統是基於之前的 ORB-SLAM2、ORB-SLAM-VI 進行擴展。作者組的工作一脈相承，圍繞著 ORB feature-based SLAM 做了非常多有重大意義的工作。本文其中在一些重要改進模塊，如 IMU 初始化、multi-map system 等，是作者組里前幾年的工作。我認為這是一篇更加偏向於系統性質的文章，把這么多工作串了起來，並且作者非常慷慨的把它開源了出來，非常贊！

Ⅳ 單目與雙目有什麼區別視覺識別來說，是不是用雙目攝像頭更好國內有沒有參數比較好的這類攝像頭推薦

建議條件允許的話還是使用雙目攝像頭，畢竟雙目識別圖像更穩定精準。這里推薦小覓雙目攝像頭，基於雙目視覺的三維重建與6軸感測器矯正等，並充分利用攝像頭和運動感測器的互補性，保持雙目高清同幀。

Ⅳ 雙目立體視覺的簡單介紹

雙目立體視覺的簡單介紹

1. 什麼是視覺

視覺是一個古老的研究課題，同時又是人類觀察世界、認知世界的重要功能和手段。人類從外界獲得的信息約有75%來自視覺系統，用機器模擬人類的視覺功能是人們多年的夢想。視覺神經生理學，視覺心裡學，特別是計算機技術、數字圖像處理、計算機圖形學、人工智慧等學科的發展，為利用計算機實現模擬人類的視覺成為可能。在現代工業自動化生產過程中，計算機視覺正成為一種提高生產效率和檢驗產品質量的關鍵技術之一，如機器零件的自動檢測、智能機器人控制、生產線的自動監控等;在國防和航天等領域，計算機視覺也具有較重要的意義，如運動目標的自動跟蹤與識別、自主車導航及空間機器人的視覺控制等。

人類視覺過程可以看作是一個從感覺到知覺的復雜過程，從狹義上來說視覺的最終目的是要對場景作出對觀察者有意義的解釋和描述；從廣義上說，是根據周圍的環境和觀察者的意願，在解釋和描述的基礎上做出行為規劃或行為決策。計算機視覺研究的目的使計算機具有通過二維圖像信息來認知三維環境信息的能力，這種能力不僅使機器能感知三維環境中物體的幾何信息(如形狀、位置、姿態運動等)，而且能進一步對它們進行描述、存儲、識別與理解，計算機視覺己經發展起一套獨立的計算理論與演算法。

2. 什麼是計算機雙目立體視覺

雙目立體視覺 (Binocular StereoVision)是機器視覺的一種重要形式，它是基於視差原理並利用成像設備從不同的位置獲取被測物體的兩幅圖像，通過計算圖像對應點間的位置偏差，來獲取物體三維幾何信息的方法。融合兩隻眼睛獲得的圖像並觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特徵間的對應關系，將同一空間物理點在不同圖像中的映像點對應起來，這個差別，我們稱作視差(Disparity)圖像，如圖一。

雙目立體視覺 測量方法具有效率高、精度合適、系統結構簡單、成本低等優點，非常適合於製造現場的在線、非接觸產品檢測和質量控制。對運動物體（包括動物和人體形體）測量中，由於圖像獲取是在瞬間完成的，因此立體視覺方法是一種更有效的測量方法。

雙目立體視覺 系統是計算機視覺的關鍵技術之一，獲取空間三維場景的距離信息也是計算機視覺研究中最基礎的內容。

雙目立體視覺 的開創性工作始於上世紀的60年代中期。美國MIT的Roberts通過從數字圖像中提取立方體、楔形體和稜柱體等簡單規則多面體的三維結構，並對物體的形狀和空間關系進行描述，把過去的簡單二維圖像分析推廣到了復雜的三維場景，標志著立體視覺技術的誕生。隨著研究的深入，研究的范圍從邊緣、角點等特徵的提取，線條、平面、曲面等幾何要素的分析，直到對圖像明暗、紋理、運動和成像幾何等進行分析，並建立起各種數據結構和推理規則。特別是上世紀80年代初，Marr首次將圖像處理、心理物理學、神經生理學和臨床精神病學的研究成果從信息處理的角度進行概括，創立了視覺計算理論框架。這一基本理論對立體視覺技術的發展產生了極大的推動作用，在這一領域已形成了從圖像的獲取到最終的三維場景可視表面重構的完整體系，使得立體視覺已成為計算機視覺中一個非常重要的分支。

經過幾十年來的發展，立體視覺在機器人視覺、航空測繪、反求工程、軍事運用、醫學成像和工業檢測等領域中的運用越來越廣。

3. 雙目立體視覺系統

立體視覺系統由左右兩部攝像機組成。如圖二所示，圖中分別以下標l和r標注左、右攝像機的相應參數。世界空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點分別為al(ul，vl)和ar(ur，vr)。這兩個像點是世界空間中同一個對象點A的像，稱為「共軛點」。知道了這兩個共軛像點，分別作它們與各自相機的光心Ol和Or的連線，即投影線alOl和arOr，它們的交點即為世界空間中的對象點A(X，Y，Z)。這就是立體視覺的基本原理。

4. 博安盈雙目立體視覺系統：平行光軸的系統結構

在平行光軸的立體視覺系統中（圖三），左右兩台攝像機的焦距及其它內部參數均相等，光軸與攝像機的成像平面垂直，兩台攝像機的x軸重合，y軸相互平行，因此將左攝像機沿著其x軸方向平移一段距離b（稱為基線baseline）後與右攝像機重合。

由空間點A及左右兩攝像機的光心Ol、Or確定的極平面（Epipolar plane）分別與左右成像平面Cl、Cr的交線pl、pr為共軛極線對，它們分別與各自成像平面的坐標軸ul、ur平行且共線。在這種理想的結構形式中，左右攝像機配置的幾何關系最為簡單，極線已具有很好的性質，為尋找對象點A在左右成像平面上的投影點al和ar之間的匹配關系提供了非常便利的條件。

5. 雙目立體視覺智能視頻分析技術

恢復場景的3D信息是立體視覺研究中最基本的目標，為實現這一目標，一個完整的立體視覺系統通常包含六個模塊：圖像獲取、攝像機標定、特徵提取、立體匹配、三維恢復和視頻分析（運動檢測、運動跟蹤、規則判斷、報警處理）。

5.1. 圖像獲取（ImageAcquisition）

數字圖像的獲取是立體視覺的信息來源。常用的立體視覺圖像一般為雙目圖像，有的採用多目圖像。圖像獲取的方式有多種，主要由具體運用的場合和目的決定。立體圖像的獲取不僅要滿足應用要求，而且要考慮視點差異、光照條件、攝像機性能和場景特點等方面的影響。

5.2. 攝像機標定（CameraCalibration）

立體視覺系統攝像機標定是指對三維場景中對象點在左右攝像機圖像平面上的坐標位置al(ul，vl)、ar(ur，vr)與其世界空間坐標A(X，Y，Z)之間的映射關系的確立，是實現立體視覺三維模型重構中基本且關鍵的一步。

5.3. 特徵提取（FeatureAcquisition）

特徵提取的目的是要獲取匹配賴以進行的圖像特徵，圖像特徵的性質與圖像匹配的方法選擇有著密切的聯系。目前，還沒有建立起一種普遍適用的獲取圖像特徵的理論，因此導致了立體視覺研究領域中匹配特徵的多樣化。特徵可以是像素相位匹配是近二十年才發展起來的一類匹配演算法。相位作為匹配基元，本身反映信號的結構信息，對圖像的高頻雜訊有很好的抑製作用，適於並行處理，能獲得亞像素級精度的緻密視差。但存在相位奇點和相位卷繞的問題，需加入自適應濾波器解決。或者是像素的集合，也可以是它們的抽象表達，如圖像結構、圖像目標和關系結構等。常用的匹配特徵主要有點狀特徵、線狀特徵和區域特徵等幾種情形。

一般而言，尺度較大的圖像特徵蘊含較多的圖像信息，且特徵本身的數目較少，匹配效率高；但特徵的提取和描述過程存在較大的困難，定位精度也較差。而對於尺度較小的圖像特徵來說，對其進行表達和描述相對簡單，定位精度較高；但由於其本身數目較多，所包含的圖像信息少，在匹配時需要採用較嚴格的約束條件和匹配策略，以盡可能地減少匹配歧義和提高匹配效率。總的來說，好的匹配特徵應該具有要可區分性、不變性、唯一性以及有效解決匹配歧義的能力。

5.4. 圖像匹配（ImageMatching）

在立體視覺中（圖二、圖三），圖像匹配是指將三維空間中一點A(X，Y，Z)在左右攝像機的成像面Cl和Cr上的像點al(ul，vl)和ar(ur，vr)對應起來。圖像匹配是立體視覺中最重要也是最困難的問題，一直是立體視覺研究的焦點。當空間三維場景經過透視投影（PerspectiveProjection）變換為二維圖像時，同一景物在不同視點的攝像機圖像平面上的成像會發生不同程度的扭曲和變形，而且場景中的光照條件、被測對象的幾何形狀和表面特性、雜訊干擾和畸變、攝像機特性等諸多因素的影響都被集中體現在單一的圖像灰度值中。顯然，要對包含了如此之多不利因素的圖像進行准確匹配是很不容易的。

5.5. 三維恢復（3DReconstruction）

在完成立體視覺系統的攝像機標定和圖像匹配工作以後，就可以進行被測對象表面點的三維信息恢復。影響三維測量精度的因素主要有攝像機標定誤差、CCD成像設備的數字量化效應、特徵提取和匹配定位精度等。

5.6. 視頻分析（運動檢測、運動跟蹤、規則判斷、報警處理）

通過視差計算，得到全屏幕的視差圖像後，採用背景建模的方式，得到運動前景物體的視差圖像，再進行膨脹和腐蝕演算法進行圖像預處理，得到完整的可供分析的前景運動物體視差圖。採用運動跟蹤演算法，全屏實時檢測物體的大小、運動軌跡，並與事先設置的規則進行對比，如果有人進入或離開設置報警區域，系統則實時報警。

5.7. 視差效果圖：

註：過濾掉距離地面60cm以內，200cm以上的視差值，即檢測范圍為60－200cm之間。故左邊蹲下的人沒有視差值。