ios編譯ffmpeg

『壹』 ios 怎麼配置編譯ffmpeg

一、系統環境

MAC OS X Mountain Lion 10.8.3、 XCode 5.1

二、編譯FFMpeg

1、下載ffmpeg2.2.5版本代碼，並解壓。

2、下載並解壓gas-preprocessor.pl （附件中有，zip格式，因網易博客不能上傳zip後綴的文件，故加了個.rar）

在終端中使用cp命令將它復制到 /usr/sbin/目錄，並賦予可執行許可權。

sudo cp -f gas-preprocessor/gas-preprocessor.pl /usr/sbin/chmod +x /usr/sbin/gas-preprocessor.pl

3、在ffmpeg目錄下創建一個config.sh腳本

#!/bin/bash
SDKVERSION="7.1"

ARCHS="armv7 armv7s i386"

DEVELOPER=`xcode-select -print-path`

cd "`dirname "$0"`"
REPOROOT=$(pwd)

# where we will store intermediary builds
INTERDIR="${REPOROOT}/built"
mkdir -p $INTERDIR

########################################
# Exit the script if an error happens

for ARCH in ${ARCHS}
do
if [ "${ARCH}" == "i386" ];
then
PLATFORM="iPhoneSimulator"
EXTRA_CONFIG="--arch=i386 --disable-asm --enable-cross-compile --target-os=darwin --cpu=i386"
EXTRA_CFLAGS="-arch i386"
EXTRA_LDFLAGS="-I${DEVELOPER}/Platforms/${PLATFORM}.platform/Developer/SDKs/${PLATFORM}${SDKVERSION}.sdk/usr/lib"
else
PLATFORM="iPhoneOS"
EXTRA_CONFIG="--arch=arm --target-os=darwin --enable-cross-compile --cpu=cortex-a9 --disable-armv5te"
EXTRA_CFLAGS="-w -arch ${ARCH}"
fi

mkdir -p "${INTERDIR}/${ARCH}"

./configure --prefix="${INTERDIR}/${ARCH}"
--disable-neon
--disable-armv6
--disable-armv6t2
--disable-ffmpeg
--disable-ffplay
--disable-ffprobe
--disable-ffserver
--disable-iconv
--disable-bzlib
--enable-avresample
--sysroot="${DEVELOPER}/Platforms/${PLATFORM}.platform/Developer/SDKs/${PLATFORM}${SDKVERSION}.sdk"
--cc="${DEVELOPER}/Toolchains/XcodeDefault.xctoolchain/usr/bin/clang"
--as='/usr/local/bin/gas-preprocessor.pl'
--extra-cflags="${EXTRA_CFLAGS} -miphoneos-version-min=${SDKVERSION}"
--extra-ldflags="-arch ${ARCH} ${EXTRA_LDFLAGS} -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/${PLATFORM}.platform/Developer/SDKs/${PLATFORM}${SDKVERSION}.sdk -miphoneos-version-min=${SDKVERSION}" ${EXTRA_CONFIG}
--enable-pic
--extra-cxxflags="$CPPFLAGS -isysroot ${DEVELOPER}/Platforms/${PLATFORM}.platform/Developer/SDKs/${PLATFORM}${SDKVERSION}.sdk"

make && make install && make clean

done

mkdir -p "${INTERDIR}/universal/lib"

cd "${INTERDIR}/armv7/lib"
for file in *.a
do

cd ${INTERDIR}
xcrun -sdk iphoneos lipo -output universal/lib/$file -create -arch armv7 armv7/lib/$file -arch armv7s armv7s/lib/$file -arch i386 i386/lib/$file
echo "Universal $file created."

done
cp -r ${INTERDIR}/armv7/include ${INTERDIR}/universal/

echo "Done."

SDKVERSION 是XCode的版本，通過`xcode-select -print-path`來獲取XCode的安裝路徑，ARCHS是編譯的三種模式，接下來在終端中cd到ffmpeg目錄，./config.sh執行就可以編譯了。等到編譯完成後，在ffmpeg目錄下會多出一個built目錄，裡面分別是armv7 armv7s i386及三個合並的universal版本了。

『貳』 ios 怎麼配置編譯ffmpeg

IOS上編譯ffmpeg需要先下載兩個程序：iFrameExractor和ffmpeg
編譯步驟：
1、在終端下： cd /iFrameExtractor/ffmpeg 建議開始就執行 sudo -s (獲取許可權命令)
2、在終端下輸入 ./configure --prefix=/iFrameExtractor/ffmpeg --libdir=iFrameExtractor/ffmpeg/lib --enable-gpl --enable-static --disable-shared --enable-swscale --enable-zlib --enable-bzlib --disable-ffmpeg --disable-ffplay --disable-ffserver --enable-pthreads
3、執行make 這里會有一堆的編譯情況。
註：最好先升級Command Line Tools，避免編譯錯誤

4、執行make install。 （執行完後 到iFrameExtractor/ffmpeg/lib文件上去看看）
出現 libavcodec libavdevice libavformat libavutil libswscale5個.a文件
5、用xcode 打開iFrameExractor工程，確認Header Search Paths里有："$(SRCROOT)/ffmpeg"路徑。 $(SRCROOT)表示工程路徑。同時可以看到iFrameExractor工程下ffmpeg文件下的.a文件都不是紅色的了。

6、真機上編譯（模擬器上i386，真機上是arm的，真機還分arm6 和arm7 ）
以下是針對arm7的

/configure --disable-doc --disable-ffmpeg --disable-ffplay --disable-ffserver --enable-cross-compile --arch=arm --target-os=darwin --cc=/Developer/Platforms/iPhoneOS.platform/Developer/usr/bin/gcc --as='gas-preprocessor/gas-preprocessor.pl /Developer/Platforms/iPhoneOS.platform/Developer/usr/bin/gcc' -- sysroot=/Developer/Platforms/iPhoneOS.platform/Developer/SDKs/iPhoneOS5.0.sdk --cpu=cortex-a8 --extra-cflags='-arch armv7' --extra-ldflags='-arch armv7 -isysroot /Developer/Platforms/iPhoneOS.platform/Developer/SDKs/iPhoneOS5.0.sdk' --enable-pic
7、執行 make 和make install 就有上面的幾個.a文件，至此編譯結束。

『叄』 ios下 怎麼在代碼中調用ffmpeg的命令

ffmpeg是一個多平台多媒體處理工具，處理視頻和音頻的功能非常強大。目前在網上搜到的iOS上使用FFMPEG的資料都比較陳舊，而FFMPEG更新迭代比較快； 且網上的講解不夠詳細，對於初次接觸FFMPEG的新手（例如我）來說確實不太好使用。為了防止忘記，這里對iOS下使用FFMPEG做一個總結。

1. FFMPEG層次結構的簡單理解
要使用FFMPEG，首先需要理解FFMPEG的代碼結構。根據志哥的提示，ffmpeg的代碼是包括兩部分的，一部分是library，一部分是tool。api都是在library裡面，如果直接調api來操作視頻的話，就需要寫c或者c++了。另一部分是tool，使用的是命令行，則不需要自己去編碼來實現視頻操作的流程。實際上tool只不過把命令行轉換為api的操作而已。

2. 預熱-在mac os下使用ffmpeg
在mac os下使用ffmpeg比較簡單，可以直接使用命令行來操作。首先安裝ffmpeg，這里默認系統已經安裝好brew，只需要在終端上輸入：
brew install ffmpeg
等待安裝結束即可。
安裝結束後，嘗試以下命令：
ffmpeg -i input.mp4 output.avi
如果能順利轉換，表明安裝成功

3. 編譯能在iOS下使用的FFMPEG library庫
這一步是編譯1所說的library，編譯好之後可以調用FFMPEG的api。網上有一些方法，但都要自己手動編譯，稍顯復雜而且比較陳舊。按照app store的需求，編譯出來的包還必須支持arm64。我在萬能的github中找到一個能夠"一鍵編譯"的腳本，地址如下：
https://github.com/kewlbear/FFmpeg-iOS-build-script
而且寫這個腳本的歪果仁挺好人，更新很及時，已經更新到了最新的2.5.3版本。下載下來，只有一個build-ffmpeg.sh腳本文件。在終端中轉至腳本的目錄，執行命令：
./build-ffmpeg.sh
腳本則會自動從github中把ffmpeg源碼下到本地並開始編譯。
編譯結束後，文件目錄如下：

其中，ffmpeg-2.5.3是源碼，FFmpeg-iOS是編譯出來的庫，裡面有我們需要的.a靜態庫，一共有7個。
執行命令：
lipo -info libavcodec.a
查看.a包支持的架構，這幾個包都支持了armv7 armv7s i386 x86_64 arm64這幾個架構，這個腳本果真是業界良心啊～～～

4.在xcode中引入FFMPEG library庫
新建工程，把上面編譯好的FFmpeg-iOS拖到xcode工程中，添加一個頭文件引用

#include "avformat.h"
添加一個api語句：

av_register_all();
添加一個空的類，把執行文件.m後綴改為.mm，開啟混編模式。
添加相應的framework，包括avfoundation和coremedia。
運行工程，如果沒有報錯，則表明編譯成功。

5.在xcode項目中使用命令行
執行到第4步，已經可以使用library庫了。但是如果要對視頻進行操作，還是需要手動寫很多代碼去調用api，工作量較大，自然不如直接寫命令行方便。為了命令行能夠在xcode工程中使用，還需要做以下工作：
（1）添加源碼中的tools,具體文件包括：


（2）添加Header Search Paths
在target--build setting中搜索Header Search Paths，並在Header Search Paths下面添加源碼ffmpeg-2.5.3和scratch的路徑。
（3）修改ffmpeg.h和ffmpeg.c源碼

如果此時run這個工程，則會報錯，原因是工程裡面有2個main函數，此時處理方法為：
在ffmpeg.h中添加一個函數聲明：
int ffmpeg_main(int argc, char **argv);
在ffmpeg.c中找到main函數，把main函數改為ffmpeg_main。
（4）調用命令行範例
添加頭文件：#import "ffmpeg.h"
調用命令行
int numberOfArgs = 16;
char** arguments = calloc(numberOfArgs, sizeof(char*));

arguments[0] = "ffmpeg";
arguments[1] = "-i";
arguments[2] = inputPath;
arguments[3] = "-ss";
arguments[4] = "0";
arguments[5] = "-t";
arguments[6] = rationChar;
arguments[7] = "-vcodec";
arguments[8] = "";
arguments[9] = "-acodec";
arguments[10] = "aac";
arguments[11] = "-strict";
arguments[12] = "-2";
arguments[13] = "-b:a";
arguments[14] = "32k";
arguments[15] = outputPath;

int result = ffmpeg_main(numberOfArgs, arguments);
其中inputpath和outputpath是文件路徑。經測試，這兩個路徑不支持asset-library://協議和file:// 協議，所以如果是要用相冊的文件，我目前的解決辦法是把它拷貝到沙盒裡面。

6. 改關閉進程為關閉線程
如果順利進行到了第5步，在app中是能夠用命令行處理視頻了，但會出現一個問題，app會退出。經肖大神提醒，發現了命令行執行完畢之後會退出進程。而iOS下只能啟動一個進程，因此必須改關閉進程為關閉線程，或者直接把關閉進程的方法給注掉。

在ffmpeg.c中可以看到，執行退出進程的方法是exit_program，定位到了cmtils.c中執行了c語言的exit方法。這里我將它改為了pthread_exit（需要添加#include 頭文件）。在xcode項目中使用時，則可以用NSThread來新開一個線程，執行完畢之後，把線程關閉了即可。再使用NSThreadWillExitNotification通知，即可監聽線程退出的情況。

7. 修復ffmpeg.c裡面的一個bug
在實際項目中，可能需要多次調用命令行，但在多次調用命令行的過程中，發現ffmpeg.c的代碼中會訪問空屬性導致程序崩潰。逐步debug後發現，很多指針已經置空了，但它們的計數卻沒有置零，不知道是不是ffmpeg.c的一個bug。修復方法如下：在ffmpeg_cleanup方法下，將各個計數器置零，包括：
nb_filtergraphs
nb_output_files
nb_output_streams
nb_input_files
nb_input_streams
置零之後，重復使用ffmpeg_main方法一切正常。

『肆』 MAC/iOS利用FFmpeg解析音視頻數據流

利用FFmpeg解析音視頻流,音視頻流可以來自一個標準的RTMP的URL或者是一個文件. 通過解析得到音視頻流,進一步就可以解碼, 然後視頻渲染在屏幕上,音頻通過揚聲器輸出.

利用FFmpeg框架中libavformat模塊可以通過函數 av_read_frame 解析出音視頻流的音視頻數據,如果直接使用FFmpeg硬解,僅需要解析到AVPacket即可傳給解碼模塊使用,如果使用VideoToolbox中的硬解, 對於視頻數據,還需要獲取其NALU Header中的(vps)sps, pps以便後續使用.

使用流程

FFmpeg parse流程

下面的鏈接中包含搭建iOS需要的FFmpeg環境的詳細步驟,需要的可以提前閱讀.

iOS手動編譯並搭建FFmpeg

導入FFmpeg框架後,首先需要將用到FFmpeg的文件改名為.mm, 因為涉及C,C++混編,所以需要更改文件名

然後在頭文件中導入FFmpeg頭文件.

注意: FFmpeg是一個廣為流傳的框架,其結構復雜,一般導入都按照如上格式,以文件夾名為根目錄進行導入,具體設置,請參考上文鏈接.

2.1. 注冊FFmpeg

一般在程序中的main函數或是主程序啟動的代理方法 - (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions 中初始化FFmpeg,執行一次即可.

2.2. 利用視頻文件生成格式上下文對象

C++音視頻開發學習資料 ：點擊領取 音視頻開發（資料文檔+視頻教程+面試題）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

2.3. 獲取Audio / Video流的索引值.

通過遍歷format context對象可以從 nb_streams 數組中找到音頻或視頻流索引,以便後續使用

2.4. 是否支持音視頻流

目前視頻僅支持H264, H265編碼的格式.實際過程中,解碼得到視頻的旋轉角度可能是不同的,以及不同機型可以支持的解碼文件格式也是不同的,所以可以用這個方法手動過濾一些不支持的情況.具體請下載代碼觀看,這里僅列出實戰中測試出支持的列表.

音頻本例中僅支持AAC格式.其他格式可根據需求自行更改.

使用AVPacket這個結構體來存儲壓縮數據.對於視頻而言, 它通常包含一個壓縮幀,對音頻而言,可能包含多個壓縮幀,該結構體類型通過 av_malloc() 函數分配內存,通過 av_packet_ref() 函數拷貝,通過 av_packet_unref(). 函數釋放內存.

解析數據

int av_read_frame(AVFormatContext *s, AVPacket *pkt); : 此函數返回存儲在文件中的內容，並且不驗證解碼器的有效幀是什麼。它會將存儲在文件中的內容分成幀，並為每次調用返回一個。它不會在有效幀之間省略無效數據，以便為解碼器提供解碼時可能的最大信息。

獲取sps, pps等NALU Header信息

通過調用av_bitstream_filter_filter可以從碼流中過濾得到sps, pps等NALU Header信息.

av_bitstream_filter_init: 通過給定的比特流過濾器名詞創建並初始化一個比特流過濾器上下文.

av_bitstream_filter_filter: 此函數通過過濾buf參數中的數據,將過濾後的數據放在poutbuf參數中.輸出的buffer必須被調用者釋放.

此函數使用buf_size大小過濾緩沖區buf，並將過濾後的緩沖區放在poutbuf指向的緩沖區中。

注意: 下面使用new_packet是為了解決av_bitstream_filter_filter會產生內存泄漏的問題.每次使用完後將用new_packet釋放即可.

可以根據自己的需求自定義時間戳生成規則.這里使用當前系統時間戳加上數據包中的自帶的pts/dts生成了時間戳.

本例將獲取到的數據放在自定義的結構體中,然後通過block回調傳給方法的調用者,調用者可以在回調函數中處理parse到的視頻數據.

獲取parse到的音頻數據

因為我們已經將packet中的關鍵數據拷貝到自定義的結構體中,所以使用完後需要釋放packet.

parse完成後釋放相關資源

C++音視頻開發學習資料 ：點擊領取 音視頻開發（資料文檔+視頻教程+面試題）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

注意: 如果使用FFmpeg硬解,則僅僅需要獲取到AVPacket數據結構即可.不需要再將數據封裝到自定義的結構體中

『伍』 FFmpeg iOS開發配置和格式轉換

https://www.jianshu.com/p/ecfbebadbe55
集成方法這篇文章寫得非常詳細了，我就不再贅述。

有一點差異的地方，該文章集成後使用的是OC進行調用，我使用的是C語言，這樣可以方備銷便跨平台。因為FFmpeg本身是C語言的，我先用C封裝成工具類，這樣不依賴平台，上層用什麼語言調都行。

這里實現一個簡單的FFmpeg命令行格式轉換功能。

新建my_test.c和頭文件，在這個頭文件里導入 #import "fftools/ffmpeg.h" ，因為ffmpeg.h頭文件里導入了所有的模塊，就不需要外面一個個導入了。

然後新建一個Demo-Bridging-Header.h頭文件，導入上面創建的my_test.h的仿御游頭文件

添加到工程配置里，這樣就可以在Swift里調用了

要在Swift里使用C庫，就要把文件路徑傳給C，拆罩接收C返回的結果。Swift裡面的字元串是String，C裡面一般是char*，它們之間相互轉換方法如下（轉換都是在Swift里進行的）。

在my_test.c里添加調用FFmpeg命令行的方法，上層直接傳入完整的FFmpeg命令行str，用空格進行字元串分割後轉換成字元串數組char *argv[50]，調用ffmpeg_main方法處理。

將命令行cmd轉換成UnsafeMutablePointer<CChar>後，直接調用C裡面的do_cmd方法即可。

點擊按鈕，從手機相冊里選一張gif動圖，轉換成mp4視頻，保存到相冊。

有兩個小問題：

『陸』 ios ijkplayer怎麼加入自己編譯的ffmpeg

找到問題了編譯的時候首先要連接libx264 ，le-libx264 --enable-gpl --extra-cflags=-I/usr/local/include --extra-ldflags=-L/usr/local/lib 然後要打開這個編碼器--enable-encoder=libx264，我就是這一步搞錯了一直找不到，我在編譯的時候禁掉...

『柒』 iOS-FFmpeg實現簡單播放器(編譯fak-aac+x264+sdl)

本文介紹自己編譯sdl2，fdk-aac,x264，ffmpeg源碼集成到Xcode工程中，其中fdk-aac，x264嵌套編譯進ffmpeg中，並使用sdl播放音頻，OPenGLES渲染視頻實現簡單播放器

若報錯 fdk-aac-2.0.2/configure: No such file or directory ，則用我網盤襪吵磨中的解壓文件，裡麵包含了configure執行文件，執行 ./告斗build.sh 後，

修改build-ffmpeg.sh文件為最新的版本4.3.2，修改CONFIGURE_FLAGS值中增加禁止生成可執行文件ffmpeg,ffplay,ffprobe，fdk-aac需要增加--enable-nonfree選項,fdk-aac和x264文件絕對路徑要一致

將編譯好的sdl，fdk-aac,x264,ffmpeg頭文件和庫文件(include和lib文件夾)

導入Xcode工程中並設置Header Search Path為

導入依賴的庫AVFoudation.framework,CoreMedia.framework,VideoToolBox.framework,AudioToolBox.framework,lbz.tbd,libbz2.tbd,libiconv.tbd

使用ffmpeg庫獲取ffmpeg版本號

集成後可使用ffmpeg進行軟解碼，sdl播放音頻碰源，OpenGLES繪制視頻實現一個簡單播放器

開啟子線程讀取到MP4文件後，從MP4文件中解封裝出h264文件和aac文件分別解碼為YUV原始視頻幀和pcm原始音頻,將解封裝出來的h264文件放入_vPktList，aac文件放入_aPktList

SDL通過回調的方式開啟子線程播放音頻

配置參數可精簡和優化ffmpeg,在ffmpeg目錄中，終端執行./configure --help列出全部參數

『捌』 iOS利用FFmpeg解碼音頻數據並播放

利用FFmepg解析並解碼音頻流數據,然後將解碼後的音頻數據送給Audio Queue以實現播放.

利用FFmpeg解析音頻數據流, 利用FFmpeg解碼音頻數據為PCM格式. 利用Audio Queue Player實現音頻數據播放.

本例以一個蘋果原生相機錄制的.MOV文件為例, 將該文件使用FFmpeg解析並解碼,將解碼後的數據放入傳輸隊列中,然後開啟audio queue player, 播放器在回調函數中輪循取出隊列中的數據實現播放.

FFmpeg parse流程

FFmpeg解碼流程

為了每次能夠重新播放,這里需要標記當前是否為解碼的第一幀數據,以重新啟動播放器. 另一點是使用NSTimer等待音頻數據放入隊列再開始播放,因為audio queue是驅動逗敬播放模式,所以必須等音頻數據放入傳輸隊列再開始播放.

從Parse模塊中可以獲取當前文件對應FFmepg的上下文對象 AVFormatContext .因此音頻流解碼器信息可以直接獲取.

AVFrame 作為解碼後原始的音視頻數據的容器.AVFrame通常被分配一次然後多次重復（例如，單個AVFrame以保持從解碼器接收的猜指喚幀）。在這種情況下，av_frame_unref（）將釋放框架所持有的任何引用，並在再次重用之前將其重置為其原始的清理狀態。

調用avcodec_send_packet將穗凱壓縮數據發送給解碼器.最後利用循環接收avcodec_receive_frame解碼後的音視頻數據.

『玖』 【iOS】FFMpeg SDK 開發手冊

FFmpeg是一套可以用來記錄、轉換數字音頻、視頻，並能將其轉化為流的開源計算機程序。採用LGPL或GPL許可證。它提供了錄制、轉換以及流化音視頻的完整解決方案。它包含了非常先進的音頻/視頻編解碼庫libavcodec，為了保證高可移植性和編解碼質量，libavcodec里很多codec都是從頭開發的。

FFmpeg在Linux平台下開發，但它同樣也可以在其它操作系統環境中編譯運行，包括Windows、Mac OS X等。這個項目最早由Fabrice Bellard發起，現在由Michael Niedermayer維護。許多FFmpeg的開發人員都來自MPlayer項目，而且當前FFmpeg也是放在MPlayer項目組的伺服器上。項目的名稱來自MPEG視頻編碼標准，前面的"FF"代表"Fast Forward"。

libavformat：用於各種音視頻封裝格式的生成和解析，包括獲取解碼所需信息以生成解碼上下文結構和讀取音視頻幀等功能；
libavcodec：用於各種類型聲音/圖像編解碼；
libavutil：包含一些公共的工具函數；
libswscale：用於視頻場景比例縮放、色彩映射轉換；
libpostproc：用於後期效果處理；
ffmpeg：該項目提供的一個工具，可用於格式轉換、解碼或電視卡即時編碼等；
ffsever：一個 HTTP 多媒體即時廣播串流伺服器；
ffplay：是一個簡單的播放器，使用ffmpeg 庫解析和解碼，通過SDL顯示；

三種幀的說明
I幀:幀內編碼幀 ，I幀表示關鍵幀，你可以理解為這一幀畫面的完整保留；解碼時只需要本幀數據就可以完成（因為包含完整畫面）
I幀特點:
1.它是一個全幀壓縮編碼幀。它將全幀圖像信息進行JPEG壓縮編碼及傳輸;
2.解碼時僅用I幀的數據就可重構完整圖像;
3.I幀描述了圖像背景和運動主體的詳情;
4.I幀不需要參考其他畫面而生成;
5.I幀是P幀和B幀的參考幀(其質量直接影響到同組中以後各幀的質量);
6.I幀是幀組GOP的基礎幀(第一幀),在一組中只有一個I幀;
7.I幀不需要考慮運動矢量;
8.I幀所佔數據的信息量比較大。

P幀:前向預測編碼幀。P幀表示的是這一幀跟之前的一個關鍵幀（或P幀）的差別，解碼時需要用之前緩存的畫面疊加上本幀定義的差別，生成最終畫面。（也就是差別幀，P幀沒有完整畫面數據，只有與前一幀的畫面差別的數據）

P幀的預測與重構:P幀是以I幀為參考幀,在I幀中找出P幀「某點」的預測值和運動矢量,取預測差值和運動矢量一起傳送。在接收端根據運動矢量從I幀中找出P幀「某點」的預測值並與差值相加以得到P幀「某點」樣值,從而可得到完整的P幀。
P幀特點:
1.P幀是I幀後面相隔1~2幀的編碼幀;
2.P幀採用運動補償的方法傳送它與前面的I或P幀的差值及運動矢量(預測誤差);
3.解碼時必須將I幀中的預測值與預測誤差求和後才能重構完整的P幀圖像;
4.P幀屬於前向預測的幀間編碼。它只參考前面最靠近它的I幀或P幀;
5.P幀可以是其後面P幀的參考幀,也可以是其前後的B幀的參考幀;
6.由於P幀是參考幀,它可能造成解碼錯誤的擴散;
7.由於是差值傳送,P幀的壓縮比較高。

B幀:雙向預測內插編碼幀。B幀是雙向差別幀，也就是B幀記錄的是本幀與前後幀的差別（具體比較復雜，有4種情況，但我這樣說簡單些），換言之，要解碼B幀，不僅要取得之前的緩存畫面，還要解碼之後的畫面，通過前後畫面的與本幀數據的疊加取得最終的畫面。B幀壓縮率高，但是解碼時CPU會比較累。

B幀的預測與重構
B幀以前面的I或P幀和後面的P幀為參考幀,「找出」B幀「某點」的預測值和兩個運動矢量,並取預測差值和運動矢量傳送。接收端根據運動矢量在兩個參考幀中「找出(算出)」預測值並與差值求和,得到B幀「某點」樣值,從而可得到完整的B幀。
B幀特點
1.B幀是由前面的I或P幀和後面的P幀來進行預測的;
2.B幀傳送的是它與前面的I或P幀和後面的P幀之間的預測誤差及運動矢量;
3.B幀是雙向預測編碼幀;
4.B幀壓縮比最高,因為它只反映丙參考幀間運動主體的變化情況,預測比較准確;
5.B幀不是參考幀,不會造成解碼錯誤的擴散。

注:I、B、P各幀是根據壓縮演算法的需要，是人為定義的,它們都是實實在在的物理幀。一般來說，I幀的壓縮率是7（跟JPG差不多），P幀是20，B幀可以達到50。可見使用B幀能節省大量空間，節省出來的空間可以用來保存多一些I幀，這樣在相同碼率下，可以提供更好的畫質。

1.分組:把幾幀圖像分為一組(GOP，也就是一個序列),為防止運動變化,幀數不宜取多。
2.定義幀:將每組內各幀圖像定義為三種類型,即I幀、B幀和P幀;
3.預測幀:以I幀做為基礎幀,以I幀預測P幀,再由I幀和P幀預測B幀;
4.數據傳輸:最後將I幀數據與預測的差值信息進行存儲和傳輸。幀內（Intraframe）壓縮也稱為空間壓縮（Spatial compression）。當壓縮一幀圖像時，僅考慮本幀的數據而不考慮相鄰幀之間的冗餘信息，這實際上與靜態圖像壓縮類似。幀內一般採用有損壓縮演算法，由於幀內壓縮是編碼一個完整的圖像，所以可以獨立的解碼、顯示。幀內壓縮一般達不到很高的壓縮，跟編碼jpeg差不多。
幀間（Interframe）壓縮的原理是：相鄰幾幀的數據有很大的相關性，或者說前後兩幀信息變化很小的特點。也即連續的視頻其相鄰幀之間具有冗餘信息,根據這一特性，壓縮相鄰幀之間的冗餘量就可以進一步提高壓縮量，減小壓縮比。幀間壓縮也稱為時間壓縮（Temporal compression），它通過比較時間軸上不同幀之間的數據進行壓縮。幀間壓縮一般是無損的。幀差值（Frame differencing）演算法是一種典型的時間壓縮法，它通過比較本幀與相鄰幀之間的差異，僅記錄本幀與其相鄰幀的差值，這樣可以大大減少數據量。
順便說下有損（Lossy ）壓縮和無損（Lossy less）壓縮。無損壓縮也即壓縮前和解壓縮後的數據完全一致。多數的無損壓縮都採用RLE行程編碼演算法。有損壓縮意味著解壓縮後的數據與壓縮前的數據不一致。在壓縮的過程中要丟失一些人眼和人耳所不敏感的圖像或音頻信息,而且丟失的信息不可恢復。幾乎所有高壓縮的演算法都採用有損壓縮,這樣才能達到低數據率的目標。丟失的數據率與壓縮比有關,壓縮比越小，丟失的數據越多,解壓縮後的效果一般越差。此外,某些有損壓縮演算法採用多次重復壓縮的方式,這樣還會引起額外的數據丟失。

如果NALU對應的Slice為一幀的開始，則用4位元組表示，即0x00000001；否則用3位元組表示，0x000001。
NAL Header：forbidden_bit，nal_reference_bit（優先順序）2bit，nal_unit_type（類型）5bit。 標識NAL單元中的RBSP數據類型，其中，nal_unit_type為1， 2， 3， 4， 5的NAL單元稱為VCL的NAL單元，其他類型的NAL單元為非VCL的NAL單元。
0：未規定
1：非IDR圖像中不採用數據劃分的片段
2：非IDR圖像中A類數據劃分片段
3：非IDR圖像中B類數據劃分片段
4：非IDR圖像中C類數據劃分片段
5：IDR圖像的片段
6：補充增強信息（SEI）
7：序列參數集（SPS）
8：圖像參數集（PPS）
9：分割符
10：序列結束符
11：流結束符
12：填充數據
13：序列參數集擴展
14：帶前綴的NAL單元
15：子序列參數集
16 – 18：保留
19：不採用數據劃分的輔助編碼圖像片段
20：編碼片段擴展
21 – 23：保留
24 – 31：未規定

H.264的SPS和PPS串，包含了初始化H.264解碼器所需要的信息參數，包括編碼所用的profile，level，圖像的寬和高，deblock濾波器等。

碼率：256～512 kb/s
幀率：15～20fps
解析度：1280x720(HD) 640x368(VGA) 1920x1080(UHD)

中文名：高級音頻編碼，出現於1997年，基於MPEG-2的音頻編碼技術。由Fraunhofer IIS、杜比實驗室、AT&T、Sony等公司共同開發，目的是取代MP3格式。2000年，MPEG-4標准出現後，AAC重新集成了其特性，加入了SBR技術和PS技術，為了區別於傳統的MPEG-2 AAC又稱為MPEG-4 AAC。

優點：相對於mp3，AAC格式的音質更佳，文件更小。
不足：AAC屬於有損壓縮的格式，與時下流行的APE、FLAC等無損格式相比音質存在「本質上」的差距。加之，傳輸速度更快的USB3.0和16G以上大容量MP3正在加速普及，也使得AAC頭上「小巧」的光環不復存在了。

音頻采樣率是指錄音設備在一秒鍾內對聲音信號的采樣次數，采樣頻率越高聲音的還原就越真實越自然。在當今的主流採集卡上，采樣頻率一般共分為22.05KHz、44.1KHz、48KHz三個等級，22.05KHz只能達到FM廣播的聲音品質，44.1KHz則是理論上的CD音質界限，48KHz則更加精確一些。

比特率是指每秒傳送的比特(bit)數。單位為 bps(Bit Per Second)，比特率越高，傳送數據速度越快。聲音中的比特率是指將模擬聲音信號轉換成數字聲音信號後，單位時間內的二進制數據量，是間接衡量音頻質量的一個指標。 視頻中的比特率（碼率）原理與聲音中的相同，都是指由模擬信號轉換為數字信號後，單位時間內的二進制數據量。
信道編碼中，K符號大小的信源數據塊通過編碼映射為N符號大小的碼字，則K/N成為碼率，其中假設編碼前後的符號表沒有變化。

FFMPEG中結構體很多。最關鍵的結構體可以分成以下幾類：
解協議（http,rtsp,rtmp,mms）
AVIOContext，URLProtocol，URLContext主要存儲視音頻使用的協議的類型以及狀態。URLProtocol存儲輸入視音頻使用的封裝格式。每種協議都對應一個URLProtocol結構。（注意：FFMPEG中文件也被當做一種協議「file」）
解封裝（flv,avi,rmvb,mp4）
AVFormatContext主要存儲視音頻封裝格式中包含的信息；AVInputFormat存儲輸入視音頻使用的封裝格式。每種視音頻封裝格式都對應一個AVInputFormat 結構。
解碼（h264,mpeg2,aac,mp3）
每個AVStream存儲一個視頻/音頻流的相關數據；每個AVStream對應一個AVCodecContext，存儲該視頻/音頻流使用解碼方式的相關數據；每個AVCodecContext中對應一個AVCodec，包含該視頻/音頻對應的解碼器。每種解碼器都對應一個AVCodec結構。
存數據
視頻的話，每個結構一般是存一幀；音頻可能有好幾幀
解碼前數據：AVPacket
解碼後數據：AVFrame

AVCodec是存儲編解碼器信息的結構體
const char *name：編解碼器的名字，比較短
const char *long_name：編解碼器的名字，全稱，比較長
enum AVMediaType type：指明了類型，是視頻，音頻，還是字幕
enum AVCodecID id：ID，不重復
const AVRational *supported_framerates：支持的幀率（僅視頻）
const enum AVPixelFormat *pix_fmts：支持的像素格式（僅視頻）
const int *supported_samplerates：支持的采樣率（僅音頻）
const enum AVSampleFormat *sample_fmts：支持的采樣格式（僅音頻）
const uint64_t channel_layouts：支持的聲道數（僅音頻）
int priv_data_size：私有數據的大小
1.注冊所有編解碼器：av_register_all();
2.聲明一個AVCodec類型的指針，比如說AVCodec first_c;
3.調用av_codec_next()函數，即可獲得指向鏈表下一個解碼器的指針，循環往復可以獲得所有解碼器的信息。注意，如果想要獲得指向第一個解碼器的指針，則需要將該函數的參數設置為NULL。

這是一個描述編解碼器上下文的數據結構，包含了眾多編解碼器需要的參數信息
如果是單純使用libavcodec，這部分信息需要調用者進行初始化；如果是使用整個FFMPEG庫，這部分信息在調用 av_open_input_file和av_find_stream_info的過程中根據文件的頭信息及媒體流內的頭部信息完成初始化。其中幾個主要 域的釋義如下：
extradata/extradata_size： 這個buffer中存放了解碼器可能會用到的額外信息，在av_read_frame中填充。一般來說，首先，某種具體格式的demuxer在讀取格式頭 信息的時候會填充extradata，其次，如果demuxer沒有做這個事情，比如可能在頭部壓根兒就沒有相關的編解碼信息，則相應的parser會繼 續從已經解復用出來的媒體流中繼續尋找。在沒有找到任何額外信息的情況下，這個buffer指針為空。
time_base：
width/height：視頻的寬和高。
sample_rate/channels：音頻的采樣率和信道數目。
sample_fmt： 音頻的原始采樣格式。
codec_name/codec_type/codec_id/codec_tag：編解碼器的信息。

該結構體描述一個媒體流
主要域的釋義如下，其中大部分域的值可以由av_open_input_file根據文件頭的信息確定，缺少的信息需要通過調用av_find_stream_info讀幀及軟解碼進一步獲取：
index/id：index對應流的索引，這個數字是自動生成的，根據index可以從AVFormatContext::streams表中索引到該流；而id則是流的標識，依賴於具體的容器格式。比如對於MPEG TS格式，id就是pid。
time_base：流的時間基準，是一個實數，該流中媒體數據的pts和dts都將以這個時間基準為粒度。通常，使用av_rescale/av_rescale_q可以實現不同時間基準的轉換。
start_time：流的起始時間，以流的時間基準為單位，通常是該流中第一個幀的pts。
ration：流的總時間，以流的時間基準為單位。
need_parsing：對該流parsing過程的控制域。
nb_frames：流內的幀數目。
r_frame_rate/framerate/avg_frame_rate：幀率相關。
codec：指向該流對應的AVCodecContext結構，調用av_open_input_file時生成。
parser：指向該流對應的AVCodecParserContext結構，調用av_find_stream_info時生成。

這個結構體描述了一個媒體文件或媒體流的構成和基本信息
這是FFMpeg中最為基本的一個結構，是其他所有結構的根，是一個多媒體文件或流的根本抽象。其中:nb_streams和streams所表示的AVStream結構指針數組包含了所有內嵌媒體流的描述；iformat和oformat指向對應的demuxer和muxer指針；pb則指向一個控制底層數據讀寫的ByteIOContext結構。
start_time和ration是從streams數組的各個AVStream中推斷出的多媒體文件的起始時間和長度，以微妙為單位。
通常，這個結構由av_open_input_file在內部創建並以預設值初始化部分成員。但是，如果調用者希望自己創建該結構，則需要顯式為該結構的一些成員置預設值——如果沒有預設值的話，會導致之後的動作產生異常。以下成員需要被關註：
probesize
mux_rate
packet_size
flags
max_analyze_ration
key
max_index_size
max_picture_buffer
max_delay

AVPacket定義在avcodec.h中
FFMPEG使用AVPacket來暫存解復用之後、解碼之前的媒體數據（一個音/視頻幀、一個字幕包等）及附加信息（解碼時間戳、顯示時間戳、時長等）。其中：
dts 表示解碼時間戳，pts表示顯示時間戳，它們的單位是所屬媒體流的時間基準。
stream_index 給出所屬媒體流的索引；
data 為數據緩沖區指針，size為長度；
ration 為數據的時長，也是以所屬媒體流的時間基準為單位；
pos 表示該數據在媒體流中的位元組偏移量；
destruct 為用於釋放數據緩沖區的函數指針；
flags 為標志域，其中，最低為置1表示該數據是一個關鍵幀。
AVPacket 結構本身只是個容器，它使用data成員指向實際的數據緩沖區，這個緩沖區可以通過av_new_packet創建，可以通過 av_p_packet 拷貝，也可以由FFMPEG的API產生（如av_read_frame），使用之後需要通過調用av_free_packet釋放。
av_free_packet調用的是結構體本身的destruct函數，它的值有兩種情況：(1)av_destruct_packet_nofree或 0；(2)av_destruct_packet，其中，前者僅僅是將data和size的值清0而已，後者才會真正地釋放緩沖區。FFMPEG內部使用 AVPacket結構建立緩沖區裝載數據，同時提供destruct函數，如果FFMPEG打算自己維護緩沖區，則將destruct設為 av_destruct_packet_nofree，用戶調用av_free_packet清理緩沖區時並不能夠將其釋放；如果FFMPEG不會再使用 該緩沖區，則將destruct設為av_destruct_packet，表示它能夠被釋放。對於緩沖區不能夠被釋放的AVPackt，用戶在使用之前 最好調用av_p_packet進行緩沖區的克隆，將其轉化為緩沖區能夠被釋放的AVPacket，以免對緩沖區的不當佔用造成異常錯誤。而 av_p_packet會為destruct指針為av_destruct_packet_nofree的AVPacket新建一個緩沖區，然後將原 緩沖區的數據拷貝至新緩沖區，置data的值為新緩沖區的地址，同時設destruct指針為av_destruct_packet。

構體保存的是解碼後和原始的音視頻信息。AVFrame通過函數av_frame_alloc()初始化，該函數僅僅分配AVFrame實例本身，而沒有分配其內部的緩存。AVFrame實例由av_frame_free()釋放；AVFrame實例通常分配一次，重復使用，如分配一個AVFrame實例來保留解碼器中輸出的視頻幀（此時應在恰當的時候使用av_frame_unref()清理參考幀並將AVFrame歸零）。該類所描述的數據通常由AVBuffer的API來保存一個引用計數，並保存於AVFrame.buf
/AVFrame.extended_buf，在至少存在一個參考的時候（如AVFrame.buf[0] != NULL），則該對象被標記為「被引用」。在此情況下，AVFrame所包含的每一組數據必須包含於AVFrame的緩存中。

ADTS流 跟Raw流，
1.ADTS是個啥
ADTS全稱是(Audio Data Transport Stream)，是AAC的一種十分常見的傳輸格式。

AAC解碼器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7個位元組的ADTS header。也就是說你可以吧ADTS這個頭看作是AAC的frameheader。

ffmpeg寫 mp4+aac時呢，音頻有兩個值得注意的地方。
1 寫aac音頻時，要添加兩個位元組的信息到AVCodecContext.
2 ffmpeg 寫AAC音頻數據不能含有ADTS頭

在AAC ES流前添加7個位元組的ADTS header。也就是說你可以吧ADTS這個頭看作是AAC的frameheader。

tvOS必須要支持 bitcode. (iOS bitcode項可選的) 所以在編譯的時候Makefile要加上 CFLAGS= -fembed-bitcode 。 如果用xcode編譯lib，要在Build Settings—>custom compiler flags —>cflags 加上OTHER_CFLAGS="-fembed-bitcode" 。

1 內存優化。內存往上漲。沒能及時回收。最好能夠使用手動管理內存。
解碼優化，看ffmpeg文檔，最新的解碼庫，解碼效率，穩定性，綜合性考慮。
YUV->RGB OpenGLES shader來顯示。

1.分離視頻音頻流
ffmpeg -i input_file -vcodec -an output_file_video//分離視頻流
ffmpeg -i input_file -acodec -vn output_file_audio//分離音頻流
2.視頻解復用
ffmpeg –i test.mp4 –vcodec –an –f m4v test.264
ffmpeg –i test.avi –vcodec –an –f m4v test.264
3.視頻轉碼
ffmpeg –i test.mp4 –vcodec h264 –s 352 278 –an –f m4v test.264 //轉碼為碼流原始文件
ffmpeg –i test.mp4 –vcodec h264 –bf 0 –g 25 –s 352 278 –an –f m4v test.264 //轉碼為碼流原始文件
ffmpeg –i test.avi -vcodec mpeg4 –vtag xvid –qsame test_xvid.avi //轉碼為封裝文件
//-bf B幀數目控制，-g 關鍵幀間隔控制，-s 解析度控制
4.視頻封裝
ffmpeg –i video_file –i audio_file –vcodec –acodec output_file
5.視頻剪切
ffmpeg –i test.avi –r 1 –f image2 image-%3d.jpeg //提取圖片
ffmpeg -ss 0:1:30 -t 0:0:20 -i input.avi -vcodec -acodec output.avi //剪切視頻
//-r 提取圖像的頻率，-ss 開始時間，-t 持續時間
6.視頻錄制
ffmpeg –i rtsp://192.168.3.205:5555/test –vcodec out.avi
7.YUV序列播放
ffplay -f rawvideo -video_size 1920x1080 input.yuv
8.YUV序列轉AVI
ffmpeg –s w*h –pix_fmt yuv420p –i input.yuv –vcodec mpeg4 output.avi