文件斷點上傳
⑴ 斷點上傳和斷點續傳區別
方式不同。
1、斷點上傳,是通時間規定的間隔進行文件傳輸的一種。
2、而斷點續傳斷點續傳指的是在下載或上傳時,將下載或上傳任務(一個文件或一個壓縮包)人為的劃分為幾個部分,每一個部分採用一個線程進行上傳或下載。
⑵ iOS大文件的分片上傳和斷點上傳
由於最近比較忙,所以一直沒有寫博客,現在分享一些大文件的上傳的問題!斷點續傳和分片上傳。因為文件過大(比如1G以上),必須要考慮上傳過程網路中斷的情況。http的網路請求中本身就已經具備了分片上傳功能,當傳輸的文件比較大時,http協議自動會將文件切片(分塊),但這不是我們現在說的重點,我們要做的事是保證在網路中斷後1G的文件已上傳的那部分在下次網路連接時不必再重傳。所以我們本地在上傳的時候,要將大文件進行分片,比如分成1024*1024B,即將大文件分成1M的片進行上傳,伺服器在接收後,再將這些片合並成原始文件,這就是分片的基本原理。斷點續傳要求本地要記錄每一片的上傳的狀態,我通過三個狀態進行了標記(wait loading finish),當網路中斷,再次連接後,從斷點處進行上傳。伺服器通過文件名、總片數判斷該文件是否已全部上傳完成。
下面來說細節:
1、首先獲取文件(音視頻、圖片)
分兩種情況,一種是在相冊庫里直接獲取,一種是調用相機。如果是通過UIImagePickerView來獲取(細節不詳述,網上一大堆),我們會發現當你選定一個視頻的時候,會出現圖1的壓縮頁面,最後我們的app獲取的視頻就是這個經過壓縮後的視頻(不是視頻庫里的原始視頻,這里有個注意點,操作完該壓縮視頻後記得釋放,系統不會幫你釋放的,需要你手動來操作,下面會說到),然後通過UIImagePickerView的協議方法中的- (void)imagePickerController:(UIImagePickerController*)picker didFinishPickingMediaWithInfo:(NSDictionary*)info獲取視頻的Info
fileInfo = {
= "public.movie";
= "file:///private/var/mobile/Containers/Data/Application/2AAE9E44-0E6D-4499-9AC3-93D44D8342EA/tmp/trim.F36EC46C-4219-43C8-96A7-FA7141AB64D2.MOV";
= "assets-library://asset/asset.MOV?id=DEDA9406-3223-4F87-ABB2-98FB5F5EB9C4&ext=MOV";
}
是選取文件的類型,如KUTTypeImage,KUTTypeMovie。這里注意一下movie和video的區別,一個是有聲音的視頻文件,一個是沒有聲音的視頻文件,當然還有Audio是只有聲音沒有視頻。是視頻的URL(如果是相機拍攝的,那麼這個就是原始拍攝得到的視頻;如果是在相冊庫里選擇的,那就是壓縮之後生成的視頻),注意這個URL不指向相冊庫,通過這個URL你可以操作這個視頻如刪除,拷貝等,可以獲取壓縮後的視頻的大小。是一個指向相冊的URL,官方的解釋是an NSURL that references an asset in the AssetsLibrary framework,通過這個URL,你可以獲取視頻的所有信息,包括文件名,縮略圖,時長等(通過ALAssetsLibrary里的assetsLibraryassetForURL:referenceURLresultBlock:)。
如果是相機拍攝的,注意兩個保存方法:圖片保存到相冊:UIImageJPEGRepresentation([infovalueForKey:],(CGFloat)1.0)metadata:nilcompletionBlock: failureBlock:
高保真壓縮圖片的方法NSData * UIImageJPEGRepresentation ( UIImage *image, CGFloat compressionQuality)
視頻保存到相冊::MediaURL completionBlock:failureBlock:
到這里,我們就獲取了所有需要的文件以及文件信息。下面要做的就是將文件分片。
2、將獲取到的文件分片
首先,我將獲取到的文件保存在這這樣一個類中
@interface CNFile :NSObject
@property(nonatomic,)NSString* fileType;//image or movie
@property(nonatomic,)NSString* filePath;//文件在app中路徑
@property(nonatomic,)NSString* fileName;//文件名
@property(nonatomic,assign)NSIntegerfileSize;//文件大小
@property (nonatomic,assign)NSIntegertrunks;//總片數
@property(nonatomic,)NSString* fileInfo;
@property(nonatomic,strong)UIImage* fileImage;//文件縮略圖
@property(nonatomic,strong) NSMutableArray* fileArr;//標記每片的上傳狀態
@end
這樣我們就可以對每一個CNFile對象進行操作了。
-(void)readDataWithChunk:(NSInteger)chunk file:(CNFile*)file{
總片數的獲取方法:
intoffset =1024*1024;(每一片的大小是1M)
NSIntegerchunks = (file.fileSize%1024==0)?((int)(file.fileSize/1024*1024)):((int)(file.fileSize/(1024*1024) +1));
NSLog(@"chunks = %ld",(long)chunks);
將文件分片,讀取每一片的數據:
NSData* data;
NSFileHandle*readHandle = [:file.filePath];
[readHandleseekToFileOffset:offset * chunk];
data = [readHandlereadDataOfLength:offset];
}
這樣我們就獲取了每一片要上傳的數據,然後詢問伺服器,該片是否已經存在
(方法-(void)ifHaveData:(NSData*)data WithChunk:(NSInteger)chunk file:(CNFile*)file)
,如果存在,令chunk+1,重復上面的方法讀取下一片,直到伺服器不存在該片,那麼上傳該片數據。在這個方法中注意設置該chunk的上傳狀態(wait loading finish),這將關繫到本地判斷該文件是否已全部上傳完成。
下一步就是上傳的過程:
-(void)uploadData:(NSData*) data WithChunk:(NSInteger) chunk file:(CNFile*)file;
在伺服器返回該片上傳成功後,我們要做的事有很多:
1)先將已經成功上傳的本片的flag置finish
[file.fileArrreplaceObjectAtIndex:chunk withObject:@「finish"];
2)查看是否所有片的flag都已經置finish,如果都已經finishi,說明該文件上傳完成,那麼刪除該文件,上傳下一個文件或者結束。
for(NSIntegerj =0; j
if(j == chunks || ((j == chunks -1)&&([file.fileArr[j]isEqualToString:@"finish"])))
[medeleteFile:file.filePath];
[mereadNextFile];
}
3)如果沒有都finish,那麼看本地下一chunk對用的flag是否是wait
NSLog(@"查看第%ld片的狀態",chunk+1);
for(NSIntegeri = chunk+1;i < chunks;i++)
{
NSString* flag = [file.fileArrobjectAtIndex:i];
if([flagisEqualToString:@"wait"]) {
[mereadDataWithChunk:ifileName:fileNamefile:file];
break;
}
}
在第2、3步之間可以有一個 2.5)判斷是否暫停上傳
if(me.isPause ==YES)
{
//將目前讀到了第幾個文件的第幾片保存到本地
[selfsaveProgressWithChunk:chunk file:file];
return;
}
這個操作實際上和上傳過程中斷網是一樣的,為了斷點續傳,在斷網或者暫停的時候,我們要將目前的進度保存起來,以便下次上傳時略過前面已置finish的片。
然後還有一個問題,如果我們就這樣線性的一片一片上傳,實際上失去了分片上傳的意義,應該結合多線程,使分片上傳過程並發執行,同時上傳多片,這樣就提高了上傳效率,並充分利用了網路帶寬。
dispatch_async(dispatch_queue_t queue, ^{
[mereadDataWithChunk: chunk];
})
最後注意一下,每上傳完一個視頻,去設置里看看你的app佔用的存儲空間有沒有增大哦,如果你沒有處理那個生成的壓縮視頻,你會發現你的app的空間佔用量是很大的。
站在大牛的肩膀上開發。
⑶ 斷點續傳
1、文件過大會導致帶寬資源緊張,請求速度下降 ;
2、如果上傳過程中服務中斷、網路中斷 、頁面崩潰,可能會導致文件重新開始上傳。
前端選擇文件後上傳,後端在處理文件過程中,首先會將文件載入到 運行內存中 ,之後再調用相應的API進行 寫入硬碟 內存的操作,完成整個文件的上傳。
但這樣直接上傳文件,可能會因為某個環節出了問題導致整個流程的雪崩,所以大文件直接上傳是不可取的。
解決問題最好辦法是 分片斷點續傳 ,該方式主要是針對 大文件(比如100M以上的文件) 。
顧名思義就是 斷點 和 續傳
在文件上傳過程中,將一個要上傳的文件 分成N塊 ,然後使用 多線程並發多塊上傳 ,因為某種原因導致上傳被中斷或暫停,此時中斷或暫停的位置就成為 斷點 。
前端每上傳一片,將會被載入到 運行內存中 ,載入完畢後再寫入硬碟,此時運行內存的臨時變數會被釋放,然後此臨時變數會被下一片佔用,再進行寫入,釋放...
意思是指從中斷的位置繼續上傳剩下的部分文件,而不是從頭開始上傳。
上傳完畢後,在服務端進行合並(合並的操作是在後端進行的,前端只是調用介面,合並的方式是由後端決定的,到底是上傳一片就合並一片,或者是上傳所有的之後整體進行合並)。
方式:
html5z之前的方式是 flash 和 activeX
html5提供了文件二進制流進行分割的slice方法。
文件的分片,一般在2-5M之間。這一步得到了每一片文件的內容、每一塊的序號、每一塊的大小、總塊數等數據。
這里提供了兩個方法;一種是用SparkMD5.hashBinary( ) 直接將整個文件的二進制碼傳入直接返迴文件的md5、這種方法對於小文件會比較有優勢——簡單並且速度快。
另一種方法是利用js中File對象的slice( )方法(File.prototype.slice( ))將文件分片後逐個傳入spark.appendBinary( )方法來計算、最後通過spark.end( )方法輸出結果,很明顯,這種方法對於大型文件會非常有利——不容易出錯,並且能夠提供計算的進度信息
第一種方式:
第二種方式