大數據生成腳本
① linux下如何用腳本實現大數據量的文件中快速的把三列內容輸出其中前兩列內容
不用for循環，直接awk。awk本身就是逐行處理文件的。
awk'{print$1FS$2}'myfileFS: Field Separator，欄位分隔符。
② 怎麼使用java導出大數據為xml文件
dom4j可以試試，不知道你的數據量有多大，如果太大的話，我沒試過
xml文件是有規律的，你可以把要導出的數據構造一下，
我有個簡單的代碼
packagecom.test.xml;
importjava.io.FileWriter;
importjava.io.IOException;
importjava.io.Writer;
importorg.dom4j.Document;
importorg.dom4j.DocumentHelper;
importorg.dom4j.Element;
importorg.dom4j.io.OutputFormat;
importorg.dom4j.io.XMLWriter;
publicclassDom4JXML{
publicvoidcreateXML(){
//用工廠類創建一個document實例
Documentdoc=DocumentHelper.createDocument();
//創建根元素emps
ElementrootEle=doc.addElement("emps");
//添加註釋
rootEle.addComment("這是一個dom4j生成的xml文件");
//emps根節點下創建一個emp節點
ElementempEle=rootEle.addElement("emp");
//emp添加屬性id="1"
empEle.addAttribute("id","1");
//emp節點下創建一個name節點
ElementnameEle=empEle.addElement("name");
//name節點下創建一個文本節點zhangsan
nameEle.setText("zhangsan");
//再為name節點創建一個兄弟節點
ElementsexEle=empEle.addElement("sex");
sexEle.setText("man");
//將document中的內容寫入文件中
try{
Writerout=newFileWriter("F:\emps.xml");
//格式化輸出,類型IE瀏覽一樣
OutputFormatformat=OutputFormat.createPrettyPrint();
//OutputFormatformat=OutputFormat.createCompactFormat();
format.setEncoding("UTF-8");
//創建寫出對象
XMLWriterwriter=newXMLWriter(out,format);
writer.write(doc);
writer.close();
System.out.println("生成emps.xml成功。");
}catch(IOExceptione){
//TODOAuto-generatedcatchblock
e.printStackTrace();
System.out.println("失敗了。");
}
}
publicstaticvoidmain(String[]args){
newDom4JXML().createXML();
}
}
然而從xml文件中解析以後的數據收集可以用SAX試試看
我這里有個簡單的例子
packagecom.test.xml;
importorg.xml.sax.Attributes;
importorg.xml.sax.SAXException;
importorg.xml.sax.helpers.DefaultHandler;
{
publicvoidstartDocument()throwsSAXException{
System.out.println("起始文擋");
}
publicvoidendDocument()throwsSAXException{
System.out.println("結束文擋");
}
publicvoidcharacters(char[]ch,intstart,intlength)throwsSAXException{
StringcharString=newString(ch,start,length);
System.out.println("字元:"+charString);
}
publicvoidstartElement(StringnamespaceURI,StringlocalName,StringqName,Attributesatts)throwsSAXException{
System.out.println("起始元素:"+qName);
for(inti=0;i<atts.getLength();i++){
System.out.println("屬性值:"+atts.getValue(i));
}
}
publicvoidendElement(StringnamespaceURI,StringlocalName,StringqName)throwsSAXException{
System.out.println("結束元素:"+qName);
}
}
packagecom.test.xml;
importjavax.xml.parsers.SAXParser;
importjavax.xml.parsers.SAXParserFactory;
publicclassBooks{
/**
*@paramargs
*/
publicstaticvoidmain(String[]args)throwsException{
//TODO自動生成方法存根
SAXParserFactoryfactory=SAXParserFactory.newInstance();
SAXParserparser=factory.newSAXParser();
parser.parse("booksamp.xml",newSAXParseHandler());
}
}
③ 如何用易語言製作腳本
第一個問題：易語言的腳本，如果你說的指讓文件執行任務的代碼，你你雙擊那個就可以了
第二個問題：建立一個時鍾，設置周期（1秒=1000毫秒，）然後雙擊時鍾，輸入代碼：
模擬按鍵 (#回車鍵, , )
第三個問題：如果你是要按鍵後台的對某個窗口起作用的，就取它的窗口句柄
④ navicat怎麼執行大數據的sql腳本快
你用cmd命令導出 cmd命令進行導入 這樣會比用工具快些
執行mysqlmp -uroot -p123456 資料庫名 >c:\aaa.sql導出資料庫
然後還原
輸入mysql -uroot -p 輸入密碼後回車
3、選擇資料庫 use 資料庫名
4、進行還原資料庫 source c:\aaa.sql 等待完成
⑤ 實時生成並下載大數據量的EXCEL文件，用php如何實現
對於任何一個網站肯定是少不了下載功能，常見的下載功能有圖片、視頻、Excel表格，如果文件比較小的話，那麼不會遇到任何的問題，但是當文件信息而超明銀過了PHP的最大內存，那麼在這個時候它就會有的內存溢出的問題。
那麼它們是因為什麼而發生的？對於這個過程的原理才是埋碧我們應該真正要去弄明白的事情
下載大數據量的EXCEL文件為何要報錯？
PHP在下載大Excel表格的時候，那麼首先它是需要去把MySQL的數據從硬碟上面讀取到內存，但讀取它是一次性載入到我們的內存，如果說它一次性載入的數據量遠遠大於最大內存，然後再來執行瀏覽器的業務下載。那麼這個時候它就會發生我們這個內存溢出。
就比如：說我們現在有100M的數據量，但是我們PHP內存最大隻有64M，那麼這個它肯定是裝不了的，我們可以把那個內存比喻為一個水杯，這個水杯的容量比喻為內存，現在杯子最大容量為64L。你要存放100L。肯定放不下
大事化小，小事化了。拆分成段
從上面可以看到文件下載，它是分為兩步，首先是載入內存然後執行瀏覽器的輸出下載，那麼既然大型文件一次性載入不了，那可以採用「大事化小，小事化了」思路，我們可以實現邊寫邊下載，也激液宴就是分批次的讀取與寫入。
因為用戶的話，只要最終拿到這個文件就可以，對於瀏覽器的下載原理不需要關心。只需要給到文件下載提示給用戶即可，然後後端在實時的分批次的寫入到要下載的文件當中。
實現思路步驟：
1、一設置瀏覽器下載Excel需要的Header
2、打開php://output流，並設置寫入文件句柄。
註：(php://output,是一個可寫的輸出流，允許程序像操作文件一樣將輸出寫入到輸出流中，PHP會把輸出流中的內容發送給web伺服器並返回給發起請求的瀏覽器)
3、獲取資料庫所有數據量，並設置每次查詢的條數，通過這兩個值計算分批查詢的次數
4、基於分批查詢的次數循環查詢資料庫，然後寫入到文件中，同時清除本次操作變數內存，刷新緩沖到瀏覽器，讓瀏覽器的文件始終實時保持到最新的大小
註：刷新用ob_flush、flush()PHP的I/O流
在這里我們用到了PHP的一個IO的輸入輸出，也就是我們常用的
php://inputphp://output。php://input
php://input可以讀取原始的POST數據。相較於$form-data」.
註：p>php://output是一個只寫的數據流，允許你以print和echo一樣的方式寫入到輸出緩沖區。
綜上：實現思維與原理很重要如有感悟，歡迎在線咨詢