採集伺服器搭建

㈠ 每天採集100萬網頁。需要什麼配置伺服器性價比最高

可以考慮直接使用伺服器，那樣的話，性價比比較高，而且更適合咱們這種應用使用，能夠滿足咱們所有的要求，操作起來也是非常方便的，遠程連接上之後，使用你的軟體就可以自動批量採集了，需要可以找我。
------該回答來自華普在線小祝

㈡ 輿情信息採集伺服器的配置問題

10. 系統配置
系統管理是對整個系統後台的配置，包括許可權管理、輿情監測管理、信息導控設置、網評員管理、輿情簡報設置、採集資源庫管理、參數配置、數據管理、採集任務管理等。
第八章 性能指標
網路輿情採集性能
支持站點數量 數量最大為五百
採集最大線程數 視採集機器性能而定，普通電腦支持200以上
內置站點數量 1000個
內置搜索引擎源 30個
更新頻率 20分鍾左右（用戶可以根據自己的需求進行調整）
輿情分析性能 10條/秒（視伺服器性能會有調整）
並發用戶數 200人（視伺服器性能會有調整）
支持採集最大數據量 3000萬
支持輿情最大數據量 500萬
輿情搜索效率 響應時間<2秒（100萬數據）
第九章 運行環境
這里的「運行環境」是指客戶端計算機，通過Google chrome、Firefox、Internet Explorer 6.0及以上、360等瀏覽器來使用民意搜索系統時，所需要的軟硬體配置。
硬體環境
輿情分析和服務的配置（主流PC伺服器，一般配置）
 CPU：四核2400MHZ
 內存：4G以上
 硬碟：200G以上
採集端機器的推薦配置
 CPU：2400MHZ
 內存：8G以上
 硬碟：500G以上
另外，如果伺服器性能允許的話，系統也支持在輿情伺服器上部署採集。
軟體環境
操作系統
支持現有主流操作系統，
包括 Microsoft Windows 2000/XP/2003、RedHat linux、CentOS等
資料庫
支持 Oracle 9i / 10g / 11g / 10g XE 、MySQL 5.0等
網路環境
4M共享（如監控站點多，且掃描頻率高，需增加帶寬）

㈢ win2003本地採集速度特別快,伺服器採集速度慢的很問題.

b x

㈣ 平台上問大家能採集最近多少條的數據

100到500條的記錄。
網路數據採集平台，這種數據採集平台一般都是通過爬蟲去採集的，在伺服器上搭建一個對目標網站集進行爬取的爬蟲，然後將每天爬取到的數據進行清洗整理，一般會採集100到500條的記錄。

㈤ 「SpringCloud」（三十八）搭建ELK日誌採集與分析系統

 一套好的日誌分析系統可以詳細記錄系統的運行情況，方便我們定位分析系統性能瓶頸、查找定位系統問題。上一篇說明了日誌的多種業務場景以及日誌記錄的實現方式，那麼日誌記錄下來，相關人員就需要對日誌數據進行處理與分析，基於E(ElasticSearch)L(Logstash)K(Kibana)組合的日誌分析系統可以說是目前各家公司普遍的首選方案。

  作為微服務集群，必須要考慮當微服務訪問量暴增時的高並發場景，此時系統的日誌數據同樣是爆發式增長，我們需要通過消息隊列做流量削峰處理，Logstash官方提供Redis、Kafka、RabbitMQ等輸入插件。Redis雖然可以用作消息隊列，但其各項功能顯示不如單一實現的消息隊列，所以通常情況下並不使用它的消息隊列功能；Kafka的性能要優於RabbitMQ，通常在日誌採集，數據採集時使用較多，所以這里我們採用Kafka實現消息隊列功能。
  ELK日誌分析系統中，數據傳輸、數據保存、數據展示、流量削峰功能都有了，還少一個組件，就是日誌數據的採集，雖然log4j2可以將日誌數據發送到Kafka，甚至可以將日誌直接輸入到Logstash，但是基於系統設計解耦的考慮，業務系統運行不會影響到日誌分析系統，同時日誌分析系統也不會影響到業務系統，所以，業務只需將日誌記錄下來，然後由日誌分析系統去採集分析即可，Filebeat是ELK日誌系統中常用的日誌採集器，它是 Elastic Stack 的一部分，因此能夠與 Logstash、Elasticsearch 和 Kibana 無縫協作。

軟體下載：

  因經常遇到在內網搭建環境的問題，所以這里習慣使用下載軟體包的方式進行安裝，雖沒有使用Yum、Docker等安裝方便，但是可以對軟體目錄、配置信息等有更深的了解，在後續採用Yum、Docker等方式安裝時，也能清楚安裝了哪些東西，安裝配置的文件是怎樣的，即使出現問題，也可以快速的定位解決。

Elastic Stack全家桶下載主頁： https://www.elastic.co/cn/downloads/

我們選擇如下版本：

Kafka下載：

  安裝前先准備好三台CentOS7伺服器用於集群安裝，這是IP地址為：172.16.20.220、172.16.20.221、172.16.20.222，然後將上面下載的軟體包上傳至三台伺服器的/usr/local目錄。因伺服器資源有限，這里所有的軟體都安裝在這三台集群伺服器上，在實際生產環境中，請根據業務需求設計規劃進行安裝。
  在集群搭建時，如果能夠編寫shell安裝腳本就會很方便，如果不能編寫，就需要在每台伺服器上執行安裝命令，多數ssh客戶端提供了多會話同時輸入的功能，這里一些通用安裝命令可以選擇啟用該功能。

新建/usr/local/java目錄

將下載的jdk軟體包jdk-8u64-linux-x64.tar.gz上傳到/usr/local/java目錄，然後解壓

配置環境變數/etc/profile

在底部添加以下內容

使環境變數生效

備註：後續可通過此命令停止elasticsearch運行

  新建kafka的日誌目錄和zookeeper數據目錄，因為這兩項默認放在tmp目錄，而tmp目錄中內容會隨重啟而丟失,所以我們自定義以下目錄:

修改如下：

在data文件夾中新建myid文件，myid文件的內容為1（一句話創建：echo 1 > myid）

kafka啟動時先啟動zookeeper，再啟動kafka；關閉時相反，先關閉kafka，再關閉zookeeper。
1、zookeeper啟動命令

後台運行啟動命令：

或者

查看集群狀態：

2、kafka啟動命令

後台運行啟動命令：

或者

3、創建topic，最新版本已經不需要使用zookeeper參數創建。

參數解釋:
復制兩份
--replication-factor 2
創建1個分區
--partitions 1
topic 名稱
--topic test

4、查看已經存在的topic（三台設備都執行時可以看到）

5、啟動生產者：

6、啟動消費者：

添加參數 --from-beginning 從開始位置消費，不是從最新消息

7、測試：在生產者輸入test，可以在消費者的兩台伺服器上看到同樣的字元test，說明Kafka伺服器集群已搭建成功。

Logstash沒有提供集群安裝方式，相互之間並沒有交互，但是我們可以配置同屬一個Kafka消費者組，來實現統一消息只消費一次的功能。

  Filebeat用於安裝在業務軟體運行伺服器，收集業務產生的日誌，並推送到我們配置的Kafka、Redis、RabbitMQ等消息中間件，或者直接保存到Elasticsearch，下面來講解如何安裝配置：

1、進入到/usr/local目錄，執行解壓命令

2、編輯配置filebeat.yml
  配置文件中默認是輸出到elasticsearch，這里我們改為kafka，同文件目錄下的filebeat.reference.yml文件是所有配置的實例，可以直接將kafka的配置復制到filebeat.yml

後台啟動命令

停止命令

2、測試logstash是消費Kafka的日誌主題，並將日誌內容存入Elasticsearch

自動新增的兩個index，規則是logstash中配置的

數據瀏覽頁可以看到Elasticsearch中存儲的日誌數據內容，說明我們的配置已經生效。

Gitee: GitEgg: GitEgg 是一款開源免費的企業級微服務應用開發框架，旨在整合目前主流穩定的開源技術框架，集成常用的最佳項目解決方案，實現可直接使用的微服務快速開發框架。
GitHub: https://github.com/wmz1930/GitEgg

㈥ 數據採集伺服器

你的描述就是一個digital oscillograph
如果作項目的話建議去買一個agilent的

㈦ mes系統伺服器如何搭建

mes系統搭建步驟：
第1步：規范原始資料，通過與上層設計系統的集成，及時更新生產數據，指導生產現場作業。管理車間各種資源，實現車間資源的規范性管理，同時提供生產排程的重要依據。
第2步：提高計劃的可執行性，根據產品數據和車間資源數據，對車間生產計劃進行分解，在計劃執行前進行有效的能力分析，及時發現瓶頸。在計劃執行中，根據生產作業情況，再次對正在執行或後續計劃進行調整，獲得最優的產能。
第3步：加強生產現場控制，根據生產計劃的指導和現場設備的操控，實現對生產現場的有力監控。通過數據採集手段，獲得計劃的執行狀態。使計劃調度在辦公室就能夠掌握當前的計劃執行。
第4步：實現車間內部的科學管理，MES能夠覆蓋95%的車間管理業務，實現車間內部的信息流、財務流、控制流的協同，進一步改善生產車間的管理手段。
第5步：打通企業的三級信息流，MES的實施，填補了上層計劃系統和底層控制系統的信息斷層，實現了企業三級信息流的通暢。

㈧ 一個採集電影站 日ip 20000 流量一百萬PV 這樣的vps伺服器 配置硬碟是200G 寬頻是10M獨享的 的可以嗎

這么大規模的網站.完全可以用獨立伺服器了.用VPS就太牽強了.VPS畢竟是虛擬的.它是在伺服器上劃分出來一部分資源搭建而成.同等配置的情況下.VPS的性能最多是伺服器的一半多一些.比如說2G內存的VPS.實用使用只有1G多一點就不錯了.一般情況下日IP五千以上的都完全可以用伺服器.你的IP已經上萬.完全沒有必要考慮VPS
個人觀點.希望對你有幫助.若有需要幫忙可以找我

㈨ 感測器採集數據通過單片機處理後怎麼導入web伺服器（不是嵌入式web伺服器，而是單獨搭建的一般的web伺服器

用電腦嗎？
我現在有個這樣的。是很簡單的那種，
單片機串口傳入計算機。計算機通過網路傳給伺服器。
然後其他電腦就可以訪問了。

如果要單片機直接傳給伺服器的，通過網路的話，好像有點復雜，如果單片機可以直接和web伺服器連接就很簡單。

弄一個程序，實時採集單片機數據，web伺服器上用ASP寫一個更新資料庫的代碼，然後通過這個asp定時更新數據就可以了。

WEB伺服器的IIS服務，做一個簡單網頁，直接顯示數據就OK了。

我用的是那種網上的虛擬主機，和單片機連接的電腦不斷的更新虛擬主機上的資料庫。這樣數據就可以實時顯示，一般有點延時。

㈩ 用Linux 怎樣搭建網路設備的日誌伺服器

只要開啟linux伺服器的syslog服務就可以了。 網路設備的日誌採集伺服器 指向改syslog伺服器的地址。