采集服务器搭建

㈠ 每天采集100万网页。需要什么配置服务器性价比最高

可以考虑直接使用服务器，那样的话，性价比比较高，而且更适合咱们这种应用使用，能够满足咱们所有的要求，操作起来也是非常方便的，远程连接上之后，使用你的软件就可以自动批量采集了，需要可以找我。
------该回答来自华普在线小祝

㈡ 舆情信息采集服务器的配置问题

10. 系统配置
系统管理是对整个系统后台的配置，包括权限管理、舆情监测管理、信息导控设置、网评员管理、舆情简报设置、采集资源库管理、参数配置、数据管理、采集任务管理等。
第八章 性能指标
网络舆情采集性能
支持站点数量 数量最大为五百
采集最大线程数 视采集机器性能而定，普通电脑支持200以上
内置站点数量 1000个
内置搜索引擎源 30个
更新频率 20分钟左右（用户可以根据自己的需求进行调整）
舆情分析性能 10条/秒（视服务器性能会有调整）
并发用户数 200人（视服务器性能会有调整）
支持采集最大数据量 3000万
支持舆情最大数据量 500万
舆情搜索效率 响应时间<2秒（100万数据）
第九章 运行环境
这里的“运行环境”是指客户端计算机，通过Google chrome、Firefox、Internet Explorer 6.0及以上、360等浏览器来使用民意搜索系统时，所需要的软硬件配置。
硬件环境
舆情分析和服务的配置（主流PC服务器，一般配置）
 CPU：四核2400MHZ
 内存：4G以上
 硬盘：200G以上
采集端机器的推荐配置
 CPU：2400MHZ
 内存：8G以上
 硬盘：500G以上
另外，如果服务器性能允许的话，系统也支持在舆情服务器上部署采集。
软件环境
操作系统
支持现有主流操作系统，
包括 Microsoft Windows 2000/XP/2003、RedHat linux、CentOS等
数据库
支持 Oracle 9i / 10g / 11g / 10g XE 、MySQL 5.0等
网络环境
4M共享（如监控站点多，且扫描频率高，需增加带宽）

㈢ win2003本地采集速度特别快,服务器采集速度慢的很问题.

b x

㈣ 平台上问大家能采集最近多少条的数据

100到500条的记录。
网络数据采集平台，这种数据采集平台一般都是通过爬虫去采集的，在服务器上搭建一个对目标网站集进行爬取的爬虫，然后将每天爬取到的数据进行清洗整理，一般会采集100到500条的记录。

㈤ “SpringCloud”（三十八）搭建ELK日志采集与分析系统

 一套好的日志分析系统可以详细记录系统的运行情况，方便我们定位分析系统性能瓶颈、查找定位系统问题。上一篇说明了日志的多种业务场景以及日志记录的实现方式，那么日志记录下来，相关人员就需要对日志数据进行处理与分析，基于E(ElasticSearch)L(Logstash)K(Kibana)组合的日志分析系统可以说是目前各家公司普遍的首选方案。

  作为微服务集群，必须要考虑当微服务访问量暴增时的高并发场景，此时系统的日志数据同样是爆发式增长，我们需要通过消息队列做流量削峰处理，Logstash官方提供Redis、Kafka、RabbitMQ等输入插件。Redis虽然可以用作消息队列，但其各项功能显示不如单一实现的消息队列，所以通常情况下并不使用它的消息队列功能；Kafka的性能要优于RabbitMQ，通常在日志采集，数据采集时使用较多，所以这里我们采用Kafka实现消息队列功能。
  ELK日志分析系统中，数据传输、数据保存、数据展示、流量削峰功能都有了，还少一个组件，就是日志数据的采集，虽然log4j2可以将日志数据发送到Kafka，甚至可以将日志直接输入到Logstash，但是基于系统设计解耦的考虑，业务系统运行不会影响到日志分析系统，同时日志分析系统也不会影响到业务系统，所以，业务只需将日志记录下来，然后由日志分析系统去采集分析即可，Filebeat是ELK日志系统中常用的日志采集器，它是 Elastic Stack 的一部分，因此能够与 Logstash、Elasticsearch 和 Kibana 无缝协作。

软件下载：

  因经常遇到在内网搭建环境的问题，所以这里习惯使用下载软件包的方式进行安装，虽没有使用Yum、Docker等安装方便，但是可以对软件目录、配置信息等有更深的了解，在后续采用Yum、Docker等方式安装时，也能清楚安装了哪些东西，安装配置的文件是怎样的，即使出现问题，也可以快速的定位解决。

Elastic Stack全家桶下载主页： https://www.elastic.co/cn/downloads/

我们选择如下版本：

Kafka下载：

  安装前先准备好三台CentOS7服务器用于集群安装，这是IP地址为：172.16.20.220、172.16.20.221、172.16.20.222，然后将上面下载的软件包上传至三台服务器的/usr/local目录。因服务器资源有限，这里所有的软件都安装在这三台集群服务器上，在实际生产环境中，请根据业务需求设计规划进行安装。
  在集群搭建时，如果能够编写shell安装脚本就会很方便，如果不能编写，就需要在每台服务器上执行安装命令，多数ssh客户端提供了多会话同时输入的功能，这里一些通用安装命令可以选择启用该功能。

新建/usr/local/java目录

将下载的jdk软件包jdk-8u64-linux-x64.tar.gz上传到/usr/local/java目录，然后解压

配置环境变量/etc/profile

在底部添加以下内容

使环境变量生效

备注：后续可通过此命令停止elasticsearch运行

  新建kafka的日志目录和zookeeper数据目录，因为这两项默认放在tmp目录，而tmp目录中内容会随重启而丢失,所以我们自定义以下目录:

修改如下：

在data文件夹中新建myid文件，myid文件的内容为1（一句话创建：echo 1 > myid）

kafka启动时先启动zookeeper，再启动kafka；关闭时相反，先关闭kafka，再关闭zookeeper。
1、zookeeper启动命令

后台运行启动命令：

或者

查看集群状态：

2、kafka启动命令

后台运行启动命令：

或者

3、创建topic，最新版本已经不需要使用zookeeper参数创建。

参数解释:
复制两份
--replication-factor 2
创建1个分区
--partitions 1
topic 名称
--topic test

4、查看已经存在的topic（三台设备都执行时可以看到）

5、启动生产者：

6、启动消费者：

添加参数 --from-beginning 从开始位置消费，不是从最新消息

7、测试：在生产者输入test，可以在消费者的两台服务器上看到同样的字符test，说明Kafka服务器集群已搭建成功。

Logstash没有提供集群安装方式，相互之间并没有交互，但是我们可以配置同属一个Kafka消费者组，来实现统一消息只消费一次的功能。

  Filebeat用于安装在业务软件运行服务器，收集业务产生的日志，并推送到我们配置的Kafka、Redis、RabbitMQ等消息中间件，或者直接保存到Elasticsearch，下面来讲解如何安装配置：

1、进入到/usr/local目录，执行解压命令

2、编辑配置filebeat.yml
  配置文件中默认是输出到elasticsearch，这里我们改为kafka，同文件目录下的filebeat.reference.yml文件是所有配置的实例，可以直接将kafka的配置复制到filebeat.yml

后台启动命令

停止命令

2、测试logstash是消费Kafka的日志主题，并将日志内容存入Elasticsearch

自动新增的两个index，规则是logstash中配置的

数据浏览页可以看到Elasticsearch中存储的日志数据内容，说明我们的配置已经生效。

Gitee: GitEgg: GitEgg 是一款开源免费的企业级微服务应用开发框架，旨在整合目前主流稳定的开源技术框架，集成常用的最佳项目解决方案，实现可直接使用的微服务快速开发框架。
GitHub: https://github.com/wmz1930/GitEgg

㈥ 数据采集服务器

你的描述就是一个digital oscillograph
如果作项目的话建议去买一个agilent的

㈦ mes系统服务器如何搭建

mes系统搭建步骤：
第1步：规范原始资料，通过与上层设计系统的集成，及时更新生产数据，指导生产现场作业。管理车间各种资源，实现车间资源的规范性管理，同时提供生产排程的重要依据。
第2步：提高计划的可执行性，根据产品数据和车间资源数据，对车间生产计划进行分解，在计划执行前进行有效的能力分析，及时发现瓶颈。在计划执行中，根据生产作业情况，再次对正在执行或后续计划进行调整，获得最优的产能。
第3步：加强生产现场控制，根据生产计划的指导和现场设备的操控，实现对生产现场的有力监控。通过数据采集手段，获得计划的执行状态。使计划调度在办公室就能够掌握当前的计划执行。
第4步：实现车间内部的科学管理，MES能够覆盖95%的车间管理业务，实现车间内部的信息流、财务流、控制流的协同，进一步改善生产车间的管理手段。
第5步：打通企业的三级信息流，MES的实施，填补了上层计划系统和底层控制系统的信息断层，实现了企业三级信息流的通畅。

㈧ 一个采集电影站 日ip 20000 流量一百万PV 这样的vps服务器 配置硬盘是200G 宽带是10M独享的 的可以吗

这么大规模的网站.完全可以用独立服务器了.用VPS就太牵强了.VPS毕竟是虚拟的.它是在服务器上划分出来一部分资源搭建而成.同等配置的情况下.VPS的性能最多是服务器的一半多一些.比如说2G内存的VPS.实用使用只有1G多一点就不错了.一般情况下日IP五千以上的都完全可以用服务器.你的IP已经上万.完全没有必要考虑VPS
个人观点.希望对你有帮助.若有需要帮忙可以找我

㈨ 传感器采集数据通过单片机处理后怎么导入web服务器（不是嵌入式web服务器，而是单独搭建的一般的web服务器

用电脑吗？
我现在有个这样的。是很简单的那种，
单片机串口传入计算机。计算机通过网络传给服务器。
然后其他电脑就可以访问了。

如果要单片机直接传给服务器的，通过网络的话，好像有点复杂，如果单片机可以直接和web服务器连接就很简单。

弄一个程序，实时采集单片机数据，web服务器上用ASP写一个更新数据库的代码，然后通过这个asp定时更新数据就可以了。

WEB服务器的IIS服务，做一个简单网页，直接显示数据就OK了。

我用的是那种网上的虚拟主机，和单片机连接的电脑不断的更新虚拟主机上的数据库。这样数据就可以实时显示，一般有点延时。

㈩ 用Linux 怎样搭建网络设备的日志服务器

只要开启linux服务器的syslog服务就可以了。 网络设备的日志采集服务器 指向改syslog服务器的地址。