javascp文件夹
1. hadoop分布式部署（转载）--贼靠谱
原文地址：https://blog.csdn.net/sjmz30071360/article/details/79889055
1. 集群搭建形式
Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式
单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。
伪分布式—— 也是在一台单机上运行，但不同的是java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。
完全分布式—— 真正的分布式，由3个及以上的实体机或者虚拟机组成的机群。一个Hadoop集群环境中，NameNode，SecondaryName和DataNode是需要分配在不同的节点上，也就需要三台服务器。
前两种模式一般用在开发或测试环境下，生产环境下都是搭建完全分布式模式。
从分布式存储的角度来说，集群中的节点由一个NameNode和若干个DataNode组成，另有一个SecondaryNameNode作为NameNode的备份。
从分布式应用的角度来说，集群中的节点由一个JobTracker和若干个TaskTracker组成。JobTracker负责任务的调度，TaskTracker负责并行执行任务。TaskTracker必须运行在DataNode上，这样便于数据的本地计算。JobTracker和NameNode则无须在同一台机器上。
2. 环境
操作系统：CentOS7（红帽开源版）
机器：虚拟机3台，（master 192.168.0.104, slave1 192.168.0.102, slave2 192.168.0.101）
JDK：1.8（jdk-8u162-linux-x64.tar）
Hadoop：2.9.0（http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz）
3. 搭建步骤
3.1 每台机器安装&配置JDK（1台做好后，克隆出其它机器）
1) 创建目录 mkdir /usr/java
2) 上传jdk安装包到 /usr/java/
3) 解压 tar -xvf jdk-8u162-linux-x64.tar
4) 追加环境变量 vi /etc/profile
5) 使环境变量生效 source /etc/profile
6) 检测jdk正确安装 java -version
3.2 修改每台机器主机名(hostname)
hostnamectl set-hostname master （立即生效）
hostnamectl set-hostname slave1 （立即生效）
hostnamectl set-hostname slave2 （立即生效）
确认修改
3.3 修改每台机器/etc/hosts文件
vi /etc/hosts
修改其中1台，然后scp到其它机器
scp 文件名 远程主机用户名@远程主机名或ip:存放路径
scp hosts [email protected]:/etc/
scp hosts [email protected]:/etc/
修改完之后，互ping其它机器，能互ping则说明修改OK
ping -c 3 slave1 （※ 3表示发送 3 个数据包）
3.4 配置ssh，实现无密码登录
无密码登录，效果也就是在master上，通过ssh slave1或者ssh slave2就可以登录对方机器，而不用输入密码。
1） 每台机器执行ssh-keygen -t rsa，接下来一路回车即可
执行ssh-keygen -t rsa主要是生成 密钥 和 密钥的存放路径
我们用的root用户，公钥私钥都会保存在~/.ssh下
2） 在master上将公钥放到authorized_keys里，命令：cat id_rsa.pub > authorized_keys
3） 将master上的authorized_keys放到其它机器上
scp authorized_keys root@slave1:~/.ssh/
scp authorized_keys root@slave2:~/.ssh/
4） 测试是否成功
3.5 上传&配置hadoop（配置完master后，将/usr/hadoop/整个目录内容到其它机器）
1） 创建目录 mkdir /usr/hadoop
2） 上传hadoop安装包hadoop-2.9.0.tar.gz到 /usr/hadoop/
3） 解压 tar -xvf hadoop-2.9.0.tar.gz
4） 追加环境变量 vi /etc/profile（其它机器也要相应配置一次hadoop环境变量）
5） 使环境变量生效 source /etc/profile
6） 确认环境变量配置OK
7） 创建HDFS存储目录
cd /usr/hadoop
mkdir hdfs
cd hdfs
mkdir name data tmp
/usr/hadoop/hdfs/name --存储namenode文件
/usr/hadoop/hdfs/data --存储数据
/usr/hadoop/hdfs/tmp --存储临时文件
8） 修改/usr/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME为实际路径
否则启动集群时，会提示路径找不到
9） 修改/usr/hadoop/hadoop-2.9.0/etc/hadoop/yarn-env.sh文件，设置JAVA_HOME为实际路径
10） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/core-site.xml
增加hadoop.tmp.dir 和 fs.default.name
11） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/hdfs-site.xml
dfs.replication：默认值3
dfs.permissions：默认值为true，设置为true有时候会遇到数据因为权限访问不了；设置为false可以不要检查权限就生成dfs上的文件
12） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml
cd /usr/hadoop/hadoop-2.9.0/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
maprece.framework.name：指定maprece运行在yarn平台，默认为local
13） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/yarn-site.xml
yarn.resourcemanager.hostname：指定yarn的resourcemanager的地址
yarn.nodemanager.aux-services：recer获取数据的方式
yarn.nodemanager.vmem-check-enabled：意思是忽略虚拟内存的检查，如果安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是在实体机上，并且内存够多，可以将这个配置去掉
14） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件，将里面的localhost删除，配置后内容如下：
15） 整个/usr/hadoop/目录到其它机器
scp -r hadoop root@slave1:/usr/
scp -r hadoop root@slave2:/usr/
3.6 启动Hadoop
1） 启动之前需要格式化一下。因为master是namenode，slave1和slave2都是datanode，所以在master上运行
hadoop namenode -format
格式化成功后，可以看到在/usr/hadoop/hdfs/name目录下多了一个current目录，而且该目录下有一系列文件，如下：
2） 执行启动（namenode只能在master上启动，因为配置在master上；datanode每个节点上都可以启动）
执行 start-all.sh
master上执行jps，会看到NameNode, SecondaryNameNode, ResourceManager
其它节点上执行jps，会看到DataNode, NodeManager
3） 在wins上打开网页，查看HDFS管理页面 http://192.168.0.104:50070查看，提示无法访问
在master上，执行以下命令关闭防火墙，即可访问（为了能够正常访问node节点，最好把其它机器的防火墙也stop了）
systemctl stop firewalld.service
HDFS管理首页
HDFS Datenodes页
访问Yarn管理页： http://192.168.0.104:8088
4）通过主机名也可以访问的设置
win7为例，需要将以下信息追加到C:\Windows\System32\drivers\etc\hosts文件中
192.168.0.104 master
192.168.0.102 slave1
192.168.0.101 slave2
Over！！！搭建成功！！！
4. 运行实例
cd /usr/hadoop/hadoop-2.9.0/share/hadoop/maprece
hadoop jar hadoop-maprece-examples-2.9.0.jar pi 5 10
。。。。。。
=====================================================
如果不关防火墙，子节点可能出现，输入jps后只有jps一个进程，或者是缺进程的情况，关闭防火墙就好了。
2. java中jatable连接数据库步骤及其获取数据方法
以下是一个小程序，参考下
import javax.swing.*;
import javax.swing.table.JTableHeader;
import java.awt.event.ActionEvent;
import java.awt.event.ActionListener;
import java.sql.*;
public class Test extends JFrame{
// 定义组件
private JScrollPane scpDemo;
private JTableHeader jth;
private JTable tabDemo;
private JButton btnShow;
// 构造方法
public Test(){
// 窗体的相关属性的定义
super("JTable数据绑定示例");
this.setSize(330,400);
this.setLayout(null);
this.setLocation(100,50);
// 创建组件
this.scpDemo = new JScrollPane();
this.scpDemo.setBounds(10,50,300,270);
this.btnShow = new JButton("显示数据");
this.btnShow.setBounds(10,10,300,30);
// 给按钮注册监听
this.btnShow.addActionListener(new ActionListener(){
public void actionPerformed(ActionEvent ae){
btnShow_ActionPerformed(ae);
}
});
// 将组件加入到窗体中
add(this.scpDemo);
add(this.btnShow);
// 显示窗体
this.setVisible(true);
}
// 点击按钮时的事件处理
public void btnShow_ActionPerformed(ActionEvent ae){
// 以下是连接数据源和显示数据的具体处理方法，请注意下
try{
// 获得连接
Class.forName("sun.jdbc.odbc.JdbcOdbcDriver");
Connection conn = DriverManager.getConnection("jdbc:odbc:localServer","sa","");
// 建立查询条件
String sql = "select * from localServer";
PreparedStatement pstm = conn.prepareStatement(sql);
// 执行查询
ResultSet rs = pstm.executeQuery();
// 计算有多少条记录
int count = 0;
while(rs.next()){
count++;
}
rs = pstm.executeQuery();
// 将查询获得的记录数据，转换成适合生成JTable的数据形式
Object[][] info = new Object[count][4];
count = 0;
while(rs.next()){
info[count][0] = Integer.valueOf( rs.getInt("id"));
info[count][1] = rs.getString("name");
info[count][2] = Integer.valueOf( rs.getInt("age") );
info[count][3] = rs.getString("sex");
count++;
}
// 定义表头
String[] title = {"学号","姓名","年龄","性别"};
// 创建JTable
this.tabDemo = new JTable(info,title);
// 显示表头
this.jth = this.tabDemo.getTableHeader();
// 将JTable加入到带滚动条的面板中
this.scpDemo.getViewport().add(tabDemo);
}catch(ClassNotFoundException cnfe){
JOptionPane.showMessageDialog(null,"数据源错误","错误",JOptionPane.ERROR_MESSAGE);
}catch(SQLException sqle){
JOptionPane.showMessageDialog(null,"数据操作错误","错误",JOptionPane.ERROR_MESSAGE);
}
}
public static void main(String[] args){
new Test();
}
}
3. java如何跨盘符移动文件夹
java本身是没有默认命令的，不过可以通过递归的方式，遍历子目录，实现文件的功能。
另一种方式是 使用 系统命令 windows 可以使用x， linux下 用 mv -R 都可以实现。
4. Java中常用的开发工具有哪些
常用的工具有：
Eclipse 据数据显示很多Java开发人员的Java开发工具便是Eclipse，这主要得益于Eclipse是一个开源的、可以基于Java的可扩展开发平台。Eclipse本身而言，它只是一个框架和一组服务，但可以通过插件组件构建开发环境。
editplus EditPlus是一款由韩国 Sangil Kim （ES-Computing）开发的编辑器，可以作为C,Java,Php等等语言的一个简单的IDE。EditPlus拥有无限制的撤消与重做、英文拼字检查、自动换行、列数标记、搜寻取代、同时编辑多文件、全屏幕浏览功能，也是一款常见的Java开发工具。
NetBeans NetBeans提供了功能全面的阵列，如转换器，编辑器和代码分析器，使用这些工具可以帮助我们使用的Java技术实现应用程序。NetBeans工具范围相当广泛，是一款的Java开发工具。
Junit Junit是一个可以帮助Java开发人员编写和运行测试的单元测试框架。JUnit和市场上其他类似的框架有着本质的区别。主要表现在你可以一次测试一个代码块，而不需要等待该模块在运行测试前完成。实际上是你可以“先测试，然后写代码”
VisualVM VisualVM也是一款使用较多的Java开发工具。它最主要的功能便是可以排查故障，可以使用VisualVM整合多命令行JDK工具。如jvmstat、JMX和Serviceability Agent（SA）中使用VisualVM。VisualVM最出名的是附加了API，以获得更多的数据，以及自动使用更快捷。
Gradle Gradle是一个自动化项目工具，是建立在Apache Maven和Apache Ant的功能上。虽然Gradle并不是的构建工具（的是Maven，64％的Java开发人员会选择它），但它的普及速度很快。它同时也可作为默认的Android构建开发工具。
SparkJava SparkJava是一款体形轻巧，功能强大的Web应用框架。Spark可以通过一些繁琐的XML配置来使用Spark框架编写应用程序。能让我们花最少的精力来开发Java的Web应用程序。是一款的Java web开发工具。
Clover Clover主要用于代码覆盖，可以帮助用于测试应用程序的代码。我们可以在IDE或持续集成系统中运行Clover。能够让测试的运行速度更快。是Java开发测试必不可少的工具之一。
5. java中如何从文件中读取数据
1.package txt;
2.
3.import java.io.BufferedReader;
4.import java.io.File;
5.import java.io.FileInputStream;
6.import java.io.InputStreamReader;
7.
8./**
9. * 读取TXE数据
10. */
11.public class ReadTxtUtils {
12. public static void main(String arg[]) {
13. try {
14. String encoding = "GBK"; // 字符编码(可解决中文乱码问题 )
15. File file = new File("c:/aa.txt");
16. if (file.isFile() && file.exists()) {
17. InputStreamReader read = new InputStreamReader(
18. new FileInputStream(file), encoding);
19. BufferedReader bufferedReader = new BufferedReader(read);
20. String lineTXT = null;
21. while ((lineTXT = bufferedReader.readLine()) != null) {
22. System.out.println(lineTXT.toString().trim());
23. }
24. read.close();
25. }else{
26. System.out.println("找不到指定的文件！");
27. }
28. } catch (Exception e) {
29. System.out.println("读取文件内容操作出错");
30. e.printStackTrace();
31. }
32. }
33.}
java读取TXT文件中的数据，每一行就是一个数，返回一个数组，代码？
?
List list=new ArrayList();
BufferedReader br=new BufferReader(new InputStreamReader(new FileInputStream(new File("in.txt"))));
String str=null;
while((str=br.readLine())!=null)
{
list.add(new Integer(str));
}
Integer[] i=new Integer[list.size()];
list.toArray(i);
TXT文本中如据形如：
123
456
789
读入二维数组效果为：
temp[0][]={1,2,3};
temp[1][]={4,5,6};
temp[2][]={7,8,9};
import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.*;
public class xx{
public static void main(String[]args){
String s;
int[][]save=new int[3][3];
try{
BufferedReader in =new BufferedReader(new FileReader("C:\\txt.txt"));
int i=0;
while((s=in.readLine())!=null){
save[i][0]=Integer.parseInt(s.substring(0,1));
save[i][1]=Integer.parseInt(s.substring(1,2));
save[i][2]=Integer.parseInt(s.substring(2,3));
i++;
}
}
catch(FileNotFoundException e){
e.printStackTrace();
}
catch(IOException e){
e.printStackTrace();
}
for(int i=0;i<3;i++)
{
for(int j=0;j<3;j++){
System.out.print(save[i][j]);
}
System.out.println();
}
}
}
或
?
BufferedReader bf=new BufferedReader(new FileReader("Your file"));
String lineContent=null;
int i = 0;
int [][] temp = new int [3][];
while((lineContent=bf.readLine())!=null){
String [] str = lineContent.split("\\d");// 将 lineContent 按数字拆分
for(int j = 0; j < str.length(); j++){
int [i][j] = Integer.parseInt(str[j]);
}
i++;
}
scp|cs|ff|201101
这是d:\\a.txt的数据，与“|”分割取数据出来，保存在变量a;b;c;d里
import java.io.*;
public class Test{
public static void main(String[] args)throws Exception{
String a, b, c, d;
StringBuffer sb = new StringBuffer();
BufferedReader br = new BufferedReader(new FileReader("d:\\a.txt"));
String s = br.readLine();
while(s != null){
sb.append(s);
s = br.readLine();
}
s = sb.toString();
String[] str = s.split("|");
a = str[0];
b = str[0];
c = str[0];
d = str[0];
}
}
6. java 应用程序在linux 上怎么部署 运行
java 应用程序在linux部署方法：
1，将项目达成war包（用eclipse，项目右键--Export--选择war file）
2,将tomcat（用winSCP当然也可以用secureCRT,用securCRT需要建立sftp(即上传文件的目录)，用put tomcat命令）考到ilunx对应的目录下
3，然后将项目的war包放到tomcat的webapps目录下
4，启动tomcat(命令：./startup.sh(linux下启动tomcat是.sh文件而非.bat文件))
遇到问题如下：
运行./startup.sh 是报错
-bash: ./startup.sh: Permission denied
原因：没有运行.sh的权限
解决：chmod 777 *.sh
755 代表用户对该文件拥有读，写，执行的权限，同组其他人员拥有执行和读的权限，没有写的权限，其他用户的权限和同组人员权限一样。
777代表，user,group ,others ,都有读写和可执行权限。
获得权限后再运行./startup.sh命令时报错：
This file is needed to run this program
原因：该文件需要一个运行环境（即配置jdk环境变量）
解决：JAVA_HOME=/usr/java/jdk1.6.0_25/（当然这个目录根据自己的jdk安装目录）
然后在运行./startup.sh 提示：
Using CATALINA_BASE: /usr/local/sarft/apache/apache-tomcat-6.0.29
Using CATALINA_HOME: /usr/local/sarft/apache/apache-tomcat-6.0.29
Using CATALINA_TMPDIR: /usr/local/sarft/apache/apache-tomcat-6.0.29/temp
Using JRE_HOME: /usr/java/jdk1.6.0_25/
Using CLASSPATH: /usr/local/sarft/apache/apache-tomcat-6.0.29/bin/bootstrap.jar
如果提示以上信息表明 tomcat启动成功，可以正常run了。
7. 如何用 scp命令创建文件夹 40guofc
调用的是下面的方法 public static int runSSH(String host, String username, String password, String cmd) throws IOException { if (logger.isDebugEnabled()) { logger.debug("running SSH cmd [" + cmd + "]"); } Connection conn = getOpenedConnection(host, username, password); Session sess = conn.openSession(); sess.execCommand(cmd); InputStream stdout = new StreamGobbler(sess.getStdout()); BufferedReader br = new BufferedReader(new InputStreamReader(stdout)); while (true) { // attention: do not comment this block, or you will hit // NullPointerException //空春好 when you are trying to read exit status String line = br.readLine(); if (line == null) break; if (logger.isDebugEnabled()) { logger.debug(line); } } sess.close(); conn.close(); return sess.getExitStatus().intValue(); }
先用ssh建立对方机器的文件夹/a ssh [email protected].*.* mkdir /a 再用scp拷贝 scp /a/b.mp3 [email protected].*.*:/a/b.mp3 ssh 和 scp 都有相应的命令吗？》我 在上面的方法中执行的是 ssh [email protected].*.* mkdir /a 命令在怎么也不好用呢
看你的命令是没啥问题的哟 我在linux里就这么用的 既然要求 那你就用scp了 scp也是很方便的 PS:rsync也可以通过ssh传输
ssh [email protected].*.* "@mkdir /a" --------- 这样也是没问题的 但是你这个username要有在/下创建文件夹的权限才可以。
我 是调用 上面的 runSSH（） 这个方法 可执行完就没什么反应了
引用 7 楼 guofc_presoft 的回复:我 是调用 上面的 runSSH（） 这个方法 可执行完就没什么反应了 要是能在命令行执行的话 你现在命令行执行试试 你用代码来操作 万一是你自己代码的问题呢斗铅？
也有权限啊 郁森悔闷死了 那老大知道如何创建文件夹吗
恩 我 用其他的方法 public static void scpPut(String host, String username, String password, String localFile, String remoteDir) throws IOException { if (logger.isDebugEnabled()) { logger.debug("spc [" + localFile + "] to " + host + remoteDir); } Connection conn = getOpenedConnection(host, username, password); SCPClient client = new SCPClient(conn); client.put(localFile, remoteDir); conn.close(); } 如这些传送文件都可以用！ 另外 命令行执行 需要在哪里执行，需要什么环境吗？
引用 9 楼 guofc_presoft 的回复:也有权限啊 郁闷死了 那老大知道如何创建文件夹吗 scp是会自己建文件夹的呀 我刚刚试了。
但是我调用 scpPut（） 这个方法，如果是路径正确的话就可以COPY过去 如果是没有文件夹的话就会报错误。 Error ring SCP transfer. at ch.ethz.ssh2.SCPClient.put(SCPClient.java:575) at ch.ethz.ssh2.SCPClient.put(SCPClient.java:533) at ch.ethz.ssh2.SCPClient.put(SCPClient.java:394) at jp.co.u_can.manabi.imp.batch.DeliveryInstructionBatch.scpPut(DeliveryInstructionBatch.java:444) at jp.co.u_can.manabi.imp.batch.DeliveryInstructionBatch.execute(DeliveryInstructionBatch.java:366) at jp.co.u_can.manabi.imp.batch.DeliveryInstructionBatch.main(DeliveryInstructionBatch.java:241) Caused by: java.io.IOException: Remote scp terminated with error (scp: /usr/gms/20100915/0002/lst: No such file or directory). at ch.ethz.ssh2.SCPClient.readResponse(SCPClient.java:59) at ch.ethz.ssh2.SCPClient.sendFiles(SCPClient.java:163) at ch.ethz.ssh2.SCPClient.put(SCPClient.java:571) ... 5 more
你在windows下用winscp这个工具 往服务器上传文件试试 http://sourceforge.net/projects/winscp/
那你把命令改成 scp -r C:\imart\lst [email protected]:/usr/gms/20100915/0002/ 这样试试呢？
winscp 这个工具我有，用ROOT用户登陆后建立文件夹都可以！ 不过 我现在做的是BAT 需要自动创建文件夹以及COPY文件
引用 14 楼 steptodream 的回复:那你把命令改成 scp -r C:\imart\lst [email protected]:/usr/gms/20100915/0002/ 这样试试呢？ 这种也不行，调用上面的runSSH方法一点反应都没有。
难道你这里用 和我linux里还有区别？ 我在linux里 /path1/path2/是存在的 scp -r /path/folder root@ip:/path1/path2/ 然后ip机器的/path1/path2/下就会有folder文件夹 即/path1/path2/folder scp -r /path/folder root@ip:/path1/path2/folder 结果同上 scp -r /path/folder root@ip:/path1/path2/test 然后folder下的内容 会在/path1/path2/test/下 也就是说没产生folder scp -r /path/folder root@ip:/path1/path2/test1/folder 其中test1目录不存在 这种情况就会出错 scp: /path1/path2/test1/folder: No such file or directory
引用 6 楼 steptodream 的回复:ssh [email protected].*.* "@mkdir /a" --------- 这样也是没问题的 但是你这个username要有在/下创建文件夹的权限才可以。 这个SSH命令也可以用 runSSH（） 这个方法执行吗
引用 10 楼 guofc_presoft 的回复:恩 我 用其他的方法 public static void scpPut(String host, String username, String password, String localFile, String remoteDir) throws IOException { if (logger.isDebugEnabled()) { logger.d…… 调用这个方法，如何判断没有文件夹的时候，把文件夹给建立起来啊 ！ 各位！
你这样在程序里弄 我也没弄过 直接使用scp会自己创建文件夹 我上面都测试了
引用 3 guofc_presoft 的回复:调用的是下面的方法 public static int runSSH(String host, String username, String password, String cmd) throws IOException { if (logger.isDebugEnabled()) { logger.debug("runnin…… 调用这个方法之后 line 返回NULL值是什么意思啊 下面的这几行代码是做什么用的呢 跟我 执行 COPY 文件的操作也没关系把 String line = br.readLine(); if (line == null) break; if (logger.isDebugEnabled()) { logger.debug(line); }