首页 > 网络 > 云计算 >

世界杯外围投注官网

2018-05-29

大数据之IDE开发环境部署idea+hadoop+meavn+scala环境。

大数据之IDE开发环境部署idea+hadoop+meavn+scala环境。

软件版本:

jdk-8u172-windows-x64

ideaIU-2017.3

hadoop-2.8.1

apache-maven-3.3.9-bin

idea软件安装
jdk安装

完成安装 配置环境变量

JAVA_HOME=D:\Program Files\Java\jdk1.8.0_172
CLASSPATH =.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar;
Path=%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin;

maven安装
解压
编辑conf/settings.xml
D:\software\apache-maven-3.3.9\repository
创建文件夹 D:\software\apache-maven-3.3.9\repository

hadoop安装

hadoop编译好的压缩包 解压部署
1. windows 解压hadoop2.8.1
2. 设置环境变量
HADOOP_HOME=E:\BIGDATA\hadoop-2.8.1
PATH=%HADOOP_HOME/bin;xxxxxxx
3.winutils.exe hadoop.dll 放到bin文件夹
4.重启笔记本 生效

\

新建project 配置maven

\

\

pom.xml文件配置

类似这样的依赖公共模块等配置查询

maven官网,找对应hadoop的版本,找到配置文件复制到这里


  org.apache.hadoop
  hadoop-common
  2.8.1


安装scala

设---- plugins-----> 搜索scala 在线安装

\

世界杯外围投注网站案例运行一个java操作hdfs案例

package com.ruozedata.hadoop;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.net.URI;
public class HDFS {
    public static void main(String[] args) {
        try {
            //1.定义配置文件  fs.defaultFS
             Configuration conf = new Configuration();
            //  xxx  x1   = new xxx()
            // x1 对象  万物皆对象  属性 静态存在  方法 动态  ()  传参或不传参  返回结果或无结果 if for/while  void
            conf.set("fs.defaultFS", "hdfs://172.16.28.133:9008/");
            conf.set("dfs.client.use.datanode.hostname","true"); //hdfs 在云服务器上
            /**
             *  hdfs-site.xml  需要重启hdfs
             
             dfs.permissions
             false
             
             *
             *
             */
            //2.文件系统
            FileSystem fs = FileSystem.get(conf);
            //3.创建文件夹
          //  boolean mkdirs = fs.mkdirs(new Path("/ruoze/data"));
          //  System.out.println(mkdirs);
            //4.上传
            fs.copyFromLocalFile(new Path("E:\\hdfs.txt"),new Path("/ruoze/data"));
            fs.
            //5.下载
            //fs.copyToLocalFile(new Path("/ruoze/data/hdfs.log"),new Path("C:\\"));
            //下载
            /**
             * ERROR: java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
             https://wiki.apache.org/hadoop/WindowsProblems
             * 1.   windows 解压hadoop2.8.1
             * 2. 设置环境变量
             *      HADOOP_HOME=E:\BIGDATA\hadoop-2.8.1
             *      PATH=%HADOOP_HOME/bin;xxxxxxx
             * 3.winutils.exe 放到bin文件夹
             * 4.重启笔记本 生效
             */
        }catch (Exception ex){
            System.out.println(ex.toString());
        }
    }
}

错误1:

log4j:WARNPleaseinitializethelog4jsystemproperly.
log4j:WARNSeehttp://logging.apache.org/log4j/1.2/faq.html世界杯外围投注官网noconfigformoreinfo.
java.net.ConnectException:CallFromchaoren-PC/192.168.1.119to172.16.28.133:9000failedonconnectionexception:java.net.ConnectException:Connectionrefused:nofurtherinformation;Formoredetailssee:

java.lang.IllegalArgumentException: java.net.UnknownHostException:
172.16.28.133:9000

idea电脑不能访问9000端口,telnet 172.16.28.133 9000测试 开发电脑到服务器端口的链路 防火墙 IP 地址配置等等

错误2:

java.lang.IllegalArgumentException: java.net.UnknownHostException:

主机hosts配置的主机名没有生效

解决方法:世界杯外围投注网站里面直接使用IP地址连接

conf.set("fs.defaultFS", "hdfs://172.16.28.133:9008/");
9000端口网络限制了,idea死活过不来,只能改服务器端口改成9008就好了,网络环境限制问题
相关文章
最新文章
热点推荐