学习大数据

第一天

• 环境的搭建
  系统：Centos7.0
  组建 Hadoop Spark Zookeeper Kafka Flume
  语言 Java/Scala

1. 安装JDK
   从Oracle管下载JDK 并且配置Java 的环境变量

    解压压缩包 并且移动到 /usr/lib 中  tar zvxf jdk1.8.0_201 mv   jdk1.8.0_201 /usr/lib # 修改配置文件 vi /etc/profile

在profile 文件末尾增加

#java env export JAVA_HOME=/usr/lib/jdk1.8.0_201export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

保存文件后

 source /etc/profile 验证 java -version

1.2 配置虚拟机网络

vi /etc/hosts#在最后增加节点名称和节点地址

关闭防火墙

service iptables stopservice ip6tables stopservice iptables statusservice ip6tables statuscheckconfig iptables offcheckconfig ipt6tables offvi /etc/selinux/configSELINUX=disable

1.3 安装配置 Hadoop
同样从官网下载hadoop 并且在本地解压

vi /etc/profile

在文件末尾增加

HADOOP_HOME=/usr/lib/hadoop#应该为解压后Hadoop所在的位置

修改Hadoop配置文件
hdfs.xml,yarn.xml.mapper.site.xml
2.安装数据库和HIVE
2.1 安装Mysql
由于CentOS 7之后的版本yum的默认源中使用MariaDB替代原价MySQL，因而安装方式较为以往有少量改变：
安装wget

yum -y install wget

下载mysql的源：

wget [http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm]  (http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm)

安装yum库

yum localinstall -y mysql57-community-release-el7-7.noarch.rpm

安装MySQL

yum install -y mysql-community-server

启动MySQL服务

systemctl start mysqld.service

由于MySQL5.7增强了root客户的安全性，会初始化一个随机密码，以下为查看初始随机密码的方式

grep 'temporary password' /var/log/mysqld.log

使用初始随机密码登录后MySQL会强制要求修改密码，否则无法正常使用，
（密码必需包含小写、大写字母及特殊字符，当然也有其余方法不受此限制，再次不多做形容），修改方法如下：

  SET PASSWORD = PASSWORD('your new password');  ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;  flush privileges;

而后退出后就可用新密码登录。

远程连接受权：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'your password' WITH GRANT OPTION;GRANT ALL PRIVILEGES ON *.* TO 'root'@'113.201.130.51' IDENTIFIED BY 'your password' WITH GRANT OPTION;

遇到一点小问题

tip: 没有 ifconfig
ifconfig 命令适用用 GUI系统，在mini版的Centos 中我们可以使用其余命令代替

      ip addr 

IP addr

2. 当然，我们也可以通过yum 来安装 ifconfig命令

     yum install net-tools  

注：假如遇到错误提醒 Could not resolve host: centos.ustc.edu.cn;
按此处理： https://blog.csdn.net/jasonhector/article/details/78657532