Yarn和Zookeeper学习

YARN学习

1.YARN是什么？

yarn 分配运行资源 mapReduce的运行平台

2.YARN运行过程：

1. 客户端与ResourceManager交互，生成临时配置文件(Application)
2. ResourceManager根据Application信息生成Task然后生成MapReduceApplicationMaster(简称AM)
3. AM通过和App交互申请MapTask资源，并运行MapTask任务
4. MapTask资源完毕，申请资源处理ReduceTask,收回Maptask资源 ,ReduceTask完毕，同样收回
   
   为什么是6个??
   图中不是四个就够用么

3.YARN任务调度

1.调度器

1.先进先出 先到先服务
资源排队,

2.容量调度器

单队列变为了多队列
这里,不同队列的资源是可以相互借调的,但是如果银行需要用钱的时候,需要将债直接收回来,而债主的任务直接失败,进行重试.


多租户策略,就是,一个队列起码2个job在占用资源.

3.公平调度器

如果资源满足不了job,job就先等着

4.问题

1. 什么是缺额: 距离运行条件所差的资源就叫缺额

2.DRF

百分比的比较，谁大就是谁控制

3.什么是虚拟核数?

虚拟核数就是我们自己设定的CPU核数大小,但是当物理核数时,会按照机器的实际核数进行运载,甚至
超载

5.YARN队列如何配置

如何在YARN创建队列
capacity-scheduler

当前调度器能支持的最大应用数(job)

applicationMaster

集群资源的判断标准`

acl 与权限有关

job的最大存活时间

默认的超时时间

架构模型
调度策略
生产环境通过修改参数调控资源

Zookeeper

1.概念(是什么)?

• Zookeeper 文件系统 通知机制
• Zookeeper相当于管理系统，类似于HDFS的NN,而他的DN是服务器和客户端。
• 注意，创建的都是临时节点,应该是超时删除把或者结束删除。
• 观察者模式： 当ZK的节点列表发生变化，会通知其他节点。监听实现
• 数据同步,每个Service上的数据都能保证一定时间内是相同的.

2.模拟

问题

• 为什么半数以上存活？
  如果一半都不存活了，就显得Zookeeper不正常

• 为什么奇数台服务器好？
  6台错3台 无法运行 5台错3台无法运行，奇数台可以多一个机器。

• 实时性
  因为Zookeeper不存大量业务数据，所以数据量显得比较少，这样数据更新就很快，保证了实时性。

3.Zookeeper 结构

路径和数据在一起.

zkServer.sh 开启关闭ZK
zkCli 开启客户端

4.配置修改zoo.cfg

1.配置文件名去掉simple

2.修改配置文件内容 修改数据存储路径 添加zookeeper服务器列表

参数1 : tickTime 默认2000ms 通信心跳时间，Zookeeper服务器与客户端心跳时间
参数2 : initLimit 默认10 LF初始通信时限
参数3 : syncLimit 默认5 LF同步通信时限
这三个参数,就表示,默认2秒,Zookeeper客户端和服务器交互一次,
而Zookeeper中,Leader和Follower初始连接时允许的最多心跳数为initLimit,也就是说,Leader和Follower如果在tickTime * initLimit不能完成初次交互,则Follower直接失败.
同步通信时限: 同步,就是日常交互时的通信时限,最多syncLimit次不进行回应,就结束
dataDir: 存储Zookeeper的数据的地址 注意tmp是存储临时文件的,会被Linux定期删除
server.1=hadoop201:2888:3888
server.2=hadoop202:2888:3888
server.3=hadoop203:2888:3888

server.服务器序号 = 服务器地址: Follower与Leader交换信息的端口:选举时互相通信的端口

3.创建数据存储文件夹 创建id文件 ，输入自身服务器序号

5.选举机制(面试)

1.第一次启动

我的理解，先投自己，如果没Leader，交换信息后，投大的。如果已经有Leader就无法改变。
2.再次选举

选最强者,数据最全者,
1.保存数据时,有时间戳,进行时间戳比对,(事务ID)
2. 数据同步时,比myid

Zookeeper 默认创造永久节点
create -e 创建临时节点
create -s 带序列永久节点

递归删除 deleteall

zookeeper的修改只能整体覆盖
set

反向通知
默认不做反向通知
ls -w 开启监控

zk通知 但是并不帮忙直接取数据

查看文件信息 stat 文件路径
ls -s /文件路径 也显示子文件

监听(感觉也可以叫触发器)
zk存储监听器列表，

ZK写数据，先发给Leader，Leader再分发出去，然后写入

这篇好文章是转载于：学新通技术网