Hadoop yarn 技术分享
  • 介绍
  • YARN Service
  • 事件处理
    • AsyncDispatcher
    • stateMachine
  • YARN RPC
    • RPC 设计
    • RPC 实现
  • 交互协议
  • 提交app的过程
    • 提交APP概要
    • 客户端提交app
    • RM接收请求
    • RM分配App
    • RM下发App
    • NM拉起APP
  • YARN 高可用
    • RM HA 基础
    • RM HA
  • YARN调度策略
    • Untitled
    • YARN-队列配置
  • 问题分析总结
    • 集群繁忙时偶发性空指针导致app执行失败
    • YARN 资源充足,但app等待调度排长队
    • YARN UI看不了app 日志
    • YARN UI看不了app 日志2
    • TEZ 资源不释放问题分析
    • NM频繁挂掉
    • container执行异常
    • YARN RM主备切换异常
Powered by GitBook
On this page
  • 1. 什么是事件处理
  • 2. 事件处理实现结构
  • 3. 事件处理的优势
  • 4. 中央异步调度器
  • 5. 状态机
  • 6. nodeManager 中事件处理用例

Was this helpful?

事件处理

1. 什么是事件处理

众所周知,YARN中,特别是resourceManager 内部实现逻辑复杂,涉及的对象多,同时对处理性能要求比较高。为了解决这些问题,yarn提出采用事件处理器的方式来提高性能,梳理复杂逻辑。

2. 事件处理实现结构

YARN 中事件处理器主要包括两个部分:状态机,中央异步调度器。 状态机主要用来处理对象内部的操作和状态转换,比如app状态转换和对应操作。 中央异步调度器,处理不同状态机之间的沟通。

3. 事件处理的优势

异步处理,并发度更高。 调度被高度抽象,逻辑更加简洁,明了。

4. 中央异步调度器

5. 状态机

6. nodeManager 中事件处理用例

PreviousYARN ServiceNextAsyncDispatcher

Last updated 5 years ago

Was this helpful?