Apache Flink资源管理器(App Master)在第一个任务管理器在空闲超时后被杀死后无法分配新的任务管理器。
创始人
2024-09-04 02:00:51
0

在Apache Flink中,可以通过设置slot.timeout属性来解决任务管理器空闲超时问题。以下是一个示例代码,说明如何设置slot.timeout属性:

import org.apache.flink.configuration.Configuration;
import org.apache.flink.configuration.JobManagerOptions;
import org.apache.flink.runtime.jobmaster.JobMaster;
import org.apache.flink.runtime.jobmaster.slotpool.SlotPool;
import org.apache.flink.runtime.jobmaster.slotpool.SlotReport;
import org.apache.flink.runtime.jobmaster.slotpool.SlotRequest;
import org.apache.flink.runtime.resourcemanager.ResourceManager;
import org.apache.flink.runtime.resourcemanager.SlotRequestTimeoutListener;
import org.apache.flink.runtime.resourcemanager.slotmanager.SlotManager;
import org.apache.flink.runtime.taskexecutor.slot.SlotOffer;
import org.apache.flink.util.Preconditions;

import javax.annotation.Nullable;

public class CustomResourceManager extends ResourceManager {

    // 定义空闲超时时间
    private final long idleTimeout;

    public CustomResourceManager(
            Configuration configuration,
            SlotManager slotManager,
            SlotPool slotPool,
            JobMaster jobMaster,
            long idleTimeout) {
        super(configuration, slotManager, slotPool, jobMaster);

        Preconditions.checkArgument(idleTimeout >= 0, "Idle timeout must be >= 0");
        this.idleTimeout = idleTimeout;
    }

    @Override
    public void start() throws Exception {
        super.start();

        // 注册空闲超时监听器
        getFencingToken().getLeaderElectionService().addListener(
                new SlotRequestTimeoutListener(getFencingToken().toUUID(), getIdleTimeout()));
    }

    public long getIdleTimeout() {
        return idleTimeout;
    }

    public static CustomResourceManager create(
            Configuration configuration,
            SlotManager slotManager,
            SlotPool slotPool,
            JobMaster jobMaster,
            long idleTimeout) throws Exception {
        return new CustomResourceManager(configuration, slotManager, slotPool, jobMaster, idleTimeout);
    }

    public static void main(String[] args) throws Exception {
        Configuration configuration = new Configuration();
        // 设置任务管理器空闲超时时间为10分钟
        configuration.setLong(JobManagerOptions.SLOT_IDLE_TIMEOUT, 600000);

        // 创建自定义资源管理器
        CustomResourceManager resourceManager = create(
                configuration,
                slotManager,
                slotPool,
                jobMaster,
                600000);

        // 启动资源管理器
        resourceManager.start();
    }
}

在上述代码中,CustomResourceManager类继承自ResourceManager类,并添加了一个idleTimeout成员变量,表示任务管理器空闲超时时间。在start()方法中,注册了一个空闲超时监听器,当任务管理器空闲超时时,会触发该监听器。

main()方法中,通过JobManagerOptions.SLOT_IDLE_TIMEOUT属性设置了任务管理器的空闲超时时间为10分钟(600000毫秒),然后创建了一个CustomResourceManager实例,并调用start()方法启动资源管理器。

请根据你的实际情况调整超时时间和其他配置。

相关内容

热门资讯

2分钟了解(epoker外挂)... 《epoker外挂软件透明挂》是一款多人竞技的epoker外挂辅助透视游戏,你将微扑克对手来到同一个...
玩家实测!德扑之星(辅助挂)透... 玩家实测!德扑之星(辅助挂)透视辅助(有挂总结)-哔哩哔哩是由北京得德扑之星黑科技有限公司精心研发的...
交流学习经验!红龙扑克是真是假... 交流学习经验!红龙扑克是真是假(透视)透视辅助(有挂总结)-哔哩哔哩;红龙扑克是真是假是一款益智类棋...
终于懂了(wpk稳赢)外挂透明... 终于懂了(wpk稳赢)外挂透明挂辅助神器(辅助挂)确实真的有挂(辅助教程)(哔哩哔哩);wpk稳赢最...
分享给玩家!德州可能有外挂(透... 分享给玩家!德州可能有外挂(透视)透视辅助(有挂技巧)-哔哩哔哩是一款可以让一直输的玩家,快速成为一...
今日科普(WPKplus)外挂... 今日科普(WPKplus)外挂透明挂辅助挂(透视)其实是真的有挂(第三方教程)(哔哩哔哩);(需添加...
玩家必备科普!cloud辅助(... 玩家必备科普!cloud辅助(透视)辅助透视(有挂介绍)-哔哩哔哩;大神普及一款德州ai内幕,确定了...
今日重大通报(wpkplus)... 今日重大通报(wpkplus)外挂透明挂辅助APP(辅助挂)竟然真的有挂(大神讲解)(哔哩哔哩);亲...
查到实测!菠萝德州app有挂(... 查到实测!菠萝德州app有挂(辅助挂)软件透明挂(有挂技巧)-哔哩哔哩1、很好的工具软件,可以解锁游...
实操分享(德扑之星规律)外挂透... 相信很多朋友都在电脑上玩过德扑之星规律吧,但是很多朋友都在抱怨用电脑玩起来不方便。为此小编给大家带来...