You are viewing a plain text version of this content. The canonical link for it is here.
Posted to user-zh@flink.apache.org by datayangl <da...@gmail.com> on 2021/02/19 06:18:30 UTC

flink on yarn任务的唯一性id问题

目前使用flink1.11进行数据的etl工作,使用snowflake算法生成唯一性id,一个taskmanager有4个slot,etl任务并行度设为16,假设在单机节点上,那么实际运行的任务会运行4个yarn
container,由于同一台机器上的雪花算法有相同的时钟和机器id,因此有机率会出现重复id。请问,1.雪花算法怎么应用到单节点多container的场景且不重复
2.还有什么唯一性id的算法(除了UUID)



--
Sent from: http://apache-flink.147419.n8.nabble.com/