Apache Flink 漫谈系列 - State

key-group的数量在job启动前必须是确定的且运行中不能改变。由于key-group是state分配的原子单位，而每个operator并行实例至少包含一个key-group，因此operator的最大并行度不能超过设定的key-group的个数，那么在Apache Flink的内部实现上key-group的数量就是最大并行度的值。

GroupRange.of(0, maxParallelism)如何决定key属于哪个Key-Group

确定好GroupRange之后，如何决定每个Key属于哪个Key-Group呢?我们采取的是取mod的方式，在KeyGroupRangeAssignment中的assignToKeyGroup方法会将key划分到指定的key-group中，如下：

public static int assignToKeyGroup(Object key, int maxParallelism) { 
      return computeKeyGroupForKeyHash(key.hashCode(), maxParallelism); 
} 
 
public static int computeKeyGroupForKeyHash(int keyHash, int maxParallelism) { 
      return HashPartitioner.INSTANCE.partition(keyHash, maxParallelism); 
} 
 
@Override 
public int partition(T key, int numPartitions) { 
      return MathUtils.murmurHash(Objects.hashCode(key)) % numPartitions; 
} 

（编辑：萍乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!