Uber永久定位系统实时数据分析过程实践！

在下面的代码中，我们使用parseUber函数注册一个用户自定义函数(UDF)来反序列化消息值字符串。我们在带有df1列值的String Cast的select表达式中使用UDF，该值返回Uber对象的DataFrame。

使用集群中心ID和位置丰富的Uber对象数据集

VectorAssembler用于转换并返回一个新的DataFrame，其中包含向量列中的纬度和经度要素列。

k-means模型用于通过模型转换方法从特征中获取聚类，该方法返回具有聚类ID(标记为预测)的DataFrame。生成的数据集与先前创建的集群中心数据集(ccdf)连接，以创建UberC对象的数据集，其中包含与集群中心ID和位置相结合的行程信息。

最后的数据集转换是将唯一ID添加到对象以存储在MapR-DB JSON中。createUberwId函数创建一个唯一的ID，包含集群ID和反向时间戳。由于MapR-DB按id对行进行分区和排序，因此行将按簇的ID新旧时间进行排序。 此函数与map一起使用以创建UberwId对象的数据集。

（编辑：萍乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!