大数据面试必问-需要知道的这些知识点spark,scala,java
1、spark2.0有哪些优化1）统一了DataFrames与Dataset映射、筛选、groupByKeyselect、groupBy都可用于DatasetDataset接口是用作StructuredStreaming的抽象2）新入口SparkSession取代了原本的SQLC
硬核！一文学完Flink流计算常用算子（Flink算子大全）
Flink和Spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）。所以下面将Flink的算子分为两大类：一类是DataSet，一类是DataStream。DataSet一、Source算子1.
spark 自定义partitioner分区 java版
在遍历spark dataset的时候，通常会使用 forpartition 在每个分区内进行遍历，而在默认分区可能因数据分布原因导致datasetc处理时的数据倾斜，造成整个dataset处理缓慢，发挥不了spark多executor多partition的并行处理能力，因此，普