Map Reduce框架中中间有一步叫shuffle,把同样的()运输到同一个()上面去。
A.value,key
B.value,reducer
C.key,reducer
D.key,value
A.value,key
B.value,reducer
C.key,reducer
D.key,value
A.value,key;
B.value,reducer;
C.key,reducer;
D.key,value;
A.合并value值,形成较小集合
B.采用迭代器将中间值提供给reduce函数
C.map()函数处理后结果才会传输给reduce()
D.内存中不会存储大量的value值
Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎,将Job中间输出结果可以保存在()中,从而不再需要读写HDFS。因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的Map Reduce的算法。
A.Worker故障和Master故障的处理方法不相同
B.Map和Reduce的处理结果都存储在本地文件系统
C.一个Worker发生故障时,该节点上执行完的Map任务需要再次执行
D.MapReduce具有很强的容错机制
关于Hadoop Map Reduce,以下描述中正确的是()。
A.reduce()函数的输入是value集
B.reduce()函数将最终结果写到HDFS系统中
C.用户可以自己定义reduce()函数
D.reduce()函数的输入数据是经过map()函数处理之后的数据