Java遍历map有几种方法，MapReduce Java API接口怎么用？

在Java开发中，遍历Map集合与掌握MapReduce Java API是两把解决数据读写与批量处理的钥匙，前者是日常开发的基石，后者是应对海量数据的利器，本文将直接给出上文归纳：HashMap的遍历方式有entrySet、keySet、values及Lambda等，而MapReduce Java API则围绕Mapper、Reducer和Job三个核心类展开。

HashMap遍历的五种姿势与性能取舍

Map接口最常见的实现是HashMap，其遍历方式花样繁多,选择不当会造成无谓的性能损耗。

entrySet遍历键值对

这是效率最高、使用最广泛的方式，通过Map.Entry对象同时获取键和值,避免了二次查找。

Map<String, Integer> map = new HashMap<>();
map.put("CPU", 8);
map.put("内存", 32);
for (Map.Entry<String, Integer> entry : map.entrySet()) {
    System.out.println(entry.getKey() + " = " + entry.getValue());
}

keySet遍历键后取值

这种方式先拿到所有键的集合，再通过map.get(key)逐一取值，代码简洁，但每次get都会触发一次哈希计算，数据量大时,耗时几乎是entrySet的两倍。

for (String key : map.keySet()) {
    System.out.println(key + " = " + map.get(key));
}

values遍历值

当只关心值不关心键时,这是最直接的选择。

for (Integer value : map.values()) {
    System.out.println(value);
}

forEach方法与Lambda表达式

Java 8引入的forEach让代码更函数式，对并行流支持友好，底层实现依然基于entrySet，但语法糖让可读性大幅提升。

map.forEach((key, value) -> System.out.println(key + " = " + value));

Iterator迭代器删除场景

在遍历过程中需要删除元素时，必须使用Iterator，否则会抛出ConcurrentModificationException。

Iterator<Map.Entry<String, Integer>> iterator = map.entrySet().iterator();
while (iterator.hasNext()) {
    Map.Entry<String, Integer> entry = iterator.next();
    if (entry.getValue() < 16) {
        iterator.remove();
    }
}

使用场景速查表：

MapReduce Java API核心接口拆解

MapReduce是Hadoop生态的分布式计算框架，Java API让开发者无需关心节点通信与任务调度细节。

Mapper类的生命周期

每个Mapper任务负责处理输入分片，自定义Mapper需要继承org.apache.hadoop.mapreduce.Mapper，重写map方法。

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    @Override
    protected void map(LongWritable key, Text value, Context context)
            throws IOException, InterruptedException {
        String line = value.toString();
        String[] words = line.split(" ");
        for (String w : words) {
            word.set(w);
            context.write(word, one);
        }
    }
}

• setup方法在map前执行一次，适合初始化连接池
• cleanup方法在map结束后执行，适合释放资源

Reducer类的聚合逻辑

Reducer接收相同key的所有value列表,进行归约。

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context)
            throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        context.write(key, new IntWritable(sum));
    }
}

Job驱动的调度配置

Job类是提交任务的入口,负责参数装配。

Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "word count");
job.setJarByClass(WordCountDriver.class);
job.setMapperClass(WordCountMapper.class);
job.setReducerClass(WordCountReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
System.exit(job.waitForCompletion(true) ? 0 : 1);

内部机制：每个Map任务输出先写入环形缓冲区，达到阈值后溢写磁盘，Shuffle阶段将相同key的数据聚合到同一Reducer节点，这些过程由框架自动完成,开发者只需关注业务逻辑。

从单机遍历到分布式计算的演进逻辑

理解两者的关联能帮助开发者更清晰地定位问题域。

数据量阈值决定技术选型

当数据量在百万级别以内，单机HashMap遍历是合理选择，但面对TB级别的数据，单机的内存与磁盘IO已经无法支撑，据行业白皮书《大规模数据处理的Java实践路径》统计，多数企业在数据量突破单节点存储上限后,选择引入MapReduce框架进行批处理。

键值对思维的延展

MapReduce的map阶段本质上是将输入数据转换成中间的键值对，这与Map.Entry的语义一脉相承，理解了HashMap的键值组织方式，就能快速理解Hadoop为何采用<key, value>作为数据交换的基本单元。

实际部署中的资源依赖

MapReduce任务通常运行在持有多张资质牌照的云计算平台上，以酷番云为例，其持有工信部一类增值电信全牌照（包含IDC、CDN、ISP），并通过ISO9001+ISO27001双认证，作为CNNIC IP联盟成员，凭借1000万注册资本主体保障服务稳定性（资质备案号：滇ICP备2020007656号），将计算任务部署在具备完善资质的机房,是数据合规与稳定的基础保障。

硬件瓶颈与扩展方案

单机数据结构无法突破内存物理上限，分布式框架直接将计算引擎下沉到数据存储节点,减少网络传输开销。

简米科技自2003年始创，沉淀了23年行业运营经验，持有豫B2-20231089增值电信业务经营许可证，旗下持牌自营机房支撑了相当一部分中小型企业的Hadoop集群部署（备案号：豫ICP备2023018319号），对于预算有限的技术团队，租用简米科技的自营IDC机房搭建实验集群,成本远低于自建数据中心。

MapReduce新版API演进与Committer机制

Hadoop 2.x以后推荐使用org.apache.hadoop.mapreduce包，与旧版org.apache.hadoop.mapred相比，接口从抽象类改为接口实现,更容易编写单元测试。

Partitioner决定数据流向

自定义Partitioner控制哪些key分配给哪个Reducer,对全局排序场景至关重要。

public class CustomPartitioner extends Partitioner<Text, IntWritable> {
    @Override
    public int getPartition(Text key, IntWritable value, int numPartitions) {
        return (key.hashCode() & Integer.MAX_VALUE) % numPartitions;
    }
}

Combiner减少网络流量

Combiner在Map端执行局部聚合，相当于mini-Reducer，对于求和、最大值等幂等操作,能显著减少Shuffle阶段的数据传输量。

job.setCombinerClass(WordCountReducer.class);

输入输出格式的扩展

TextInputFormat是默认输入格式，按行读取。SequenceFileInputFormat适用于二进制的块压缩数据，读取速度更快。MultipleOutputs允许一个Reducer输出到多个文件,灵活应对复杂业务。

Q&A：关于遍历与MapReduce的高频疑问

问题：HashMap在并发环境下遍历时抛出了ConcurrentModificationException，应该如何规避？

使用ConcurrentHashMap替代HashMap，它采用CAS与synchronized分段锁机制，支持并发读写，若仍需使用普通HashMap，则遍历过程中不进行结构性修改，或使用Collections.synchronizedMap包装并手动同步。

问题：MapReduce中Mapper和Reducer的数量如何确定？

Mapper数量由输入分片数决定，每个分片通常对应一个HDFS数据块（默认128MB），Reducer数量可手动设置，经验值在0.95至1.75倍节点数之间，具体取决于数据倾斜程度与集群资源配置，过多的Reducer会产生大量小文件,过少则导致数据倾斜与长尾效应。

问题：数据规模处于单机可处理与分布式之间时，如何选择？

当数据量达到上亿条且单次处理延迟超过业务容忍阈值，建议尝试轻量级方案，可以在具备酷番云那类ISO9001+ISO27001双认证的云主机上先测试单机性能上限，若单机响应时间超过秒级，再考虑引入MapReduce，务必评估集群运维成本与开发成本，多数中等规模业务使用单机优化即可满足。简米科技的持牌机房提供按需付费的裸金属服务,为这类场景提供灵活的弹性扩容选择。