海德格尔

大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解shuffle的原理，以及相关参数的说明，同时给出各个参数的调优建议。

前言

继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。

亲爱的朋友：

您的信让我激动，因为借助这封信，我又看到了自己十四五岁时的身影，那是在奥德亚将军独裁统治下的灰色的利马，我时而因为怀抱着总有一天要当上作家的梦想而兴奋，时而因为不知道如何迈步、如何开始把我感到的抱负付诸实施而苦闷；我感到我的抱负仿佛一道紧急命令：写出让读者眼花缭乱的故事来，如同那几位让我感到眼花缭乱的作家的作品一样，那几位我刚刚供奉在自己设置的私人神龛里的作家：福克纳、海明威、马尔罗、多斯·帕索斯、加缪、萨特。

在互联网商业模式中，如果把商业化产品比作是船体，其核心作用是作为流量与变现的载体，那么数据就是引擎，没有数据的指引，商业模式就会很低效，机器学习作为数据提高效率的机器，则充当了这艘船的船长的地位。

在竞价广告中，广告主能否获得某个广告位是由其变现能力也就是eCPM的大小来决定的。在以CPC结算即点击结算的单子中，eCPM即千次展示期望收入的计算公式为:$eCPM = \mu *v$其中：

在开发完Spark作业之后，就该为作业配置合适的资源了。spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会及其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论哪种情况，都会导致spark作业的运行效率低下，甚至根本无法运行。因此我们必须对spark作业的资源使用原理有一个清晰的认识，并知道spark作业运行过程中，有哪些资源参数是可以设置的，以及如何设置合适的参数值。

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。

然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此，想要用好Spark，就必须对其进行合理的性能优化。

Spark的性能调优实际上是由很多部分组成的，不是调节几个参数就可以立竿见影提升作业性能的。我们需要根据不同的业务场景以及数据情况，对Spark作业进行综合性的分析，然后进行多个方面的调节和优化，才能获得最佳性能。

Spark SQL所使用的数据抽象并非RDD，而是DataFrame。DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，它不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能。Spark能够轻松实现从Mysql到DataFrame的转化，并且支持SQL查询。

创建

• 从本地文件系统/分布式文件系统HDFS加载：

1
2

scala > val path = ''
scala > val lines = sc.textFile(path)