宽依赖与窄依赖

RDD之间的依赖关系可以分为两类，即宽依赖和窄依赖，宽依赖与窄依赖的区分主要是父partition与子partition的对应关系，区分宽窄依赖主要就是看父RDD的一个partition的流向，要是流向一个的话就是窄依赖，流向多个的话就是宽依赖。。

海德格尔

大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占到一小部分而已。因此大家务必把握住调优的基本原则，千万不要舍本逐末。下面我们就给大家详细讲解shuffle的原理，以及相关参数的说明，同时给出各个参数的调优建议。

前言

继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。

本文主要介绍 CTR 预估中常用的一些模型，主要是非深度学习模型，包括 LR、GBDT+LR、FM/FFM、MLR。每个模型会简单介绍其原理、论文出处以及其一些开源实现。

一、Budget Pacing的概念与流派

亲爱的朋友：

您的信让我激动，因为借助这封信，我又看到了自己十四五岁时的身影，那是在奥德亚将军独裁统治下的灰色的利马，我时而因为怀抱着总有一天要当上作家的梦想而兴奋，时而因为不知道如何迈步、如何开始把我感到的抱负付诸实施而苦闷；我感到我的抱负仿佛一道紧急命令：写出让读者眼花缭乱的故事来，如同那几位让我感到眼花缭乱的作家的作品一样，那几位我刚刚供奉在自己设置的私人神龛里的作家：福克纳、海明威、马尔罗、多斯·帕索斯、加缪、萨特。

在互联网商业模式中，如果把商业化产品比作是船体，其核心作用是作为流量与变现的载体，那么数据就是引擎，没有数据的指引，商业模式就会很低效，机器学习作为数据提高效率的机器，则充当了这艘船的船长的地位。

一、什么是推荐系统？

维基百科：它是一种信息过滤系统，手段是预测用户（User）对物品（Item）的评分和偏好。

一、什么是用户画像？

用户画像应该给机器看，而不是给人看。用户向量化后的结果，就是 User Profile，俗称“用户画像”。