spark是啥是基于内存计算的通用大数據并行计算框架是一个快速、通用可扩展的大数据分析引擎。它给出了大一统的软件开发栈适用于不同场合的分布式场景，如批处理、迭代算法、交互式查询、流处理、机器学习和图计算

spark是啥SQL：提供了类sql方式操作结构化半结构化数据。对历史数据进行交互式查询（即席查询：用户根据自己的需求，自定义查询）

spark是啥Streaming：提供了近乎实时的流式数据处理与storm相比有更高的吞吐量。（实时计算 目前实时计算框架有哪些 storm、spark是啥streaming、flink）

spark是啥Ml：提供了常见的机器学习算法库，包括分类、回归、聚类、协同工过滤（个性推荐：用户画像）等还提供模型评估、数据处理等额外功能，使得机器学习能够更加方便的在分布式大数据环境下快速的对数据进行处理形成模型后提供在线服務。

Graphx：用来操作图的程序库可以进行并行的图计算。支持各种常见的图算法包括page rank、Triangle Counting等。

spark是啥 使用DAG 调度器、查询优化器和物理执行引擎能够在批处理和流数据获得很高的性能。根据官方的统计它的运算速度是hadoop的100x倍
spark是啥的易用性主要体现在两个方面。一方面我们可以鼡较多的编程语言来写我们的应用程序，比如说Java,Scala,Python,R 和 SQL;另一方面spark是啥 为我们提供了超过80个高阶操作，这使得我们十分容易地创建并行应用除此之外，我们也可以使用Scala,Python,R和SQL shells,以实现对spark是啥的交互
与其说通用性高还不如说它集成度高，如图所示：以spark是啥为基础建立起来的模块(库)有spark昰啥 SQL,spark是啥 Streaming,MLlib(machine learning)和GraphX(graph)我们可以很容易地在同一个应用中将这些库结合起来使用，以满足我们的实际需求

"有向"指的是有方向，准确的说应该是同┅个方向"无环"则指够不成闭环。在DAG中没有区块的概念，他的组成单元是一笔笔的交易每个单元记录的是单个用户的交易，这样就省詓了打包出块的时间验证手段则依赖于后一笔交易对前一笔交易的验证，换句话说你要想进行一笔交易，就必须要验证前面的交易具体验证几个交易，根据不同的规则来进行这种验证手段，使得DAG可以异步并发的写入很多交易并最终构成一种拓扑的树状结构，能够極大地提高扩展性

这三个特性分别为：分区，不可变并行操作。

每一个 RDD 包含的数据被存储在系统的不同节点上逻辑上我们可以将 RDD 理解成一个大的数组，数组中的每个元素就代表一个分区 (Partition)

在物理存储中，每个分区指向一个存储在内存或者硬盘中的数据块 (Block) 其实这个数據块就是每个 task 计算出的数据块，它们可以分布在不同的节点上

所以，RDD 只是抽象意义的数据集合分区内部并不会存储具体的数据，只会存储它在该 RDD 中的 index通过该 RDD 的 ID 和分区的 index 可以唯一确定对应数据块的编号，然后通过底层存储层的接口提取到数据进行处理

在集群中，各个節点上的数据块会尽可能的存储在内存中只有当内存没有空间时才会放入硬盘存储，这样可以最大化的减少硬盘 IO 的开销

不可变性是指烸个 RDD 都是只读的，它所包含的分区信息是不可变的由于已有的 RDD 是不可变的，所以我们只有对现有的 RDD 进行转化 (Transformation) 操作才能得到新的 RDD ，一步┅步的计算出我们想要的结果

这样会带来这样的好处：我们在 RDD 的计算过程中，不需要立刻去存储计算出的数据本身我们只要记录每个 RDD 昰经过哪些转化操作得来的，即：依赖关系这样一方面可以提高计算效率，一方面是错误恢复会更加容易如果在计算过程中，第 N 步输絀的 RDD 的节点发生故障数据丢失，那么可以根据依赖关系从第 N-1 步去重新计算出该 RDD这也是 RDD 叫做"弹性"分布式数据集的一个原因。

因为 RDD 的分区特性所以其天然支持并行处理的特性。即不同节点上的数据可以分别被处理然后生成一个新的 RDD。

一个分区列表一个rdd有多个分区，后期spark是啥任务计算是以分区为单位一个分区就对应上一个task线程。 通过val rdd1=sc.textFile(文件) 如果这个文件大小的block个数小于等于2它产生的rdd的分区数就是2 如果這个文件大小的block个数大于2，它产生的rdd的分区数跟文件的block相同

由一个函数计算每一个分片 比如： rdd2=rdd1.map(x=>(x,1)) 这里指的就是每个单词计为1的函数

一个rdd会依赖于其他多个rdd，这里就涉及到rdd与rdd之间的依赖关系后期spark是啥任务的容错机制就是根据这个特性而来。 比如： rdd2=rdd1.map(x=>(x,1)) rdd2的结果是通过rdd1调用了map方法生荿那么rdd2就依赖于rdd1的结果 对其他RDD的依赖列表，依赖还具体分为宽依赖和窄依赖但并不是所有的RDD都有依赖。

(可选项) 对于kv类型的rdd才会有分区函数（必须要产生shuffle）对于不是kv类型的rdd分区函数是None。 分区函数的作用：它是决定了原始rdd的数据会流入到下面rdd的哪些分区中 spark是啥的分区函數有2种：第一种hashPartitioner（默认值）, 通过 key.hashcode % 分区数=分区号

(可选项) 一组最优的数据块的位置，这里涉及到数据的本地性和数据位置最优 spark是啥后期在进行任务调度的时候会优先考虑存有数据的worker节点来进行任务的计算。大大减少数据的网络传输提升性能。
11.分片的个数由什么决定

在读取HBase數据时，没有类似textFile的接口的封装可调用如下接口生成给予hbase数据的RDD，

查看对应的getSplits方法可以看出：

如果设置了开启均衡（设置hbase.mapreduce.input.autobalance的值为true：在hbase的region夶小不均衡引发的数据倾斜将导致不同的region处理耗时较多，该参数为了解决此场景）则会在每个region对应一个split的基础上，将较小（小于平均夶小）的region进行合并作为一个split较大（大于平均size的三倍（其中三可配置））的region拆分为两个region。

12.分片的意义 增加并行度

当然也不是并行越高越恏，根据资源而定

相比其他系统的细颗粒度的内存数据更新级别的备份或者LOG机制RDD的Lineage记录的是粗颗粒度的特定数据Transformation操作（如filter、map、join等）行为。当这个RDD的部分分区数据丢失时它可以通过Lineage获取足够的信息来重新运算和恢复丢失的数据分区。因为这种粗颗粒的数据模型限制了spark是啥的运用场合，所以spark是啥并不适用于所有高性能要求的场景但同时相比细颗粒度的数据模型，也带来了性能的提升

我们应该都很熟悉 checkpoint 這个概念， 就是把内存中的变化刷新到持久存储斩断依赖链 在存储中 checkpoint 是一个很常见的概念， 举几个例子

• 数据库 checkpoint 过程中一般把内存中的变囮进行持久化到物理页 这时候就可以斩断依赖链， 就可以把 redo 日志删掉了 然后更新下检查点，

• spark是啥 streaming 中对于一些 有状态的操作 这在某些 stateful 轉换中是需要的，在这种转换中生成 RDD 需要依赖前面的 batches，会导致依赖链随着时间而变长为了避免这种没有尽头的变长，要定期将中间生荿的 RDDs 保存到可靠存储来切断依赖链 必须隔一段时间进行一次进行一次 checkpoint。

cache 和 checkpoint 是有显著区别的 缓存把 RDD 计算出来然后放在内存中， 但是RDD 的依賴链（相当于数据库中的redo 日志） 也不能丢掉， 当某个点某个 executor 宕了 上面cache 的RDD就会丢掉， 需要通过 依赖链重放计算出来 不同的是， checkpoint 是把 RDD 保存在 HDFS中 是多副本可靠存储，所以依赖链就可以丢掉了就斩断了依赖链， 是通过复制实现的高容错但是有一点要注意， 因为checkpoint是需要把 job 偅新从头算一遍 最好先cache一下， checkpoint就可以直接保存缓存中的 RDD 了 就不需要重头计算一遍了， 对性能有极大的提升

简单来说，就是把重要的Rdd存储在hdfs中与lineage相比，省时14.创建Rdd的方式

1. 由一个已经存在的Scala集合创建。

1. 由外部存储系统的文件创建
   包括本地的文件系统，还有所有Hadoop支持的數据集比如HDFS、Cassandra、HBase等。

1. 已有的RDD经过算子转换生成新的RDD

15.spark是啥 算子分为 区别？ 写出10个以上常用的算子
1.从大的方向来说spark是啥算子可以分两类：
1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操莋不是马上执行需要等到有 Action 操作的时候才会真正触发运算。
2.从小的方向分可以分为三类：
1）Value数据类型的Transformation算子，这种变换并不触发提交莋业针对处理的数据项是Value型的数据。
2）Key-Value数据类型的Transfromation算子这种变换并不触发提交作业，针对处理的数据项是Key-Value型的数据对

• map()：每次处理一條数据

• mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后原RDD中分区的数据才能释放，可能导致OOM

  当内存空间较大的时候建议使用mapPartition()以提高处理效率

19.什么是宽依赖 窄依赖？
窄依赖：父RDD的每个分区都只被子RDD的一个分区使用 例如map、filter、union等操作会产生窄依赖

• reduceByKey()也是先在单台机器中计算再将结果进行shuffle，减小运算量

23.持久化 RDD通过persist方法或cache方法可以将前面的计算结果缓存，默认情况下 persist() 会把数据以序列化的形式缓存在 JVM 的堆空間中

但是并不是这两个方法被调用时立即缓存，而是触发后面的action时该RDD将会被缓存在计算节点的内存中，并供后面重用
通过查看源码發现cache最终也是调用了persist方法，默认的存储级别都是仅在内存存储一份spark是啥的存储级别还有好多种，存储级别在object StorageLevel中定义的

25.共享变量？累加器 累加器用来对信息进行聚合通常在向 spark是啥传递函数时，比如使用 map() 函数或者用 filter() 传条件时可以使用驱动器程序中定义的变量，但是集群Φ运行的每个任务都会得到这些变量的一份新的副本更新这些副本的值也不会影响驱动器中的对应变量。如果我们想实现所有分片处理時更新共享变量的功能那么累加器可以实现我们想要的效果。

系统累加器 针对一个输入的日志文件如果我们想计算文件中所有空行的數量，我们可以编写以下程序：

驱动器程序可以调用累加器的value属性(在Java中使用value()或setValue())来访问累加器的值

注意：工作节点上的任务不能访问累加器的值。从这些任务的角度来看累加器是一个只写变量。 对于要在行动操作中使用的累加器spark是啥只会把每个任务对各累加器的修改应鼡一次。因此如果想要一个无论在失败还是重复计算时都绝对可靠的累加器，我们必须把它放在 foreach() 这样的行动操作中转化操作中累加器鈳能会发生不止一次更新

自定义累加器类型的功能在1.X版本中就已经提供了，但是使用起来比较麻烦在2.0版本后，累加器的易用性有了较大嘚改进而且官方还提供了一个新的抽象类：AccumulatorV2来提供更加友好的自定义类型累加器的实现方式。实现自定义类型累加器需要继承AccumulatorV2并至少覆寫下例中出现的方法下面这个累加器可以用于在程序运行过程中收集一些文本类信息，最终以Set[String]的形式返回1

广播变量用来高效分发较大嘚对象。向所有工作节点发送一个较大的只读值以供一个或多个spark是啥操作使用。比如如果你的应用需要向所有节点发送一个较大的只讀查询表，甚至是机器学习算法中的一个很大的特征向量广播变量用起来都很顺手。 在多个并行操作中使用同一个变量但是 spark是啥会为烸个任务分别发送。

使用广播变量的过程如下：
(3) 变量只会被发到各个节点一次应作为只读值处理(修改这个值不会影响到别的节点)。

1. client模式提交任务会在客户端看到task的执行情况和结果，当在客户端提交多个application时每个application都会启动自己的Driver，Driver与集群Worker有大量的通信会造成客户端网卡鋶量激增问题。这种模式适用于程序测试不适用于生产环境。

   模式提交任务Driver会在急群众随机一台Worker上启动，如果提交多个application时那么每个application嘚Driver会分散到集群的Worker节点，相当于将client模式的客户端网卡流量激增问题分散到集群中这种模式适用于生产环境。

   因为cluster模式随机分散在Worker节点仩创建Driver，由Driver来发送任务到Worker所以打包的程序任务必须在分散的Worker节点对应的目录下都存在。

   27.spark是啥 资源调度方式本地模式：

   
   此模式是spark是啥自帶的集群模式

分散查看：比较麻烦，到每个节点lo文件查看
webui：到网页查看

栈：里面有参数 | 局部变量 | 返回地址
8种基本类型的变量+对象的引用变量+实例方法都是在函数的栈内存中分配[局部变量]
堆：对象本身、全局变量 [ 成员变量 ]

①. 所有通过new创建的对象的内存都在堆中分配其大小可鉯通过-Xmx 和Xms来控制

②. 堆被划分为新生代和老年代，新生代又被进一步划分为Eden（伊甸园）和Survivor（幸存者）区老年代，在后面不是堆区是永恒代（方法区）

①. 所有Java虚拟机线程共享的区域存储了类结构相关的信息 [ 成员变量、方法、构造器 ]等

②. 方法区的创建是在Java 虚拟机启动时被创建

③. 方法区时逻辑上时堆的一个组成部分,但是在不同虚拟机里头实现是不一样的，最典型的就是永久代(PermGen space)和元空间(Metaspace)
注意：方法区时一种规范洏永久代和元空间是它的一种实现方式

④. 方法区存在OOM现象

静态变量+常量+类信息+运行时常量池存在方法区中

①. 常量池，就是一张表虚拟机指令根据这张常量表找到要执行的类名、方法名、参数类型、字面量等信息

②. 运行时常量池，常量池是 *.class 文件中的当该类被加载，它的常量池信息就会放入运行时常量池并把里面的符号地址变为真实地址

二进制字节码(类基本信息+常量池+类的方法定义

两者对比 spark是啥 Streaming仅仅在吞吐量上比Storm要优秀，而吞吐量这一点也是历来挺spark是啥 Streaming，贬Storm的人着重强调的但是问题是，是不是在所有的实时计算场景下都那么注重吞吐量？不尽然因此，通过吞吐量说spark是啥 Streaming强于Storm不靠谱。

事实上Storm在实时延迟度上，比spark是啥 Streaming就好多了前者是纯实时，后者是准实时而苴，Storm的事务机制、健壮性 / 容错性、动态调整并行度等特性都要比spark是啥 Streaming更加优秀。

spark是啥 Streaming有一点是Storm绝对比不上的，就是：它位于spark是啥生态技术栈中因此spark是啥 Streaming可以和spark是啥 Core、spark是啥 SQL无缝整合，也就意味着我们可以对实时处理出来的中间数据，立即在程序中无缝进行延迟批处理、交互式查询等操作这个特点大大增强了spark是啥 Streaming的优势和功能。

使用场景对于Storm来说： 1、建议在那种需要纯实时不能忍受1秒以上延迟的场景下使用，比如实时金融系统要求纯实时进行金融交易和分析

2、此外，如果对于实时计算的功能中要求可靠的事务机制和可靠性机制，即数据的处理完全精准一条也不能多，一条也不能少也可以考虑使用Storm
3、如果还需要针对高峰低峰时间段，动态调整实时计算程序的並行度以最大限度利用集群资源（通常是在小型公司，集群资源紧张的情况）也可以考虑用Storm
4、如果一个大数据应用系统，它就是纯粹嘚实时计算不需要在中间执行SQL交互式查询、复杂的transformation算子等，那么用Storm是比较好的选择

1、如果对上述适用于Storm的三点一条都不满足的实时场景，即不要求纯实时，不要求强大可靠的事务机制不要求动态调整并行度，那么可以考虑使用spark是啥 Streaming
2、考虑使用spark是啥 Streaming最主要的一个因素应该是针对整个项目进行宏观的考虑，即如果一个项目除了实时计算之外，还包括了离线批处理、交互式查询等业务功能而且实时計算中，可能还会牵扯到高延迟批处理、交互式查询等功能那么就应该首选spark是啥生态，用spark是啥 Core开发离线批处理用spark是啥 SQL开发交互式查询，用spark是啥 Streaming开发实时计算三者可以无缝整合，给系统提供非常高的可扩展性

35.storm核心？ storm被设计成用一种容错的水平扩展方法处理大量数据咜是一个具有最高摄取率的流式数据框架。虽然Storm是无状态的但它通过ApacheZooKeeper管理分布式环境和集群状态。它很简单可以对实时数据并行执行各种操作。

ApacheStorm仍然是实时数据分析领域的领导者Storm易于设置、操作，并确保至少通过TopDlogy处理每个消息（消息至少被消费过一次)
基本上，Hadoop和Storm框架用于分析大数据两者相辅相成，在某些方面有所不同ApacheStorm的所有操作都是持久性的，而Hadoop在所有方面都很好但在实时计算方面却落后。 數据结构有序的元素列表。通常是任意类型的数据使用，号分割交给storm计算。 4. Bolts :转接头逻辑处理单元，spout数据传给bolt, bolt处理后产生新的数据可以filter、 聚合、分组。 5. Topology :不会停止的除非手动杀死。MR是会停止的 spout和bolt都可以以多实例方式运行(在单独的线程中)
由一个个连续的batch组成，所谓batch僦是一个时间片的rdd
所以我们在写spark是啥streaming程序的时候，一定设置一个时间间隔inXXX
其实Dstream 就是spark是啥 对rdd进行的一个封装，底层走到流程还是我们之湔讲的RDD的那一套

返回一个新状态的DStream,其中每个键的状态是根据键的前一个状态和键的新值应用给定函数func后的更新。这个方法可以被用来维歭每个键的任何状态数据
返回一个基于源DStream的窗口批次计算后得到新的DStream。

因为注意在spark是啥 streaming在默认情况下接受数据的时候，内部需要有一個叫receiver的东西它是专门得占用一个线程来不断的接受数据。

注意： 创建一个dstream的流就需要一个receiver ，我们可以针对不同的数据源创建不同的流可以创建多个流，这些流对应的Dstream当然可以执行我们的算子操作

小结：我们在设置masterF的时候，这个core 的个数一定要大于等于 流的个数 + 1

44.driver 挂了洳何解决？ 这个现象是比executor严重的整个程序只有一个driver。

但是如果driver挂掉会自动重启

45.可以对那些数据 checkPoint？ 元数据中间结果数据

46.容错的语义？ 臸多一个、至少一个、有且只有一个

47.应用程序如何升级 一种是停掉，然后部署升级老的停掉，上新的

现在是在线更新，不停机老嘚新的同时计算同一数据，直到两个计算的数据完全同步再把老的停掉，自然而然地使用新的
2.direct方式：低阶API是自己管理偏移量，是可靠嘚能保证有且仅有一次的语义

49.receiver方式 如何保证消息的可靠性？ 预写入

51.即席查询 用户根据需求 自定义查询

2.统一的数据访问方式
RDD是分布式的Java对潒的集合DataFrame是分布式的Row对象的集合。DataFrame除了提供了比RDD更丰富的算子以外更重要的特点是提升执行效率、减少数据读取以及执行计划的优化，比如filter下推、裁剪等

RDD API是函数式的，强调不变性在大部分场景下倾向于创建新对象而不是修改老对象。这一特点虽然带来了干净整洁的API却也使得spark是啥应用程序在运行期倾向于创建大量临时对象，对GC造成压力在现有RDD API的基础之上，我们固然可以利用mapPartitions方法来重载RDD单个分片内嘚数据创建方式用复用可变对象的方式来减小对象分配和GC的开销，但这牺牲了代码的可读性而且要求开发者对spark是啥运行时机制有一定嘚了解，门槛较高另一方面，spark是啥 SQL在框架内部已经在各种可能的情况下尽量重用对象这样做虽然在内部会打破了不变性，但在将数据返回给用户时还会重新转为不可变数据。利用 DataFrame API进行开发可以免费地享受到这些优化效果。

分析大数据最快的方法就是 ——忽略它。這里的“忽略”并不是熟视无睹而是根据查询条件进行恰当的剪枝。
上文讨论分区表时提到的分区剪 枝便是其中一种——当查询的过滤條件中涉及到分区列时我们可以根据查询条件剪掉肯定不包含目标数据的分区目录，从而减少IO
对于一些“智能”数据格 式，spark是啥 SQL还可鉯根据数据文件中附带的统计信息来进行剪枝简单来说，在这类数据格式中数据是分段保存的，每段数据都带有最大值、最小值、null值數量等 一些基本的统计信息当统计信息表名某一数据段肯定不包括符合查询条件的目标数据时，该数据段就可以直接跳过（例如某整数列a某段的最大值为100而查询条件要求a > 200）。
此外spark是啥 SQL也可以充分利用RCFile、ORC、Parquet等列式存储格式的优势，仅扫描查询真正涉及的列忽略其余列嘚数据。

为了说明查询优化我们来看上图展示的人口数据分析的示例。图中构造了两个DataFrame将它们join之后又做了一次filter操作。如果原封不动地執行这个执行计划最终的执行效率是不高的。因为join是一个代价较大的操作也可能会产生一个较大的数据集。如果我们能将filter下推到 join下方先对DataFrame进行过滤，再join过滤后的较小的结果集便可以有效缩短执行时间。而spark是啥 SQL的查询优化器正是这样做的简而言之，逻辑查询计划优囮就是一个利用基于关系代数的等价变换将高成本的操作替换为低成本操作的过程。
得到的优化执行计划在转换成物 理执行计划的过程Φ还可以根据具体的数据源的特性将过滤条件下推至数据源内。最右侧的物理执行计划中Filter之所以消失不见就是因为溶入了用于执行最終的读取操作的表扫描节点内。
对于普通开发者而言查询优化 器的意义在于，即便是经验并不丰富的程序员写出的次优的查询也可以被尽量转换为高效的形式予以执行。

58.Rdd 创建DF 的两种方式 笼统的来说，元数据反射

都是toDF，反射是创建一个样例类将Rdd转换成df

指定分析函数笁作的数据窗口大小，这个数据窗口大小可能会随着行的变而变化
把有序分区中的行分发到指定数据的组中，各个组有编号编号从1开始，对于每一行NTILE返回此行所属的组的编号。注意：n必须为int类型