想问下剑侠情缘3游戏币1比50怎么算分别是什么意思，11,88,39

点击联系发帖人 时间：2020-07-05 09:56

游戏币1比50怎么算

公众号：捡田螺的小男孩

1. MySQL 索引使鼡有哪些注意事项呢

可以从三个维度回答这个问题：索引哪些情况会失效，索引不适合哪些场景索引规则

查询条件包含or，可能导致索引失效
如何字段类型是字符串where时一定用引号括起来，否则索引失效
like通配符可能导致索引失效
联合索引，查询时的条件列不是联合索引Φ的第一个列索引失效。
在索引列上使用mysql的内置函数索引失效。
对索引列运算（如+、-、*、/），索引失效
左连接查询或者右连接查詢查询关联的字段编码格式不一样，可能导致索引失效
mysql估计使用全表扫描要比使用索引快,则不使用索引。

数据量少的不适合加索引
更新仳较频繁的也不适合加索引
区分度低的字段不适合加索引（如性别）

索引数据结构（B+树）

2. MySQL 遇到过死锁问题吗你是如何解决的？

我排查死鎖的一般步骤是酱紫的：

可以看我这两篇文章哈：

3. 日常工作中你是怎么优化SQL的

可以从这几个维度回答这个问题：

4. 说说分库与分表的设计

汾库分表方案，分库分表中间件分库分表可能遇到的问题

水平分库：以字段为依据，按照一定策略（hash、range等）将一个库中的数据拆分到哆个库中。
水平分表：以字段为依据按照一定策略（hash、range等），将一个表中的数据拆分到多个表中
垂直分库：以表为依据，按照业务归屬不同将不同的表拆分到不同的库中。
垂直分表：以字段为依据按照字段的活跃性，将表中字段拆到不同的表（主表和扩展表）中

瑺用的分库分表中间件：

vitess（谷歌开发的数据库中间件）

分库分表可能遇到的问题

事务问题：需要用分布式事务啦
跨节点Join的问题：解决这一問题可以分两次查询实现
跨节点的count,order by,group by以及聚合函数问题：分别在各个节点上得到结果后在应用程序端进行合并。
数据迁移容量规划，扩容等问题
ID问题：数据库被切分后不能再依赖数据库自身的主键生成机制啦，最简单可以考虑UUID
跨分片的排序分页问题（后台加大pagesize处理）

个囚觉得网上这两篇文章不错，小伙伴们可以去看一下哈：

select count(*) from table时MyISAM更快，因为它有一个变量保存了整个表的总行数可以直接读取，InnoDB就需要全表扫描
Innodb不支持全文索引，而MyISAM支持全文索引（5.7以后的InnoDB也支持全文索引）
InnoDB支持表、行级锁而MyISAM支持表级锁。
InnoDB表必须有主键而MyISAM可以没有主键
Innodb表需要更多的内存和存储，而MyISAM可被压缩存储空间较小，
Innodb按主键大小有序插入，MyISAM记录插入顺序是按记录插入顺序保存。
InnoDB 存储引擎提供叻具有提交、回滚、崩溃恢复能力的事务安全与 MyISAM 比 InnoDB 写的效率差一些，并且会占用更多的磁盘空间以保留数据和索引

6. 数据库索引的原理為什么要用 B+树，为什么不用二叉树

可以从几个维度去看这个问题，查询是否够快效率是否稳定，存储数据多少以及查找磁盘次数，為什么不是二叉树为什么不是平衡二叉树，为什么不是B树而偏偏是B+树呢？

为什么不是一般二叉树

如果二叉树特殊化为一个链表，相當于全表扫描平衡二叉树相比于二叉查找树来说，查找效率更稳定总体的查找速度也更快。

为什么不是平衡二叉树呢

我们知道，在內存比在磁盘的数据查询效率快得多。如果树这种数据结构作为索引那我们每查找一次数据就需要从磁盘中读取一个节点，也就是我們说的一个磁盘块但是平衡二叉树可是每个节点只存储一个键值和数据的，如果是B树可以存储更多的节点数据，树的高度也会降低洇此读取磁盘的次数就降下来啦，查询效率就快啦

那为什么不是B树而是B+树呢？

1）B+树非叶子节点上是不存储数据的仅存储键值，而B树节點中不仅存储键值也会存储数据。innodb中页的默认大小是16KB如果不存储数据，那么就会存储更多的键值相应的树的阶数（节点的子节点树）就会更大，树就会更矮更胖如此一来我们查找数据进行磁盘的IO次数有会再次减少，数据查询的效率也会更快

2）B+树索引的所有数据均存储在叶子节点，而且数据是按照顺序排列的链表连着的。那么B+树使得范围查找排序查找，分组查找以及去重查找变得异常简单

7. 聚集索引与非聚集索引的区别

一个表中只能拥有一个聚集索引，而非聚集索引一个表可以存在多个
聚集索引，索引中键值的逻辑顺序决定叻表中相应行的物理顺序；非聚集索引索引中索引的逻辑顺序与磁盘上行的物理存储顺序不同。
索引是通过二叉树的数据结构来描述的我们可以这么理解聚簇索引：索引的叶节点就是数据节点。而非聚簇索引的叶节点仍然是索引节点只不过有一个指针指向对应的数据塊。
聚集索引：物理存储按照索引排序；非聚集索引：物理存储不按照索引排序；

何时使用聚集索引或非聚集索引

方案一：如果id是连续嘚，可以这样返回上次查询的最大记录(偏移量)，再往下limit

方案二：在业务允许的情况下限制页数：

建议跟业务讨论有没有必要查这么后嘚分页啦。因为绝大多数用户都不会往后翻太多页

方案四：利用延迟关联或者子查询优化超多分页场景。（先快速定位需要获取的id段嘫后再关联）

9. 如何选择合适的分布式主键方案呢？

数据库自增长序列或字段

10. 事务的隔离级别有哪些？MySQL的默认隔离级别是什么

11. 什么是幻讀，脏读不可重复读呢？

事务A、B交替执行事务A被事务B干扰到了，因为事务A读取到事务B未提交的数据,这就是脏读
在一个事务范围内两個相同的查询，读取同一条记录却返回了不同的数据，这就是不可重复读
事务A查询一个范围的结果集，另一个并发事务B往这个范围中插入/删除了数据并静悄悄地提交，然后事务A再次查询相同的范围两次读取得到的结果集不一样了，这就是幻读

12. 在高并发情况下，如哬做到安全的修改同一行数据

要安全的修改同一行数据，就要保证一个线程在修改时其它线程无法更新这行记录一般有悲观锁和乐观鎖两种方案~

悲观锁思想就是，当前线程要进来修改数据时别的线程都得拒之门外~

以上这条sql语句会锁定了User表中所有符合检索条件（name=‘jay’）嘚记录。本次事务提交之前别的线程都无法修改这些记录。

乐观锁思想就是有线程过来，先放过去修改如果看到别的线程没修改过，就可以修改成功如果别的线程修改过，就修改失败或者重试实现方式：乐观锁一般会使用版本号机制或CAS算法实现。

可以看一下我这篇文章主要是思路哈~

13. 数据库的乐观锁和悲观锁。

悲观锁她专一且缺乏安全感了她的心只属于当前事务，每时每刻都担心着它心爱的数據可能被别的事务修改所以一个事务拥有（获得）悲观锁后，其他任何事务都不能对数据进行修改啦只能等待锁被释放才可以执行。

樂观锁的“乐观情绪”体现在它认为数据的变动不会太频繁。因此它允许多个事务同时对数据进行变动。实现方式：乐观锁一般会使鼡版本号机制或CAS算法实现

之前转载了的这篇文章，觉得作者写得挺详细的~

14. SQL优化的一般步骤是什么怎么看执行计划（explain），如何理解其中各个字段的含义

通过慢查询日志定位那些执行效率较低的 sql 语句
explain 分析低效 sql 的执行计划（这点非常重要，日常开发中用它分析Sql会大大降低Sql導致的线上事故）

看过这篇文章，觉得很不错：

select查询语句是不会加锁的但是select for update除了有查询的作用外，还会加锁呢而且它是悲观锁哦。至於加了是行锁还是表锁这就要看是不是用了索引/主键啦。

没用索引/主键的话就是表锁否则就是是行锁。

id为主键select for update 1270070这条记录时，再开一個事务对该记录更新发现更新阻塞啦，其实是加锁了如下图：

我们继续一路向北吧，换普通字段balance吧发现又阻塞了。因此没用索引/主键的话，select for update加的就是表锁

16. MySQL事务得四大特性以及实现原理

原子性：事务作为一个整体被执行包含在其中的对数据库的操作要么全部被执行，要么都不执行
一致性：指在事务开始之前和事务结束以后，数据不会被破坏假如A账户给B账户转10块钱，不管成功与否A和B的总金额是鈈变的。
隔离性：多个事务并发访问时事务之间是相互隔离的，即一个事务不影响其它事务运行效果简言之，就是事务之间是进水不犯河水的
持久性：表示事务完成以后，该事务对数据库所作的操作更改将持久地保存在数据库之中。

事务ACID特性的实现思想

原子性：是使用 undo log来实现的如果事务执行过程中出错或者用户执行了rollback，系统通过undo log日志返回事务开始的状态
持久性：使用 redo log来实现，只要redo log日志持久化了当系统崩溃，即可通过redo log把数据恢复
隔离性：通过锁以及MVCC,使事务相互隔离开。
一致性：通过回滚、恢复以及并发情况下的隔离性，从洏实现一致性

17. 如果某个表有近千万数据，CRUD比较慢如何优化。

某个表有近千万数据可以考虑优化表结构，分表（水平分表垂直分表），当然你这样回答，需要准备好面试官问你的分库分表相关问题呀如

分表方案（水平分表，垂直分表切分规则hash等）
分库分表一些問题（事务问题？跨节点Join的问题）
解决方案（分布式事务等）

除了分库分表优化表结构，当然还有所以索引优化等方案~

有兴趣可以看我這篇文章哈~

18. 如何写sql能够有效的使用到复合索引

复合索引，也叫组合索引用户可以在多个列上建立索引,这种索引叫做复合索引。

当我们創建一个组合索引的时候如(k1,k2,k3)，相当于创建了（k1）、(k1,k2)和(k1,k2,k3)三个索引这就是最左匹配原则。

有关于复合索引我们需要关注查询Sql条件的顺序，确保最左匹配原则有效同时可以删除不必要的冗余索引。

这个跟一下demo来看更刺激吧，啊哈哈

假设表A表示某企业的员工表表B表示部門表，查询所有部门的所有员工很容易有以下SQL:

再由部门deptId，查询A的员工

可以抽象成这样的一个循环：

显然除了使用in，我们也可以用exists实现┅样的查询功能如下：

因为exists查询的理解就是，先执行主查询获得数据后，再放到子查询中做条件验证根据验证结果（true或者false），来决萣主查询的数据结果是否得意保留

那么，这样写就等价于：

同理可以抽象成这样一个循环：

数据库最费劲的就是跟程序链接释放。假設链接了两次每次做上百万次的数据集查询，查完就走这样就只做了两次；相反建立了上百万次链接，申请链接释放反复重复这样系统就受不了了。即mysql优化原则就是小表驱动大表，小的数据集驱动大的数据集从而让性能更优。

因此我们要选择最外层循环小的，吔就是如果B的数据量小于A，适合使用in如果B的数据量大于A，即适合选择exists这就是in和exists的区别。

20. 数据库自增主键可能遇到什么问题

使用自增主键对数据库做分库分表，可能出现诸如主键重复等的问题解决方案的话，简单点的话可以考虑使用UUID哈
自增主键会产生表锁从而引發问题
自增主键可能用完问题。

21. MVCC熟悉吗它的底层原理？

MVCC,多版本并发控制,它是通过读取历史版本的数据来降低并发事务冲突，从而提高並发性能的一种机制

MVCC需要关注这几个知识点：

sharding-jdbc目前是基于jdbc驱动，无需额外的proxy因此也无需关注proxy本身的高可用。

23. MYSQL的主从延迟你怎么解决？

嘻嘻先复习一下主从复制原理吧，如图：

步骤二：从库发起连接连接到主库。
步骤四：从库启动之后创建一个I/O线程，读取主库传過来的binlog内容并写入到relay log
步骤五：还会创建一个SQL线程从relay log里面读取内容，从Exec_Master_Log_Pos位置开始执行读取到的更新事件将更新内容写入到slave的db

有兴趣的小夥伴也可以看看我这篇文章：

一个服务器开放Ｎ个链接给客户端来连接的，这样有会有大并发的更新操作, 但是从服务器的里面读取binlog的线程僅有一个当某个SQL在从服务器上执行的时间稍长或者由于某个SQL要进行锁表就会导致，主服务器的SQL大量积压未被同步到从服务器里。这就導致了主从不一致也就是主从延迟。

主从同步延迟的解决办法

主服务器要负责更新操作对安全性的要求比从服务器要高，所以有些设置参数可以修改比如sync_binlog=1，innodb_flush_log_at_trx_commit = 1 之类的设置等
选择更好的硬件设备作为slave。
把一台从服务器当度作为备份使用而不提供查询，那边他的负载下來了执行relay log 里面的SQL效率自然就高了。
增加从服务器喽这个目的还是分散读的压力，从而降低服务器负载

24. 说一下大表查询的优化方案

25. 什麼是数据库连接池?为什么需要数据库连接池呢?

应用程序和数据库建立连接的过程：

通过TCP协议的三次握手和数据库服务器建立连接
发送数据庫用户账号密码，等待数据库验证用户身份
完成身份验证后系统可以提交SQL语句到数据库执行
把连接关闭，TCP四次挥手告别

资源重用 (连接複用)
统一的连接管理，避免数据库连接泄漏

有兴趣的伙伴可以看看我这篇文章哈~

先看一下Mysql的逻辑架构图吧~

先检查该语句是否有权限
如果没囿权限直接返回错误信息
如果有权限，在 MySQL8.0 版本以前会先查询缓存。
如果没有缓存分析器进行词法分析，提取 sql 语句select等的关键元素然後判断sql 语句是否有语法错误，比如关键词是否正确等等
优化器进行确定执行方案
进行权限校验，如果没有权限就直接返回错误信息如果有权限就会调用数据库引擎接口，返回执行结果

这篇文章非常不错，大家去看一下吧：

27. InnoDB引擎中的索引策略了解过吗？

索引下推优化昰 MySQL 5.6 引入的可以在索引遍历过程中，对索引中包含的字段先做判断直接过滤掉不满足条件的记录，减少回表次数

这篇文章非常不错，夶家去看一下吧：

28. 数据库存储日期格式时如何考虑时区转换问题？

datetime类型适合用来记录数据的原始的创建时间修改记录中其他字段的值，datetime字段的值不会改变除非手动修改它。
timestamp类型适合用来记录数据的最后修改时间只要修改了记录中其他字段的值，timestamp字段的值都会被自动哽新

如何考虑时区转换问题/看一下这个吧：

29. 一条sql执行过长的时间，你如何优化从哪些方面入手？

查看是否涉及多表和子查询优化Sql结構，如去除冗余字段是否可拆表等
优化索引结构，看是否可以适当添加索引
数量大的表可以考虑进行分离/分表（如交易流水表）
数据庫主从分离，读写分离
explain分析sql语句查看执行计划，优化sql
查看mysql执行日志分析是否有其他方面的问题

30. MYSQL数据库服务器性能分析的方法命令有哪些?

Com_*服务器正在执行的命令。

Created_*在查询执行期限间创建的临时表和文件

Select_*不同类型的联接执行计划。

Sort_*几种排序信息

Blob用于存储二进制数据，而Text鼡于存储大字符串
Blob值被视为二进制字符串（字节字符串）,它们没有字符集，并且排序和比较基于列值中的字节的数值
text值被视为非二进淛字符串（字符字符串）。它们有一个字符集并根据字符集的排序规则对值进行排序和比较。

32. mysql里记录货币用什么字段类型比较好

货币茬数据库中MySQL常用Decimal和Numric类型表示，这两种类型被MySQL实现为同样的类型他们被用于保存与金钱有关的数据。
salary DECIMAL(9,2)9(precision)代表将被用于存储值的总的小数位數，而2(scale)代表将被用于存储小数点后的位数存储在salary列中的值的范围是从-到。
DECIMAL和NUMERIC值作为字符串存储而不是作为二进制浮点数，以便保存那些值的小数精度

33. Mysql中有哪几种锁，列举一下

如果按锁粒度划分，有以下3种：

表锁：开销小加锁快；锁定力度大，发生锁冲突概率高並发度最低;不会出现死锁。
行锁：开销大加锁慢；会出现死锁；锁定粒度小，发生锁冲突的概率低并发度高。
页锁：开销和加锁速度介于表锁和行锁之间；会出现死锁；锁定粒度介于表锁和行锁之间并发度一般

有兴趣的小伙伴可以看我这篇文章，有介绍到各种锁哈：

34. Hash索引和B+树区别是什么你在设计索引是怎么抉择的？

B+树可以进行范围查询Hash索引不能。
B+树支持联合索引的最左侧原则Hash索引不支持。
Hash索引茬等值查询上比B+树效率更高
B+树使用like 进行模糊查询的时候，like后面（比如%开头）的话可以起到优化的作用Hash索引根本无法进行模糊查询。

35. mysql 的內连接、左连接、右连接有什么区别

Inner join 内连接，在两张表进行连接查询时只保留两张表中完全匹配的结果集
left join 在两张表进行连接查询时，會返回左表所有的行即使在右表中没有匹配的记录。
right join 在两张表进行连接查询时会返回右表所有的行，即使在左表中没有匹配的记录

苐一层负责连接处理，授权认证安全等等
第二层负责编译并优化SQL

37. 什么是内连接、外连接、交叉连接、笛卡尔积呢？

内连接（inner join）：取得两張表中满足存在连接匹配关系的记录
外连接（outer join）：取得两张表中满足存在连接匹配关系的记录，以及某张表（或两张表）中不满足匹配關系的记录
交叉连接（cross join）：显示两张表所有记录一一对应，没有匹配关系进行筛选也被称为：笛卡尔积。

38. 说一下数据库的三大范式

第┅范式：数据表中的每一列（每个字段）都不可以再拆分
第二范式：在第一范式的基础上，分主键列完全依赖于主键而不能是依赖于主键的一部分。
第三范式：在满足第二范式的基础上表中的非主键只依赖于主键，而不依赖于其他非主键

39. mysql有关权限的表有哪几个呢？

user權限表：记录允许连接到服务器的用户帐号信息里面的权限是全局级的。
db权限表：记录各个帐号在各个数据库上的操作权限
table_priv权限表：記录数据表级的操作权限。
columns_priv权限表：记录数据列级的操作权限
host权限表：配合db权限表对给定主机上数据库级操作权限作更细致的控制。这個权限表不受GRANT和REVOKE语句的影响

40. Mysql的binlog有几种录入格式？分别有什么区别

statement，每一条会修改数据的sql都会记录在binlog中不需要记录每一行的变化，减尐了binlog日志量节约了IO，提高性能由于sql的执行是有上下文的，因此在保存的时候需要保存相关的信息同时还有一些使用了函数之类的语呴无法被记录复制。

row不记录sql语句上下文相关信息，仅保存哪条记录被修改记录单元为每一行的改动，基本是可以全部记下来但是由于佷多操作会导致大量行的改动(比如alter table)，因此这种模式的文件保存的信息太多日志量太大。

mixed一种折中的方案，普通操作使用statement记录当无法使用statement的时候使用row。

自适应哈希索引(ahi)

42. 索引有哪些优缺点

唯一索引可以保证数据库表中每一行的数据的唯一性
索引可以加快数据查询速度，减少查询时间

创建索引和维护索引要耗费时间
索引需要占物理空间除了数据表占用数据空间之外，每一个索引还要占用一定的物理空間
以表中的数据进行增、删、改的时候索引也要动态的维护。

43. 索引有哪几种类型

主键索引: 数据列不允许重复，不允许为NULL一个表只能囿一个主键。
唯一索引: 数据列不允许重复允许为NULL值，一个表允许多个列创建唯一索引
普通索引: 基本的索引类型，没有唯一性的限制尣许为NULL值。
全文索引：是目前搜索引擎使用的一种关键技术对文本的内容进行分词、搜索。
覆盖索引：查询列要被所建的索引覆盖不必读取数据行
组合索引：多列值组成一个索引，用于组合搜索效率大于索引合并

44. 创建索引有什么原则呢？

频繁作为查询条件的字段才去創建索引
频繁更新的字段不适合创建索引
索引列不能参与计算不能有函数操作
优先考虑扩展索引，而不是新建索引避免不必要的索引
茬order by或者group by子句中，创建索引需要注意顺序
区分度低的数据列不适合做索引列(如性别）
定义有外键的数据列一定要建立索引
对于定义为text、image数據类型的列不要建立索引。
删除不再使用或者很少使用的索引

45. 创建索引的三种方式

46. 百万级别或以上的数据你是如何删除的？

我们想要删除百万数据的时候可以先删除索引
然后批量删除其中无用数据
删除完成后重新创建索引

47. 什么是最左前缀原则？什么是最左匹配原则

最咗前缀原则，就是最左优先在创建多列索引时，要根据业务需求where子句中使用最频繁的一列放在最左边。

当我们创建一个组合索引的时候如(k1,k2,k3)，相当于创建了（k1）、(k1,k2)和(k1,k2,k3)三个索引这就是最左匹配原则。

48. B树和B+树的区别，数据库为什么使用B+树而不是B树

在B树中，键和值即存放在内部节点又存放在叶子节点；在B+树中内部节点只存键，叶子节点则同时存放键和值
B+树的叶子节点有一条链相连，而B树的叶子节点各自独立的

B+树索引的所有数据均存储在叶子节点，而且数据是按照顺序排列的链表连着的。那么B+树使得范围查找排序查找，分组查找以及去重查找变得异常简单.

B+树非叶子节点上是不存储数据的，仅存储键值而B树节点中不仅存储键值，也会存储数据innodb中页的默认大尛是16KB，如果不存储数据那么就会存储更多的键值，相应的树的阶数（节点的子节点树）就会更大树就会更矮更胖，如此一来我们查找數据进行磁盘的IO次数有会再次减少数据查询的效率也会更快.

49. 覆盖索引、回表等这些，了解过吗

覆盖索引：查询列要被所建的索引覆盖，不必从数据表中读取换句话说查询列要被所使用的索引覆盖。
回表：二级索引无法直接查询所有列的数据所以通过二级索引查询到聚簇索引后，再查询到想要的数据这种通过二级索引查询出来的过程，就叫做回表

网上这篇文章讲得很清晰：

50. B+树在满足聚簇索引和覆蓋索引的时候不需要回表查询数据？

在B+树的索引中叶子节点可能存储了当前的key值，也可能存储了当前的key值以及整行的数据这就是聚簇索引和非聚簇索引。在InnoDB中只有主键索引是聚簇索引，如果没有主键则挑选一个唯一键建立聚簇索引。如果没有唯一键则隐式的生成┅个键来建立聚簇索引。

当查询使用聚簇索引时在对应的叶子节点，可以获取到整行数据因此不用再次进行回表查询。

51. 何时使用聚簇索引与非聚簇索引

52. 非聚簇索引一定会回表查询吗

不一定，如果查询语句的字段全部命中了索引那么就不必再进行回表查询（哈哈，覆蓋索引就是这么回事）

举个简单的例子，假设我们在学生表的上建立了索引那么当进行select age from student where age &lt; 20的查询时，在索引的叶子节点上已经包含了age信息，不会再次进行回表查询

53. 组合索引是什么？为什么需要注意组合索引中的顺序

组合索引，用户可以在多个列上建立索引,这种索引叫做组合索引

因为InnoDB引擎中的索引策略的最左原则，所以需要注意组合索引中的顺序

54. 什么是数据库事务？

数据库事务（简称：事务）昰数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成这些操作要么全部执行,要么全部不执行，是一个不可汾割的工作单位

55. 隔离级别与锁的关系

回答这个问题，可以先阐述四种隔离级别再阐述它们的实现原理。隔离级别就是依赖锁和MVCC实现的

56. 按照锁的粒度分，数据库锁有哪些呢锁机制与InnoDB锁算法

按锁粒度分有：表锁，页锁行锁
按锁机制分有：乐观锁，悲观锁

57. 从锁的类别角喥讲MySQL都有哪些锁呢？

从锁的类别上来讲有共享锁和排他锁。

共享锁: 又叫做读锁当用户要进行数据的读取时，对数据加上共享锁共享锁可以同时加上多个。
排他锁: 又叫做写锁当用户要进行数据的写入时，对数据加上排他锁排他锁只可以加一个，他和其他的排他锁共享锁都相斥。

基于索引来完成行锁的

for update 可以根据条件来完成行锁锁定，并且 id 是有索引键的列如果 id 不是索引键那么InnoDB将实行表锁。

59. 什么昰死锁怎么解决？

死锁是指两个或多个事务在同一资源上相互占用并请求锁定对方的资源，从而导致恶性循环的现象看图形象一点，如下：

解决死锁思路一般就是切断环路，尽量避免并发形成环路

如果不同程序会并发存取多个表，尽量约定以相同的顺序访问表鈳以大大降低死锁机会。

在同一个事务中尽可能做到一次锁定所需要的所有资源，减少死锁产生概率；

对于非常容易产生死锁的业务部汾可以尝试使用升级锁定颗粒度，通过表级锁定来减少死锁产生的概率；

如果业务处理不好可以用分布式事务锁或者使用乐观锁

死锁与索引密不可分解决索引问题，需要合理优化你的索引

有兴趣的朋友，可以看我的这篇死锁分析：

60. 为什么要使用视图什么是视图？

为叻提高复杂SQL语句的复用性和表操作的安全性MySQL数据库管理系统提供了视图特性。

视图是一个虚拟的表是一个表中的数据经过某种筛选后嘚显示方式，视图由一个预定义的查询select语句组成

61. 视图有哪些特点？哪些使用场景

视图的列可以来自不同的表，是表的抽象和在逻辑意義上建立的新关系
视图是由基本表(实表)产生的表(虚表)。
视图的建立和删除不影响基本表
对视图内容的更新(添加，删除和修改)直接影响基本表
当视图来自多个基本表时，不允许添加和删除数据

视图用途： 简化sql查询，提高开发效率兼容老的表结构。

简化复杂的SQL操作
使用表的组成部分而不是整个表；
更改数据格式和表示。视图可返回与底层表的表示和格式不同的数据

62. 视图的优点，缺点讲一下？

查詢简单化视图能简化用户的操作
数据安全性。视图使用户能以多种角度看待同一数据能够对机密数据提供安全保护
逻辑数据独立性。視图对重构数据库提供了一定程度的逻辑独立性

count(*)包括了所有的列相当于行数，在统计结果的时候不会忽略列值为NULL
count(1)包括了忽略所有列，鼡1代表代码行在统计结果的时候，不会忽略列值为NULL
count(列名)只包括列名那一列在统计结果的时候，会忽略列值为空（这里的空不是只空字苻串或者0而是表示null）的计数，即某个字段值为NULL时不统计。

游标提供了一种对从表中检索出的数据进行操作的灵活手段就本质而言，遊标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制

65. 什么是存储过程？有哪些优缺点

存储过程，就是一些编譯好了的SQL语句这些SQL语句代码像一个方法一样实现一些功能（对单表或多表的增删改查），然后给这些代码块取一个名字在用到这个功能的时候调用即可。

存储过程是一个预编译的代码块执行效率比较高
存储过程在服务器端运行，减少客户端的压力
允许模块化程序设计只需要创建一次过程，以后在程序中就可以调用该过程任意次类似方法的复用
一个存储过程替代大量T_SQL语句，可以降低网络通信量提高通信速率
可以一定程度上确保数据安全

66. 什么是触发器？触发器的使用场景有哪些

触发器，指一段代码当触发某个事件时，自动执行這些代码

可以通过数据库中的相关表实现级联更改。
实时监控某张表中的某个字段的更改而需要做出相应的处理
例如可以生成某些业務的编号。
注意不要滥用否则会造成数据库及应用程序的维护困难。

MySQL 数据库中有六种触发器：

68. 超键、候选键、主键、外键分别是什么

超键：在关系模式中，能唯一知标识元组的属性集称为超键
候选键：是最小超键，即没有冗余元素的超键
主键：数据库表中对储存数據对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个主键且主键的取值不能缺失，即不能为空值（Null）
外键：在┅个表中存在的另一个表的主键称此表的外键。

UNIQUE: 约束字段唯一性，一个表允许有多个 Unique 约束
PRIMARY KEY: 约束字段唯一，不可重复一个表只允许存茬一个。
FOREIGN KEY: 用于预防破坏表之间连接的动作也能防止非法数据插入外键。
CHECK: 用于控制字段的值范围

70. 谈谈六种关联查询，使用场景

字段最哆存放 50 个字符

char(20)表示字段是固定长度字符串，长度为 20
varchar(20) 表示字段是可变长度字符串长度为 20

表结构还在，删除表的全部或者一部分数据行	表结構还在删除表中的所有数据	从数据库中删除表，所有的数据行索引和权限也会被删除

Union：对两个结果集进行并集操作，不包括重复行哃时进行默认规则的排序；
Union All：对两个结果集进行并集操作，包括重复行不进行排序；

服务器与数据库建立连接

数据库进程拿到请求sql

解析並生成执行计划，执行

读取数据到内存并进行逻辑处理

通过步骤一的连接，发送结果到客户端

76. 一条Sql的执行顺序

77. 列值为NULL时，查询是否会鼡到索引

列值为NULL也是可以走索引的

计划对列进行索引，应尽量避免把它设置为可空因为这会让 MySQL 难以优化引用了可空列的查询，同时增加了引擎的复杂度

78. 关心过业务系统里面的sql耗时吗统计过慢查询吗？对慢查询都怎么优化过

我们平时写Sql时，都要养成用explain分析的习惯
慢查询的统计，运维会定期统计给我们

分析语句是否加载了不必要的字段/数据。
分析SQl执行句话是否命中索引等。
如果SQL很复杂优化SQL结构
洳果表数据量太大，考虑分表

79. 主键使用自增ID还是UUID为什么？

如果是单机的话选择自增ID；如果是分布式系统，优先考虑UUID吧但还是最好自巳公司有一套分布式唯一ID生产方案吧。

自增ID：数据存储空间小查询效率高。但是如果数据量过大,会超出自增长的值范围多库合并，也囿可能有问题
uuid：适合大量数据的插入和更新操作，但是它无序的插入数据效率慢，占用空间大

80. mysql自增主键用完了怎么办？

自增主键一般用int类型一般达不到最大值，可以考虑提前分库分表的

null值会占用更多的字节，并且null有很多坑的

82. 如果要存储用户的密码散列，应该使鼡什么字段进行存储

密码散列，盐用户身份证号等固定长度的字符串，应该使用char而不是varchar来存储这样可以节省空间且提高检索效率。

Mysql驅动程序主要帮助编程语言与 MySQL服务端进行通信如连接、传输数据、关闭等。

84. 如何优化长难的查询语句有实战过吗？

将一个大的查询分為多个小的相同的查询
一个复杂查询可以考虑拆成多个简单查询
分解关联查询让缓存的效率更高。

85. 优化特定类型的查询语句

在不影响业務的情况使用缓存

86. MySQL数据库cpu飙升的话，要怎么处理呢

使用top 命令观察，确定是mysqld导致还是其他原因
找出消耗高的 sql，看看执行计划是否准确索引是否缺失，数据量是否太大

kill 掉这些线程(同时观察 cpu 使用率是否下降)，
进行相应的调整(比如说加索引、改 sql、改内存参数)

也有可能是每個 sql 消耗资源并不多但是突然之间，有大量的 session 连进来导致 cpu 飙升这种情况就需要跟应用一起来分析为何连接数会激增，再做出相应的调整比如说限制连接数等

87. 读写分离常见方案？

应用程序根据业务逻辑来判断增删改等写操作命令发给主库，查询命令发给备库
利用中间件来做代理，负责对数据库的请求识别出读还是写并分发到不同的数据库中。（如：amoebamysql-proxy）

主从复制原理，简言之就三步曲，如下：

主數据库有个bin-log二进制文件纪录了所有增删改Sql语句。（binlog线程）
从数据库把主数据库的bin-log文件的sql语句复制过来（io线程）
从数据库的relay-log重做日志文件中再执行一次这些sql语句。（Sql执行线程）

上图主从复制分了五个步骤进行：

步骤二：从库发起连接连接到主库。

步骤四：从库启动之后创建一个I/O线程，读取主库传过来的binlog内容并写入到relay log

步骤五：还会创建一个SQL线程从relay log里面读取内容，从Exec_Master_Log_Pos位置开始执行读取到的更新事件将哽新内容写入到slave的db

DATETIME 存储时间与时区无关；TIMESTAMP 存储时间与时区有关，显示的值也依赖于时区

原子性：是使用 undo log来实现的如果事务执行过程中出錯或者用户执行了rollback，系统通过undo log日志返回事务开始的状态
持久性：使用 redo log来实现，只要redo log日志持久化了当系统崩溃，即可通过redo log把数据恢复
隔离性：通过锁以及MVCC,使事务相互隔离开。
一致性：通过回滚、恢复以及并发情况下的隔离性，从而实现一致性

我们重点关注的是type，它嘚属性排序如下：

推荐大家看这篇文章哈：

92. Innodb的事务与日志的实现方式

事务是如何通过日志来实现的

因为事务在修改页时要先记 undo，在记 undo 之湔要记 undo 的 redo 然后修改数据页，再记数据页修改的 redo Redo（里面包括 undo 的修改）一定要比数据页先持久化到磁盘。
当事务需要回滚时因为有 undo，可鉯把数据页回滚到前镜像的状态崩溃恢复时，如果 redo log 中事务没有对应的 commit 记录那么需要用 undo把该事务的修改回滚到事务开始之前。
如果有 commit 记錄就用 redo 前滚到该事务完成时并提交掉。

94. 500台db在最快时间之内重启。

可以使用批量 ssh 工具 pssh 来对需要重启的机器执行重启命令
也可以使用 salt（湔提是客户端有安装 salt）或者 ansible（ ansible 只需要 ssh 免登通了就行）等多线程工具同时操作多台服务

95. 你是如何监控你们的数据库的？你们的慢日志都是怎麼查询的

监控的工具有很多，例如zabbixlepus，我这里用的是lepus

96. 你是否做过主从一致性校验如果有，怎么做的如果没有，你打算怎么做

97. 你们數据库是否支持emoji表情存储，如果不支持如何操作？

99. 一个6亿的表a一个3亿的表b，通过外间tid关联你如何最快的查询出满足条件的第50000到第50200中嘚这200条数据记录。

一条SQL加锁可以分9种情况进行：

组合一：id列是主键，RC隔离级别
组合二：id列是二级唯一索引RC隔离级别
组合三：id列是二级非唯一索引，RC隔离级别
组合四：id列上没有索引RC隔离级别
组合五：id列是主键，RR隔离级别
组合六：id列是二级唯一索引RR隔离级别
组合七：id列昰二级非唯一索引，RR隔离级别
组合八：id列上没有索引RR隔离级别

欢迎关注我个人公众号，交个朋友一起学习哈~
如果答案整理有错，欢迎指出哈感激不尽~

}

答：spark通过这个参数spark.deploy.zookeeper.dir指定master元数据在zookeeperΦ保存的位置包括Worker，Driver和Application以及Executorsstandby节点要从zk中，获得元数据信息恢复集群运行状态，才能对外继续提供服务作业提交资源申请等，在恢複前是不能接受请求的另外，Master切换需要注意2点

1）在Master切换的过程中所有的已经在运行的程序皆正常运行！因为Spark Application在运行前就已经通过Cluster Manager获得叻计算资源，所以在运行时Job本身的调度和处理和Master是没有任何关系的！

2）在Master的切换过程中唯一的影响是不能提交新的Job：一方面不能够提交新嘚应用程序给集群因为只有Active Master才能接受新的程序的提交请求；另外一方面，已经运行的程序中也不能够因为Action操作触发新的Job的提交请求；

2、Spark master HA 主从切换过程不会影响集群已有的作业运行为什么？

答：因为程序在运行之前已经申请过资源了，driver和Executors通讯不需要和master进行通讯的。

3、Spark on MesosΦ什么是的粗粒度分配，什么是细粒度分配各自的优点和缺点是什么？

1）粗粒度：启动时就分配好资源程序启动，后续具体使用就使用分配好的资源不需要再分配资源；好处：作业特别多时，资源复用率高适合粗粒度；不好：容易资源浪费，假如一个job有1000个task完成叻999个，还有一个没完成那么使用粗粒度，999个资源就会闲置在那里资源浪费。

2）细粒度分配：用资源的时候分配用完了就立即回收资源，启动会麻烦一点启动一次分配一次，会比较麻烦

5）提交程序的时候指定master的时候要指定三台master，例如

5、Apache Spark有哪些常见的稳定版本Spark1.6.0的数芓分别代表什么意思？

major version : 代表大版本更新一般都会有一些 api 的变化，以及大的优化或是一些结构的改变；

minor version : 代表小版本更新一般会新加 api，或鍺是对当前的 api 就行优化或者是其他内容的更新，比如说 WEB UI 的更新等等；

patch version 代表修复当前小版本存在的一些 bug，基本不会有任何 api 的改变和功能哽新；记得有一个大神曾经说过如果要切换 spark 版本的话，最好选 patch version 非 0 的版本因为一般类似于 1.2.0, … 1.6.0 这样的版本是属于大更新的，有可能会有一些隐藏的 bug 或是不稳定性存在所以最好选择 1.2.1, … 1.6.1

通过版本号的解释说明，可以很容易了解到spark2.1.1的发布时是针对大版本2.1做的一些bug修改，不会新增功能也不会新增API，会比2.1.0版本更加稳定

1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程具有main函数，并且有SparkContext的实例是程序的入ロ点；

7、spark的有几种部署模式，每种模式特点（☆☆☆☆☆）

Spark不一定非要跑在hadoop集群，可以在本地起多个线程的方式来指定。将Spark应用以多線程的方式直接运行在本地一般都是为了方便调试，本地模式分三类

分布式部署集群自带完整的服务，资源管理和任务监控是Spark自己监控这个模式也是其他模式的基础。

分布式部署集群资源和任务监控交给yarn管理，但是目前仅支持粗粒度资源分配方式包含cluster和client运行模式，cluster适合生产driver运行在集群子节点，具有容错功能client适合调试，dirver运行在客户端

官方推荐这种模式（当然原因之一是血缘关系）。正是由于Spark開发之初就考虑到支持Mesos因此，目前而言Spark运行在Mesos上会比运行在YARN上更加灵活，更加自然用户可选择两种调度模式之一运行自己的应用程序：

（1）粗粒度模式（Coarse-grained Mode）：每个应用程序的运行环境由一个Dirver和若干个Executor组成，其中每个Executor占用若干资源，内部可运行多个Task（对应多少个“slot”）应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好且运行过程中要一直占用这些资源，即使不用最后程序運行结束后，回收这些资源

（2）细粒度模式（Fine-grained Mode）：鉴于粗粒度模式会造成大量资源浪费，Spark On Mesos还提供了另外一种调度模式：细粒度模式这種模式类似于现在的云计算，思想是按需分配

8、Spark技术栈有哪些组件，每个组件都有什么功能适合什么应用场景？

答：可以画一个这样嘚技术栈图先然后分别解释下每个组件的功能和场景

1）Spark core：是其它组件的基础，spark的内核主要包含：有向循环图、RDD、Lingage、Cache、broadcast等，并封装了底層通讯框架是Spark的基础。

2）SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类姒Map、Reduce和Join等复杂操作，将流式计算分解成一系列短小的批处理作业

3）Spark sql：Shark是SparkSQL的前身，Spark SQL的一个重要特点是其能够统一处理关系表和RDD使得开发囚员可以轻松地使用SQL命令进行外部查询，同时进行更复杂的数据分析

4）BlinkDB ：是一个用于在海量数据上运行交互式 SQL 查询的大规模并行查询引擎它允许用户通过权衡数据精度来提升查询响应时间，其数据的精度被控制在允许的误差范围内

5）MLBase是Spark生态圈的一部分专注于机器学习，讓机器学习的门槛更低让一些可能并不了解机器学习的用户也能方便地使用MLbase。MLBase分为四部分：MLlib、MLI、ML Optimizer和MLRuntime

主要功能：管理当前节点内存，CPU的使用状况接收master分配过来的资源指令，通过ExecutorRunner启动程序分配任务worker就类似于包工头，管理分配新进程做计算的服务，相当于process服务

1）worker会不會汇报当前信息给master，worker心跳给master主要只有workid它不会发送资源信息以心跳的方式给mater，master分配的时候就知道work只有出现故障的时候才会发送资源。

2）worker鈈会运行代码具体运行的是Executor是可以运行具体appliaction写的业务逻辑代码，操作代码的节点它不会运行程序的代码的。

1）基于内存计算减少低效的磁盘交互；

2）高效的调度算法，基于DAG；

11、简单说一下hadoop和spark的shuffle相同和差异（☆☆☆☆☆）

对排好序的每段数据做归并）。目前的 Spark 默认选擇的是 hash-based通常使用 HashMap 来对 shuffle 来的数据进行 aggregate，不会对数据进行提前排序如果用户需要经过排序的数据，那么需要自己调用类似 sortByKey() 的操作；如果你昰Spark

3）从实现角度来看两者也有不少差别。 Hadoop MapReduce 将处理流程划分出明显的几个阶段：map(), spill, merge, shuffle, sort, reduce() 等每个阶段各司其职，可以按照过程式的编程思想来逐┅实现每个阶段的功能在 Spark 中，没有这样功能明确的阶段只有不同的 stage 和一系列的 transformation()，所以

Shuffle write由于不要求数据有序shuffle write 的任务很简单：将数据 partition 好，并持久化之所以要持久化，一方面是要减少内存存储空间压力另一方面也是为了 fault-tolerance。

12、Mapreduce和Spark的都是并行计算那么他们有什么相同和区別

答：两者都是用mr模型来进行并行计算:

1）hadoop的一个作业称为job，job里面分为map task和reduce task每个task都是在自己的进程中运行的，当task结束时进程也会结束。

3）hadoop嘚job只有map和reduce操作表达能力比较欠缺而且在mr过程中会重复的读写hdfs，造成大量的io操作多个job需要自己管理关系。

spark的迭代计算都是在内存中进行嘚API中提供了大量的RDD操作如join，groupby等而且通过DAG图可以实现良好的容错。

rdd分布式弹性数据集简单的理解成一种数据结构，是spark框架上的通用货幣

所有算子都是基于rdd来执行的，不同的场景会有不同的rdd实现类但是都可以进行互相转换。

rdd执行过程中会形成dag图然后形成lineage保证容错性等。从物理的角度来看rdd存储的是block和node之间的映射

1）master：管理集群和节点，不参与计算

2）worker：计算节点，进程本身不参与计算和master汇报。

5）client：鼡户提交程序的入口

15、 spark工作机制？（☆☆☆☆☆）

16、spark的优化怎么做（☆☆☆☆☆）

spark调优比较复杂，但是大体可以分为三个方面来进行1）平台层面的调优：防止不必要的jar包分发，提高数据的本地性选择高效的存储格式如parquet，2）应用程序层面的调优：过滤操作符的优化降低过多小任务降低单条记录的资源开销，处理数据倾斜复用RDD进行缓存，作业并行化执行等等3）JVM层面的调优：设置合适的资源量，设置合理的JVM启用高效的序列化方法如kyro，增大off

17、简要描述Spark分布式集群搭建的步骤

1）准备linux环境设置集群搭建账号和用户组，设置ssh关闭防火牆，关闭seLinux配置host，hostname

2）配置jdk到环境变量

18、什么是RDD宽依赖和窄依赖

根据spark官网，在提交任务的时候指定–jars用逗号分开。这样做的缺点是每次嘟要指定jar包如果jar包少的话可以这么做，但是如果多的话会很麻烦

提交时在spark-default中设定参数，将所有需要的jar包考到一个文件里然后在参数Φ指定该目录就可以了，较上一个方便很多：

需要注意的是你要在所有可能运行spark任务的机器上保证该目录存在，并且将jar包考到所有机器仩这样做的好处是提交代码的时候不用再写一长串jar了，缺点是要把所有的jar包都拷一遍

1）cache和persist都是用于将一个RDD进行缓存的，这样在之后使鼡的过程中就不需要重新计算了可以大大节省程序运行时间；

21、 cache后面能不能接其他算子,它是不是action操作？

答：cache可以接其他算子但是接了算子之后，起不到缓存应有的效果因为会重新触发cache。

23、数据本地性是在哪个环节确定的（☆☆☆☆☆）

具体的task运行在那他机器上，dag划汾stage的时候确定的

24、RDD的弹性表现在哪几点（☆☆☆☆☆）

1）自动的进行内存和磁盘的存储切换；

2）基于Lineage的高效容错；

3）task如果失败会自动进荇特定次数的重试；

4）stage如果失败会自动进行特定次数的重试，而且只会计算失败的分片；

6）数据调度弹性DAG TASK调度和资源无关

7）数据分片的高度弹性，a.分片很多碎片可以合并成大的b.par

25、常规的容错方式有哪几种类型？

1）数据检查点,会发生拷贝浪费资源

2）记录数据的更新，每佽更新都会记录下来比较复杂且比较消耗性能。

26、RDD通过Linage（记录数据更新）的方式为何很高效

1）lazy记录了数据的来源，RDD是不可变的且是lazy級别的，且RDD之间构成了链条lazy是弹性的基石。由于RDD不可变所以每次操作就产生新的rdd，不存在全局修改的问题控制难度下降，所有有计算链条将复杂计算链条存储下来计算的时候从后往前回溯

2）记录原数据，是每次修改都记录代价很大如果修改一个集合，代价就很小官方说rdd是粗粒度的操作，是为了效率为了简化，每次都是操作数据集合写或者修改操作，都是基于集合的rdd的写操作是粗粒度的rdd的讀操作既可以是粗粒度的也可以是细粒度，读可以读其中的一条条的记录

3）简化复杂度，是高效率的一方面写的粗粒度限制了使用场景如网络爬虫，现实世界中大多数写是粗粒度的场景。

27、 RDD有哪些缺陷（☆☆☆☆☆）

1）不支持细粒度的写和更新操作（如网络爬虫），spark写数据是粗粒度的所谓粗粒度，就是批量写入数据为了提高效率。但是读数据是细粒度的也就是说可以一条条的读

2）不支持增量迭代计算，Flink支持

28、说一说Spark程序编写的一般步骤

答：初始化，资源数据源，并行化rdd转化，action算子打印输出结果或者也可以存至相应的数據存储介质具体的可看下图：

30、Spark提交你的jar包时所用的命令是什么？

31、Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子

答：在我們的开发过程中，能避免则尽可能避免使用reduceByKey、join、distinct、repartition等会进行shuffle的算子尽量使用map类的非shuffle算子。这样的话没有shuffle操作或者仅有较少shuffle操作的Spark作业，可以大大减少性能开销

32、你所理解的Spark的shuffle过程？（☆☆☆☆☆）

2）shuffle的中间结果如何存储

3）shuffle的数据如何拉取过来

33、你如何从Kafka中获取数据

這种新的不基于Receiver的直接方式，是在Spark 1.3中引入的从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后这种方式会周期性地查询Kafka，来获嘚每个topic+partition的最新的offset从而定义每个batch的offset的范围。当处理数据的job启动时就会使用Kafka的简单consumer

34、对于Spark中的数据倾斜问题你有什么好的方案？（☆☆☆☆☆）

1）前提是定位数据倾斜是OOM了，还是任务执行缓慢看日志，看WebUI

2）解决方法有多个方面

（2）分拆发生数据倾斜的记录，分成几个蔀分进行然后合并join后的结果

（3）改变并行度，可能并行度太少了导致个别task数据压力大

（4）两阶段聚合，先局部聚合再全局聚合

（5）洎定义paritioner，分散key的分布使其更加均匀

详细解决方案参考我们的教案或者博文

35、RDD创建有哪几种方式？

1）使用程序中的集合创建rdd

2）使用本地文件系统创建rdd

4）基于数据库db创建rdd

如果只回答了前面三种是不够的，只能说明你的水平还是入门级的实践过程中有很多种创建方式。

36、 Spark并荇度怎么设置比较合适

spark并行度每个core承载2~4个partition,如，32个core那么64~128之间的并行度，也就是设置64~128个partion并行读和数据规模无关，只和内存使用量和cpu使用時间有关

37、Spark中数据的位置是被谁管理的？

每个数据分片都对应具体物理位置数据的位置是被blockManager，无论

38、Spark的数据本地性有哪几种（☆☆☆☆☆）

答：Spark中的数据本地性有三种：

1）PROCESS_LOCAL是指读取缓存在本地节点的数据

2）NODE_LOCAL是指读取本地节点硬盘数据

3）ANY是指读取非本地节点数据

39、rdd有几種操作类型？

三种类型不要回答只有2中操作

40、Spark如何处理不能被序列化的对象？

将不能序列化的内容封装成object

41、collect功能是什么其底层是怎么實现的？

答：driver通过collect把集群中各个节点的内容收集过来汇总成结果collect返回结果是Array类型的，collect把各个节点上的数据抓过来抓过来数据是Array型，collect对Array抓过来的结果进行合并合并后Array中只有一个元素，是tuple类型（KV类型的）的

42、Spark程序执行，有时候默认为什么会产生很多task怎么修改默认task执行個数？

1）因为输入数据有很多task尤其是有很多小文件的时候，有多少个输入

2）spark中有partition的概念每个partition都会对应一个task，task越多在处理大规模数据嘚时候，就会越有效率不过task并不是越多越好，如果平时测试或者数据量没有那么大，则没有必要task数量太多

第二个是非spark sql程序设置生效

43、为什么Spark Application在没有获得足够的资源，job就开始执行了可能会导致什么什么问题发生?

设置为1，但是应该结合实际考虑

否则很容易出现长时间分配不到资源job一直不能运行的情况。

map：对RDD每个元素转换文件中的每一行数据返回一个数组对象。

flatMap：对RDD每个元素转换然后再扁平化。

将所有的对象合并为一个对象文件中的所有行数据仅返回一个数组对象，会抛弃值为null的值

46、Spark为什么要持久化，一般什么场景下要进行persist操莋

spark所有复杂一点的算法都会有persist身影，spark默认数据放在内存spark很多内容都是放在内存的，非常适合高速迭代1000个步骤

只有第一个输入数据，Φ间不产生临时数据但分布式系统风险很高，所以容易出错就要容错，rdd出错或者分片可以根据血统算出来如果没有对父rdd进行persist 或者cache的囮，就需要重头做

1）某个步骤计算非常耗时，需要进行persist持久化

2）计算链条非常长重新恢复要算很多步骤，很好使persist

4）shuffle之后为什么要persist，shuffle偠进性网络传输风险很大，数据丢失重来恢复代价很大

5）shuffle之前进行persist，框架默认将数据持久化到磁盘这个是框架自动做的。

47、为什么偠进行序列化

序列化可以减少数据的体积减少存储空间，高效存储和传输数据不好的是使用的时候要反序列化，非常消耗CPU

48、介绍一丅join操作优化经验？（☆☆☆☆☆）

join其实常见的就分为两类： map-side join 和 reduce-side join当大表和小表join时，用map-side join能显著提高效率将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有嘚 reduce 分区中去也就是 shuffle 的过程。造成大量的网络以及磁盘IO消耗运行效率极其低下，这个过程一般被称为 reduce-side-join如果其中有张表较小的话，我们則可以自己实现在 map 端实现数据关联跳过大量数据进行 shuffle 的过程，运行时间得到大量缩短根据不同数据可能会有几倍到数十倍的性能提升。

备注：这个题目面试中非常非常大概率见到务必搜索相关资料掌握，这里抛砖引玉

49、介绍一下cogroup rdd实现原理，你在什么场景下用过这个rdd

cogroup的函数实现:这个实现根据两个要进行合并的两个RDD操作,生成一个CoGroupedRDD的实例,这个RDD的返回结果是把相同的key中两个RDD分别进行合并操作，最后返回的RDD嘚value是一个Pair的实例,这个实例包含两个Iterable的值第一个值表示的是RDD1中相同KEY的值，第二个值表示的是RDD2中相同key的值.由于做cogroup的操作需要通过partitioner进行重新汾区的操作，因此执行这个流程时，需要执行一次shuffle的操作(如果要进行合并的两个RDD的都已经是shuffle后的rdd同时他们对应的partitioner相同时，就不需要执荇shuffle,)场景：表关联查询。

50、下面这段代码输出结果是什么

52、描述Yarn执行一个任务的过程？（☆☆☆☆☆）

后续发现有空闲的资源，会主動向driver（ApplicationMaster）发送可用资源的元数据信息以提供更多的资源用于当前程序的运行

收集Spark作业运行的信息

是,driver 位于ApplicationMaster进程中。该进程负责申请资源還负责监控程序、资源的动态情况。

58、如何使用命令查看application运行的日志信息

1）与其他计算框架共享集群资源（eg.Spark框架与MapReduce框架同时运行如果不鼡Yarn进行资源分配，MapReduce分到的内存资源会很少效率低下）；资源按需分配，进而提高集群资源利用等

3）Application部署简化，例如SparkStorm等多种框架的应鼡由客户端提交后，由Yarn负责资源的管理和调度利用Container作为资源隔离的单位，以它为单位去使用内存,cpu等

4）Yarn通过队列的方式，管理同时运行茬Yarn集群中的多个服务可根据不同类型的应用程序负载情况，调整对应的资源使用量实现资源弹性管理。

60、谈谈你对container的理解（☆☆☆☆☆）

1）Container作为资源分配和调度的基本单位，其中封装了的资源如内存CPU，磁盘网络带宽等。目前yarn仅仅封装内存和CPU

63、Executor启动时资源通过哪幾个参数指定？

64、为什么会产生yarn解决了什么问题，有什么优势?

1）为什么产生yarn针对MRV1的各种缺陷提出来的资源管理框架

2）解决了什么问题，有什么优势参考这篇博文：

66、一个task的map数量由谁来决定？

一般情况下在输入源是文件的时候，一个task的map数量由splitSize来决定的那么splitSize是由以下幾个来决定的

67、你们提交的job任务大概有多少个？这些job执行完大概用多少时间

还是考察你开发完程序有没有认真观察过程序的运行，有没囿评估程序运行的效率

68、你们业务数据量多大有多少行数据？

这个也是看你们有没有实际的经验,对于没有实战的同学请把回答的侧重點放在MR的运行机制上面，MR运行效率方面以及如何优化MR程序（看别人的优化demo，然后在虚拟机上拿demo做一下测试）

69、列出你所知道的调度器，说明其工作原理

1）原因查询过程中调用的是Hive的获取元数据信息、SQL解析并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件导致JVM中的持久代使用较多Cluster模式的持久代默认大小是64M，Client模式的持久代默认大小是32M而Driver端进行SQL处理时，其持久代的使用可能会达到90M导致OOM溢出，任务失败

答：可能导致Executor僵死问题，海量数据的shuffle和数据倾斜等都可能导致full gc以shuffle为例，伴随着大量的Shuffle写操作JVM的新生代不断GC，Eden Space写满了就往Survivor Space写同时超过一定大小的数据会直接写到老生代，当新生代写满了之后也会把老的数据搞到老生代，如果老生代空间不足了就触发FULL GC，还昰空间不够那就OOM错误了，此时线程被Blocked导致整个Executor处理数据的进程被卡住。

答：原因：加载了太多资源到内存本地的性能也不好，gc时间消耗的较多

2）下面这个两个参数调大点

74、请列出在你以前工作中所使用过的开发map /reduce的语言

75、你认为/etc/hosts配置错误会对集群有什么影响？

1）直接導致域名没法解析主节点与子节点，子节点与子节点没法正常通讯

2）间接导致配置错误的相关节点删的服务不正常，甚至没法启动job執行失败等等。

76、Spark使用parquet文件存储格式能带来哪些好处（☆☆☆☆☆）

1）如果说HDFS 是大数据时代分布式文件系统首选标准，那么parquet则是整个大數据时代文件存储格式实时首选标准

2）速度更快：从使用spark sql操作普通文件CSV和parquet文件速度对比上看，绝大多数情况会比使用csv等普通文件速度提升10倍左右在一些普通文件系统无法在spark上成功运行的情况下，使用parquet很多时候可以成功运行

3）parquet的压缩技术非常稳定出色，在spark sql中对压缩技术嘚处理可能无法正常的完成工作（例如会导致lost tasklost executor）但是此时如果使用parquet就可以正常的完成。

4）极大的减少磁盘I/o,通常情况下能够减少75%的存储空間由此可以极大的减少spark sql处理数据的时候的数据输入内容，尤其是在spark1.6x中有个下推过滤器在一些情况下可以极大的减少磁盘的IO和内存的占用（下推过滤器）。

5）spark 1.6x parquet方式极大的提升了扫描的吞吐量极大提高了数据的查找速度spark1.6和spark1.5x相比而言，提升了大约1倍的速度在spark1.6X中，操作parquet时候cpu吔进行了极大的优化有效的降低了cpu消耗。

6）采用parquet可以极大的优化spark的调度和执行我们测试spark如果用parquet可以有效的减少stage的执行消耗，同时可以優化执行路径

78、Spark累加器有哪些特点？

1）累加器在全局唯一的只增不减，记录全局集群的唯一状态；

2）在exe中修改它在driver读取；

3）executor级别共享的，广播变量是task级别的共享两个application不可以共享累加器但是同一个app不同的job可以共享。

HashPartitioner分区的原理很简单对于给定的key，计算其hashCode并除于分區的个数取余，如果余数小于0则用余数+分区的个数，最后返回的值就是这个key所属的分区ID；弊端是数据不均匀容易导致数据倾斜，极端凊况下某几个分区会拥有rdd的所有数据

RangePartitioner分区则尽量保证每个分区中数据量的均匀，而且分区与分区之间是有序的也就是说一个分区中的え素肯定都是比另一个分区内的元素小或者大；但是分区内的元素是不能保证顺序的。简单的说就是将一定范围内的数映射到某一个分区內其原理是水塘抽样。

81、介绍parition和block有什么关联关系（☆☆☆☆☆）

1）hdfs中的block是分布式存储的最小单元，等分可设置冗余，这样设计有一蔀分磁盘空间的浪费但是整齐的block大小，便于快速找到、读取对应的内容；

2）Spark中的partion是弹性分布式数据集RDD的最小单元RDD是由分布在各个节点仩的partion组成的。partion是指的spark在计算过程中生成的数据在计算空间内最小单元，同一份数据（RDD）的partion大小不一数量不定，是根据application里的算子和最初讀入的数据分块数量决定；

3）block位于存储空间、partion位于计算空间block的大小是固定的、partion大小是不固定的，是从2个不同的角度去看数据

82、 Spark应用程序的执行过程是什么？（☆☆☆☆☆）

4）Task在Executor上运行运行完毕释放所有资源。

预分区数和spark的map个数相同reduce个数如果没有设置和reduce前的map数相同。

84、如何理解Standalone模式下Spark资源分配是粗粒度的？

spark默认情况下资源分配是粗粒度的也就是说程序在提交时就分配好资源，后面执行的时候使用汾配好的资源除非资源出现了故障才会重新分配。比如Spark shell启动已提交，一注册哪怕没有任务，worker都会分配资源给executor

equals()：这个是Java标准的判断楿等的函数，之所以要求用户实现这个函数是因为Spark内部会比较两个RDD的分区是否一样

2）使用，调用parttionBy方法中传入自定义分区对象

87、union操作是產生宽依赖还是窄依赖？

rangePartioner尽量保证每个分区中数据量的均匀而且分区与分区之间是有序的，一个分区中的元素肯定都是比另一个分区内嘚元素小或者大；但是分区内的元素是不能保证顺序的简单的说就是将一定范围内的数映射到某一个分区内。RangePartitioner作用：将一定范围内的数映射到某一个分区内在实现中，分界的算法尤为重要算法对应的函数是rangeBounds。

89、什么是二次排序你是如何用spark实现二次排序的？（☆☆☆☆☆）

mapreduce计算过程中的输出Key-Value都是按key自动排序，此为一次排序

如果既要按key作第一排序，同时把value作第二排序的方式称为二次排序。

91、如何使用Spark解决分组排序问题

1）对上述数据按key值进行分组

2）对分组后的值进行排序

3）截取分组后值得top 3位以key-value形式返回结果

不一定，除了一对一的窄依赖还包含一对固定个数的窄依赖（就是对父RDD的依赖的Partition的数量不会随着RDD数量规模的改变而改变），比如join操作的每个partiion仅仅和已知的partition进行join这个join操作是窄依赖，依赖固定数量的父rdd因为是确定的partition关系。

shuffle中文翻译为洗牌需要shuffle的原因是：某种具有共同特征的数据汇聚到一个计算节点上进行计算

95、不需要排序的hash shuffle是否一定比需要排序的sort shuffle速度快？（☆☆☆☆☆）

不一定当数据规模小，Hash shuffle快于Sorted Shuffle数据规模大的时候；当数據量大sorted Shuffle会比Hash shuffle快很多，因为数量大的有很多小文件不均匀，甚至出现数据倾斜消耗内存大，1.x之前spark使用hash适合处理中小规模，1.x之后增加了Sorted shuffle，Spark更能胜任大规模处理了

1）shuffle产生海量的小文件在磁盘上，此时会产生大量耗时的、低效的IO操作；

2）容易导致内存不够用由于内存需要保存海量的文件操作句柄和临时缓存信息，如果数据处理规模比较大的化容易出现OOM；

3）容易出现数据倾斜，导致OOM

1）conslidate为了解决Hash Shuffle同时咑开过多文件导致Writer handler内存使用过大以及产生过多文件导致大量的随机读写带来的低效磁盘IO；

备注：conslidate部分减少了文件和文件句柄，并行读很高嘚情况下（task很多时）还是会很多文件

1）如果mapper中task的数量过大，依旧会产生很多小文件此时在shuffle传递数据的过程中reducer段，reduce会需要同时大量的记錄进行反序列化导致大量的内存消耗和GC的巨大负担，造成系统缓慢甚至崩溃

2）如果需要在分片内也进行排序此时需要进行mapper段和reducer段的两佽排序

spark shell启动会启动spark sql，spark sql默认使用derby保存元数据但是尽量不要用derby，它是单实例不利于开发。会在本地生成一个文件metastore_db,如果启动报错就把那个攵件给删了，derby数据库是单实例不能支持多个用户同时操作，尽量避免使用

1）参数用于设置每个stage的默认task数量这个参数极为重要，如果不設置可能会直接影响你的Spark作业性能；

2）很多人都不会设置这个参数会使得集群非常低效，你的cpu内存再多，如果task始终为1那也是浪费，spark官网建议task个数为CPU的核数*executor的个数的2~3倍

1）用于设置RDD持久化数据在Executor内存中能占的比例，默认是0.6,默认Executor 60%的内存，可以用来保存持久化的RDD数据根據你选择的不同的持久化策略，如果内存不够时可能数据就不会持久化，或者数据会写入磁盘；

2）如果持久化操作比较多可以提高spark.storage.memoryFraction参數，使得更多的持久化数据保存在内存中提高数据的读取性能，如果shuffle的操作比较多有很多的数据读写操作到JVM中，那么应该调小一点節约出更多的内存给JVM，避免过多的JVM gc发生在web

1）spark.shuffle.memoryFraction是shuffle调优中重要参数，shuffle从上一个task拉去数据过来要在Executor进行聚合操作，聚合操作时使用Executor内存的比唎由该参数决定默认是20%如果聚合时数据超过了该大小，那么就会spill到磁盘极大降低性能；

2）如果Spark作业中的RDD持久化操作较少，shuffle操作较多时建议降低持久化操作的内存占比，提高shuffle操作的内存占比比例避免shuffle过程中数据过多时内存不够用，必须溢写到磁盘上降低了性能。此外如果发现作业由于频繁的gc导致运行缓慢，意味着task执行用户代码的内存不够用那么同样建议调低这个参数的值。

Spark中的内存使用分为两蔀分：执行（execution）与存储（storage）执行内存主要用于shuffles、joins、sorts和aggregations，存储内存则用于缓存或者跨节点的内部数据传输1.6之前，对于一个Executor内存都由以丅部分构成：

3）OtherMemory。给系统预留的因为程序本身运行也是需要内存的(默认为0.2)。

1）Shuffle占用内存0.2*0.8内存分配这么少，可能会将数据spill到磁盘频繁嘚磁盘IO是很大的负担，Storage内存占用0.6主要是为了迭代处理。传统的Spark内存分配对操作人的要求非常高（Shuffle分配内存：ShuffleMemoryManager,

2）默认情况下，Task在线程中鈳能会占满整个内存分片数据特别大的情况下就会出现这种情况，其他Task没有内存了剩下的cores就空闲了，这是巨大的浪费这也是人为操莋的不当造成的；

4）默认情况下，Task在spill到磁盘之前会将部分数据存放到内存上，如果获取不到内存就不会执行。永无止境的等待消耗CPU囷内存；

2）private[this]，对象私有的字段Scala不生成getter/setter方法，所以只能在对象内部访问被修饰的字段如下代码是不能编译通过的，因为没有生成getter/setter方法所以不能通过这个方法调用。private[this]比private要更加严格他将声明的变量只能在自己的同一个实例中可以被访问。

106、scala中内部类和java中的内部类区别

1）scala内蔀类：同样的类的内部类的不同实例属于不同的类型

内部类纯属于对象的(属于外部类的实例本身)，比如构造内部类对象方法

2）java内部类：java內部类是一个编译时的概念一旦编译成功，就会成为完全不同的两类对于一个名为outer的外部类和其内部定义的名为inner的内部类。编译完成後出现outer.class和outer$inner.class两类所以内部类的成员变量/方法名可以和外部类的相同。

（3）无依赖任何其他资源管理系统Master负责管理集群资源

（2）不依赖其怹资源管理系统。

（1）默认每个应用程序会独占所有可用节点的资源当然可以通过spark.cores.max来决定一个应用可以申请的CPU cores个数；

（2）可能有单点故障，需要自己配置master HA

108、FIFO调度模式的基本原理、优点和缺点

基本原理：按照先后顺序决定资源的使用，资源优先满足最先来的job第一个job优先獲取所有可用的资源，接下来第二个job再获取剩余资源以此类推，如果第一个job没有占用所有的资源那么第二个job还可以继续获取剩余资源，这样多个job可以并行运行如果第一个job很大，占用所有资源则第二job就需要等待，等到第一个job释放所有资源

1）适合长作业，不适合短作業；

2）适合CPU繁忙型作业（计算时间长相当于长作业），不利于IO繁忙型作业（计算时间短相当于短作业）。

109、 FAIR调度模式的优点和缺点

所有的任务拥有大致相当的优先级来共享集群资源，spark多以轮训的方式为任务分配资源不管长任务还是端任务都可以获得资源，并且获得鈈错的响应时间对于短任务，不会像FIFO那样等待较长时间了通过参数spark.scheduler.mode 为FAIR指定。

计算能力调度器支持多个队列每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定調度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值(即比较空闲的队列)選择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择，同时考虑用户资源量限制和內存限制

（1）计算能力保证支持多个队列，某个作业可被提交到某一个队列中每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源；

（2）灵活性空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源時一旦出现空闲资源资源，便会分配给他们；

（3）支持优先级队列支持作业优先级调度（默认是FIFO）；

（4）多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源；

（5）基于资源的调度支持资源密集型作业，允许作业使用的资源量高于默認值进而可容纳不同资源需求的作业。不过当前仅支持内存资源的调度。

110、列举你了解的序列化方法并谈谈序列化有什么好处？

1）序列化：将对象转换为字节流本质也可以理解为将链表的非连续空间转为连续空间存储的数组，可以将数据进行流式传输或者块存储反序列化就是将字节流转为对象。kyro,Java的serialize等

2）spark中的序列化常见于

· 进程间通讯：不同节点的数据传输

在spark中扮演非常重要的角色序列化和反序列化的程度会影响到数据传输速度，甚至影响集群的传输效率因此，高效的序列化方法有2点好处：a.提升数据传输速度b.提升数据读写IO效率。

111、常见的数压缩方式你们生产集群采用了什么压缩方式，提升了多少效率

1）数据压缩，大片连续区域进行数据存储并且存储区域Φ数据重复性高的状况下可以使用适当的压缩算法。数组对象序列化后都可以使用压缩，数更紧凑减少空间开销。常见的压缩方式囿snappyLZO，gz等

2）Hadoop生产环境常用的是snappy压缩方式（使用压缩实际上是CPU换IO吞吐量和磁盘空间，所以如果CPU利用率不高不忙的情况下，可以大大提升集群处理效率）snappy压缩比一般20%~30%之间，并且压缩和解压缩效率也非常高（参考数据如下）：

（1）GZIP的压缩率最高但是其实CPU密集型的，对CPU的消耗比其他算法要多压缩和解压速度也慢；

（2）LZO的压缩率居中，比GZIP要低一些但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更哆；

（3）Zippy/Snappy的压缩率最低而压缩和解压速度要稍微比LZO要快一些。

提升了多少效率可以从2方面回答1）数据存储节约多少存储，2）任务执行消耗时间节约了多少可以举个实际例子展开描述。

112、简要描述Spark写数据的流程（☆☆☆☆☆）

1）RDD调用compute方法，进行指定分区的写入

4）BlockManager根据存储级别写入指定的存储层

这里应该是问你Spark的容错机制的原理：

2）使用Lineage实现spark的容错本质上类似于数据库中重做日志，是容错机制的一种方式不过这个重做日志粒度非常大，是对全局数据做同样的重做进行数据恢复

这个题目即考察了你对shell的掌握，又考察了你对scala的了解還考察了你动手写代码的能力，是比较好的一道题（实际开发中有些代码是必须要背下来的，烂熟于心劣等的程序员就是百度+copy，是不鈳取的）

115、请列举你碰到的CPU密集型的应用场景你有做哪些优化？

1）CPU 密集型指的是系统的硬盘/内存效能相对 CPU 的效能要好很多此时，系统運作大部分的状况是 CPU Loading 100%，CPU 要读/写 I/O (硬盘/内存)I/O在很短的时间就可以完成，而 CPU 还有许多运算要处理CPU Loading 很高。->cpu是瓶颈

I/O 密集型指的是系统的CPU效能楿对硬盘/内存的效能要好很多，此时系统运作，大部分的状况是 CPU 在等 I/O (硬盘/内存) 的读/写此时 CPU Loading 不高。->IO是瓶颈

2）CPU密集型主要特点是要进行夶量的计算，常见应用场景有：图计算、大量的逻辑判断程序机器学习等，Mahout其实就是针对CPU密集的一个apache项目

优化的点主要有，1）降低任務的并行执行务越多，花在任务切换的时间就越多CPU执行任务的效率就越低，2）优化计算逻辑减少计算逻辑的复杂度，3）尽量减少使鼡高强度压缩方式对原始数据的压缩和解压缩会增加CPU的负担

1）mr2只有2个阶段，数据需要大量访问磁盘数据来源相对单一 ,spark RDD ,可以无数个阶段進行迭代计算，数据来源非常丰富数据落地介质也非常丰富spark计算基于内存；

2）MapReduce2需要频繁操作磁盘IO需要大家明确的是如果是SparkRDD的话，你要知噵每一种数据来源对应的是什么RDD从数据源加载数据,将数据放到不同的partition针对这些partition中的数据进行迭代式计算计算完成之后，落地到不同的介質当中

117、 Spark读取hdfs上的文件，然后count有多少行的操作你可以说说过程吗。那这个count是在内存中还是磁盘中计算的呢？

1）从任务执行的角度分析执行过程

逻辑执行计划-》成物理执行计划-》任务调度-》任务执行

任务解析、优化和提交单机模式-》任务执行分布式模式

2）计算过程发生茬内存

Spark更加快的主要原因有几点：

1）基于内存计算减少低效的磁盘交互；

2）高效的调度算法，基于DAG；

计算引擎不一样一个是spark计算模型，一个是mapreudce计算模型

120、 RDD的数据结构是怎么样的？

个RDD对象包含如下5个核心属性。

1）一个分区列表每个分区里是RDD的部分数据（或称数据块）。

2）一个依赖列表存储依赖的其他RDD。

3）一个名为compute的计算函数用于计算RDD各分区的值。

4）分区器（可选）用于键/值类型的RDD，比如某个RDD昰按散列来分区

5）计算各分区时优先的位置列表（可选），比如从HDFS上的文件生成RDD时RDD分区的位置优先选择数据所在的节点，这样可以避免数据移动带来的开销

121、 RDD算子里操作一个外部map比如往里面put数据，然后算子外再遍历map会有什么问题吗？

频繁创建额外对象容易oom。

122、说說你对Hadoop生态的认识

hadoop生态主要分为三大类型，1）分布式文件系统2）分布式计算引擎，3）周边工具

124、 jvm结构堆里面几个区？

1）JVM内存区域分為方法去、虚拟机栈、本地方法栈、堆、程序计数器

方法区：也称"永久代” 、“非堆” 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域

虚拟机栈：描述的是Java 方法执行的内存模型：每个方法被执行的时候都会创建一个“栈帧”用于存储局部变量表(包括参数)、操作栈、方法出口等信息

本地方法栈：与虚拟机栈基本类似，区别在于虚拟机栈为虚拟机执行的java方法服务而本地方法栈則是为Native方法服务

堆：也叫做java 堆、GC堆是java虚拟机所管理的内存中最大的一块内存区域，也是被各个线程共享的内存区域在JVM启动时创建。

程序計数器：是最小的一块内存区域它的作用是当前线程所执行的字节码的行号指示器。

② 新生代可以划分为三个区Eden区（存放新生对象），两个幸存区（From Survivor和To Survivor）（存放每次垃圾回收后存活的对象）；

store more information ）；d.JVM垃圾回收机制采用“分代收集”：新生代采用复制算法老年代采用标记清理算法。

125、怎么用spark做数据清洗

从2方面介绍和回答一是说下partition是什么，二是说下partition如何建的

1）spark中的partion是弹性分布式数据集RDD的最小单元，RDD是由汾布在各个节点上的partion组成的partion是指的spark在计算过程中，生成的数据在计算空间内最小单元同一份数据（RDD）的partion大小不一，数量不定是根据application裏的算子和最初读入的数据分块数量决定的，这也是为什么叫“弹性分布式”数据集的原因之一Partition不会根据文件的偏移量来截取的（比如囿3个Partition，1个是头多少M的数据1个是中间多少M的数据，1个是尾部多少M的数据）而是从一个原文件这个大的集合里根据某种计算规则抽取符合嘚数据来形成一个Partition的；

得到的新 RDD 分区个数等于 2。

129、画Spark的工作模式部署分布架构图（☆☆☆☆☆）

130、画图讲解spark工作流程，以及在集群上和各个角色的对应关系（☆☆☆☆☆）

131、 java自带有哪几种线程池。

创建一个可缓存线程池如果线程池长度超过处理需要，可灵活回收空闲線程若无可回收，则新建线程这种类型的线程池特点是：

· 工作线程的创建数量几乎没有限制(其实也有限制的,数目为Interger. MAX_VALUE), 这样可灵活的往線程池中添加线程。

· 如果长时间没有往线程池中提交任务即如果工作线程空闲了指定的时间(默认为1分钟)，则该工作线程将自动终止終止后，如果你又提交了新的任务则线程池重新创建一个工作线程。

· 在使用CachedThreadPool时一定要注意控制任务的数量，否则由于大量线程同時运行，很有会造成系统瘫痪

创建一个指定工作线程数量的线程池。每当提交一个任务就创建一个工作线程如果工作线程数量达到线程池初始的最大数，则将提交的任务存入到池队列中FixedThreadPool是一个典型且优秀的线程池，它具有线程池提高程序效率和节省创建线程时所耗的開销的优点但是，在线程池空闲时即线程池中没有可运行任务时，它不会释放工作线程还会占用一定的系统资源。

创建一个单线程囮的Executor即只创建唯一的工作者线程来执行任务，它只会用唯一的工作线程来执行任务保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行。如果这个線程异常结束会有另一个取代它，保证顺序执行单工作线程最大的特点是可保证顺序地执行各个任务，并且在任意给定的时间不会有哆个线程是活动的

创建一个定长的线程池，而且支持定时的以及周期性的任务执行支持定时及周期性任务执行。延迟3秒执行

132、画图，讲讲shuffle的过程（☆☆☆☆☆）

133、 BlockManager怎么管理硬盘和内存的？（☆☆☆☆☆）

2.下面哪个端口不是 spark 自带服务的端口 (C )

C 无 D 运行时指定

5.哪个不是本地模式运行的个条件 ( D)

A. 可分区 B 可序列化 C 可修改 D 可持久化

7. 关于广播变量下面哪个是错误的 (D )

A 任何函数调用 B 是只读的

C 存储在各个节点 D 存储在磁盘或 HDFS

8. 關于累加器，下面哪个是错误的 (D )

A 支持加法 B 支持数值类型

C 可并行 D 不支持自定义类型

9.Spark 支持的分布式部署方式中哪个是错误的 (D )

11.下面哪个操作是窄依赖 (B )

12.下面哪个操作肯定是宽依赖 (C )

A.没区别 B.多会话

C.支持网络环境 D数据库的区别

C.存储方式不一样 D.外部数据源支持

}

绿色游网