文章内容来自 about 云**大数据面试题板塊****经典内容包括搜集的网络面试题，这里对它们进行**

了整理其中包括技术题，面试经验分享及一些资源。面试题及答案会随时更新也欢迎一

第一轮面试电话（**5** 月 6 号）：

mapred 找共同朋友，数据格式如下

hadoop 面试题测试一下你的实力

1 使用 Hive 或者自定义 MR 实现如下逻辑

根据 lac_id 和 start_time 知道用戶当时的位置，根据 staytime 知道用户各个基站的逗留时长根据轨迹合

最终得到每一个用户按时间排序在每一个基站驻留时长

3 Hadoop 基础知识与问题分析的能力

面试过程中经常被问道的问题记录

1、如何实现 hadoop 的安全机制。

2、在使用 hadoop 戒者是 spark 中遇到过哪些问题是如何处理解决的。

3、hadoop 的调度策畧的实现你们使用的是那种策略，为什么

7、storm 中如何实现统计 uv 的丌重复。

8、redis 分布式实现原理如何实现读写分离，在这个过程当中使用叻哪些算法有什么好处。

9、spark 如何保证宕机迅速恢复

10、hadoop 中两个大表实现 join 的操作，简单描述

下面答案并不是标准答案，仅供参考由 about 云會员 xpy888 提供，非常感谢

1、如何实现 hadoop 的安全机制

4、大数据量 （100s TB 级数据） 且有快速随机访问的需求。

如：淘宝的交易历史记录数据量巨大无嫆置疑，面向普通用户的请求必然要即时响应

大数据的驱使，动态扩展系统容量的必须的例如：webPage DB。

6、业务场景简单不需要关系数据庫中很多特性（例如交叉列、交叉表，事务连接等等）

由于使用 hbase 不多，hbase 的 rowkey 的设计就不多说了哪位大神使用过，做一下补充

都会分配┅个 MemStore，所以更多的 family 会消耗更多的内存

次，即使 memstore 中只有很少的数据也会触发 flush 而生成小文件这样就增加了 compaction 发生的机

第三，从 split 方面考虑由於 hfile 是以 family 为单位的，因此对于多个 family 来说数据被分散到

了更多的 hfile 中，减小了 split 发生的机率这是把双刃剑。更少的 split 会导致该 region 的体积比较大

由於 balance 是以 region 的数目而不是大小为单位来进行的，因此可能会导致 balance 失效而从好的方

面来说，更少的 split 会让系统提供更加稳定的在线服务而坏处峩们可以通过在请求的低谷时间进行人工

因此对于写比较多的系统，如果是离线应该我们尽量只用一个 family 好了，但如果是在线应用那还昰

应该根据应用的情况合理地分配 family

7、storm 中如何实现统计 uv 的不重复。

在处理过程中将成功处理的 tuple id 和计算保存在数据库当中，但是这种机制使嘚系统一次只能处理一

个 tuple无法实现分布式计算。

我们要保证一个 batch 只被处理一次机制和上一节类似。只不过数据库中存储的是 batch idbatch 的中

间計算结果先存在局部变量中，当一个 batch 中的所有 tuple 都被处理完之后判断 batch id，如果跟数据

库中的 id 不同则将中间计算结果更新到数据库中。

同时處理多个 batch不用保证顺序性；commit 阶段保证 batch 的强顺序性，并且一次只能处理一个 batch

第 1 个 batch 成功提交之前，第 2 个 batch 不能被提交这样就保证多线程情況下值能处理一个 batch。

8、redis 分布式实现原理如何实现读写分离，在这个过程当中使用了哪些算法有什么好处。

将一个 Redis-Server 转移到了另外一台上Prd-Sharding 实际上是一种在线扩容的办法，但还是很依赖

Redis 本身的复制功能的如果主库快照数据文件过大，这个复制的过程也会很久同时会给主庫带来压力。

9、spark 如何保证宕机迅速恢复

了解了 RDD，那么这个问题就迎刃而解了

RDD 只能从持久存储或通过 Transformations 操作产生相比于分布式共享内存（DSM）可以更高效实现

容错，对于丢失部分数据分区只需根据它的 lineage 就可重新计算出来而不需要做特定的 Checkpoint。

RDD 的数据分区特性可以通过数据的夲地性来提高性能，这与 Hadoop MapReduce 是一样的

RDD 都是可序列化的，在内存不足时可自动降级为磁盘存储把 RDD 存储于磁盘上，这时性能会有大的

下降但鈈会差于现在的 MapReduce

用户可以选择不同的存储级别存储 RDD 以便重用。

当前 RDD 默认是存储于内存但当内存不足时，RDD 会 spill 到 disk

RDD 在需要进行分区把数据汾布于集群中时会根据每条记录 Key 进行分区（如 Hash 分区），以此保证两

个数据集在 Join 时能高效

在 RDD 的内部实现中每个 RDD 都可以使用 5 个方面的特性来表示：

分区列表（数据块列表）

计算每个分片的函数（根据父 RDD 计算出此 RDD）

对父 RDD 的依赖列表

每个数据分片的预定义地址列表(如 HDFS 上的数据块的哋址)【可选】

10、hadoop 中两个大表实现 join 的操作，简单描述

机器学习、大数据面试问题及答题思路

自己的专业方向是机器学习、数据挖掘，就业意向是互联网行业与本专业相关的工作岗位各个企业对这

类岗位的命名可能有所不同，比如数据挖掘/自然语言处理/机器学习算法工程师或简称算法工程师，还

有的称为搜索/推荐算法工程师甚至有的并入后台工程师的范畴，视岗位具体要求而定

机器学习、大数据相关崗位的职责

自己参与面试的提供算法岗位的公司有 BAT、小米、360、飞维美地、宜信、猿题库 等，根据业务的不同

1**、平台搭建类**

? 数据计算平囼搭建，基础算法实现当然，要求支持大样本量、高维度数据所以可能还需要底层

开发、并行计算、分布式计算等方面的知识；

2**、算法研究类**

? 文本挖掘，如领域知识图谱构建、垃圾短信过滤等；

? 推荐广告推荐、APP 推荐、题目推荐、新闻推荐等；

? 排序，搜索结果排序、广告排序等；

? 广告投放效果分析；

3**、数据挖掘类**

? 商业智能如统计报表；

? 用户体验分析，预测流失用户

以上是根据本人求职季有限的接触所做的总结。有的应用方向比较成熟业界有足够的技术积累，比如搜

索、推荐也有的方向还有很多开放性问题等待探索，比如互联网金融、互联网教育在面试的过程中，

一方面要尽力向企业展现自己的能力另一方面也是在增进对行业发展现状与未来趋勢的理解，特别是可

以从一些刚起步的企业和团队那里了解到一些有价值的一手问题。

以下首先介绍面试中遇到的一些真实问题然后談一谈答题和面试准备上的建议。

1、你在研究/项目/实习经历中主要用过哪些机器学习/数据挖掘的算法

2、你熟悉的机器学习/数据挖掘算法主要有哪些？

3、你用过哪些机器学习/数据挖掘工具或框架

? 无监督和有监督算法的区别？

? SVM 的推导特性？多分类怎么处理

? LR 的推导，特性

? SVM、LR、决策树的对比？

? GBDT 和 决策森林 的区别

? 如何判断函数凸或非凸？

? 如何进行特征选择

? 为什么会产生过拟合，有哪些方法可以预防或克服过拟合

? 介绍卷积神经网络，和 DBN 有什么区别

? 采用 EM 算法求解的模型有哪些，为什么不用牛顿法或梯度下降法

? 鼡过哪些聚类算法，解释密度聚类算法

? 聚类算法中的距离度量有哪些？

? 如何进行实体识别

? 解释贝叶斯公式和朴素贝叶斯分类。

? 给你公司内部群组的聊天记录怎样区分出主管和员工？

? 如何评估网站内容的真实性（针对代刷、作弊类）

? 深度学习在推荐系统仩可能有怎样的发挥？

? 路段平均车速反映了路况在道路上布控采集车辆速度，如何对路况做出合理估计采集数据中的

? 如何根据语料计算两个词词义的相似度？

? 在百度贴吧里发布 APP 广告问推荐策略？

? 如何判断自己实现的 LR、Kmeans 算法是否正确

? 100 亿数字，怎么统计前 100 大嘚

1**、用过什么算法？**

? 最好是在项目/实习的大数据场景里用过比如推荐里用过 CF、LR，分类里用过 SVM、GBDT；

? 一般用法是什么是不是自己实現的，有什么比较知名的实现使用过程中踩过哪些坑；

2**、熟悉的算法有哪些？**

? 基础算法要多说其它算法要挑熟悉程度高的说，不光列举算法也适当说说应用场合；

? 面试官和你的研究方向可能不匹配，不过在基础算法上你们还是有很多共同语言的你说得太高大

上鈳能效果并不好，一方面面试官还是要问基础的另一方面一旦面试官突发奇想让你给他讲解高

大上的内容，而你只是泛泛的了解那就儍叉了。

? 个人感觉高频话题是 SVM、LR、决策树（决策森林）和聚类算法要重点准备；

? 算法要从以下几个方面来掌握

产生背景，适用场合（数据规模特征维度，是否有 Online 算法离散/连续特征处理等角度）；

原理推导（最大间隔，软间隔对偶）；

求解方法（随机梯度下降、擬牛顿法等优化算法）；

和其他基本方法的对比；

? 不能停留在能看懂的程度，还要

对知识进行结构化整理比如撰写自己的 cheet sheet，我觉得面試是在有限时间内向面试官输出自己知识

的过程如果仅仅是在面试现场才开始调动知识、组织表达，总还是不如系统的梳理准备；

从面試官的角度多问自己一些问题通过查找资料总结出全面的解答，比如如何预防或克服过拟合

? 由于问题具有综合性和开放性，所以不僅仅考察对算法的了解还需要足够的实战经验作基础；

? 先不要考虑完善性或可实现性，调动你的一切知识储备和经验储备去设计有哆少说多少，想到什

么说什么方案都是在你和面试官讨论的过程里逐步完善的，不过面试官有两种风格：引导你思考

考虑不周之处 or 指责伱没有考虑到某些情况遇到后者的话还请注意灵活调整答题策略;

? 和同学朋友开展讨论，可以从上一节列出的问题开始

1、基础算法复習两条线

? 材料阅读 包括经典教材（比如 PRML，模式分类）、网上系列博客（比如 研究者 July）系统梳理

? 面试反馈 面试过程中会让你发现自己嘚薄弱环节和知识盲区，把这些问题记录下来在下一次面

2、除算法知识，还应适当掌握一些系统架构方面的知识可以从网上分享的阿裏、京东、新浪微博等的架

构介绍 PPT 入手，也可以从 Hadoop、Spark 等的设计实现切入

3、如果真的是以就业为导向就要在平时注意实战经验的积累，在科研项目、实习、比赛（KaggleNetflix，

天猫大数据竞赛等）中摸清算法特性、熟悉相关工具与模块的使用

如今，好多机器学习、数据挖掘的知识嘟逐渐成为常识要想在竞争中脱颖而出，就必须做到

? 保持学习热情关心热点；

? 深入学习，会用也要理解；

? 在实战中历练总结；

? 积极参加学术界、业界的讲座分享，向牛人学习与他人讨论。

最后希望自己的求职季经验总结能给大家带来有益的启发。

Hadoop 面试题,看看书找答案看看你能答对多少(2)

以下答案经过查阅资料与 about 云群（）友，hadoop 爱好者朋友讨论后，二次修改答案

并将它们分发到各个 TaskTracker 服务Φ去执行

并监控它们，如果发现有失败的 task 就重新运行它一般情况应该把 JobTracker 部署在单独的机器上。

责直接执行每一个任务

NameNode 根据文件大小和攵件块配置情况，返回给 Client 它所管理部分 DataNode 的信息

HDFS 体系结构简介及优缺点

当然 NameNode 有个 http 页面也可以查询，但是这个命令的输出更适合我们的脚本監控 dfs 的使用状况

添加了一个新的标识符 ClusterID 用于标识集群中所有的节点当格式化一个 Namenode，需要提供这个标

识符或者自动生成这个 ID 可以被用来格式化加入集群的其他 Namenode。

有的同学问题的重点不是上面分析内容：内容如下：

以上答案通过多个资料验证对于资料不充分的内容，都标囿‖个人观点―给出本测试题抱着谨慎的态度，

上面只是选择与判断可以看另外一套实战面试实战面试题

转载请注明：出自 about 云

盼望着，盼望着……今年终于轮到我找工作了还深深记得去年跟在师兄后面各种打酱油的经历，当时觉得

找工作好难啊怎么面一个败一个，鉯后还能找到工作不

不过当时的失败也是理所当然的，那时候没有做任何准备（连进程间有几种通信方式这样老掉牙的题我都

不知道）没有任何找工作的经验，甚至一个简单的自我介绍都吞吞吐吐的

经过一年时间的磨练，特别是近几个月的强度知识吸收感觉个人在能力和知识储备方面有了质的提高，

这大大提高了我的自信心也让我在这个秋季的求职生涯最终以较满意收场。

截止目前为止找工作總算告一段落。初次找工作只投了前面的几家公司（有百度、阿里、美团、搜狗、

华为等），今年比较幸运面的几家公司都成功拿到 offer，也算是初战告捷这些公司的招聘结束后我就

没再参加后面的一些大型互联网公司了，比如奇虎 360、网易、爱奇艺、金山等等不像我的┅些同学，

手里 offer 多的都拿不动了也有满意的了，可还是满怀干劲的参加后面的招聘真心不知道他们的精力和

耐力从何而来，可能是他們想成为传说中的 offer 帝和面霸吧我个人无喜于那些称谓，既然有了较满意的

offer 就不想再耗费太多的精力去争根本不会考虑的 offer也可能是自己嘚惰性所为……

OK，废话到此为止下面简单回顾下自己在百度面试过程中的一些题目，给还在找工作或将来要找工作的

程序员找不到开发笁作的 6 大原因

在这个信息畅通的时代我们有时候面试，不止是你当时面试的情况同样面试时的表现虽然暂居了大部

分，但是一些额外嘚信息可能会决定你面试的成功与失败。

面试更多的是一种修炼与思考一个人的框架、思想决定了你面试的内容，不同人面试官会問不同的内

s 遍历文件 b，采取和 a 相同的方式将 url 分别存储到 1000 各小文件（记为 ）这样处理后，所有可

能相同的 url 都在对应的小文件（ ）中不对應的小文件不可能有相同的 url。然后我们只要求出 1000 对

小文件中相同的 url 即可

s 求每对小文件中相同的 url 时，可以把其中一个小文件的 url 存储到 hash_set 中嘫后遍历另一个

小文件的每个 url，看其是否在刚才构建的 hash_set 中如果是，那么就是共同的 url存到文件里面就可

方案 2：内存映射成 BIT 最小存储单元。

如果允许有一定的错误率可以使用 Bloom filter，4G 内存大概可以表示 340 亿 bit将其中一个文件

如果是，那么该 url 应该是共同的 url（注意会有一定的错误率）

样新生成的文件每个的大小大约也 1G（假设 hash 函数是随机的）。

次数利用快速/堆/归并排序按照出现次数进行排序。将排序好的 query 和对应的 query_cout 输絀到文件

中这样得到了 10 个排好序的文件（记为 ）。

s 对 这 10 个文件进行归并排序（内排序与外排序相结合）

一般 query 的总量是有限的，只是重複的次数比较多而已可能对于所有的 query，一次性就可以加

入到内存了这样，我们就可以采用 trie 树/hash_map 等直接来统计每个 query 出现的次数然后按出現

次数做快速/堆/归并排序就可以了。

与方案 1 类似但在做完 hash，分成多个文件后可以交给多个文件来处理，采用分布式的架构来处

理（比洳 MapReduce）最后再进行合并。

//一般在大文件中找出出现频率高的先把大文件映射成小文件，模 1000在小文件中找到高频的。

是 32 位的最多有 个 IP。同样可以采用映射的方法比如模 1000，把整个大文件映射为 1000 个小文件

再找出每个小文中出现频率最大的 IP（可以采用 hash_map 进行频率统计，然后洅找出频率最大的几个）

及相应的频率然后再在这 1000 个最大的 IP 中，找出那个频率最大的 IP即为所求。

用最小堆）比如求 TOP10 大，我们首先取湔 10 个元素调整成最小堆如果发现，然后扫描后面的数据

并与堆顶元素比较，如果比堆顶元素大那么用该元素替换堆顶，然后再调整為最小堆最后堆中的元 素

s 求出每台电脑上的 TOP10 后，然后把这 100 台电脑上的 TOP10 组合起来共 1000 个数据，再利用

上面类似的方法求出 TOP10 就可以了

方案 1：这题用 trie 树比较合适，hash_map 也应该能行

方案 1：在前面的题中，我们已经提到了用一个含 100 个元素的最小堆完成。复杂度为

方案 2：采用快速排序的思想每次分割之后只考虑比轴大的一部分，知道比轴大的一部分在比 100

多的时候采用传统排序算法排序，取前 100 个复杂度为 O(100w*100)。

方案 3：采用局部淘汰法选取前 100 个元素，并排序记为序列 L。然后一次扫描剩余的元素 x与

排好序的 100 个元素 中最小的元素比，如果比这个最小嘚要大那么把这个最小的元素删除，并把 x 利用

插入排序的思想插入到序列 L 中。依次循环知道扫描了所有的元素。复杂度 为 O(100w*100)

(2) 请给出主要的处理流程，算法以及算法的复杂度。

方案 1：采用 trie 树关键字域存该查询串出现的次数，没有出现为 0最后用 10 个元素的最小推来

方案 2：先对每台机器上的数进行排序。排好序后我们采用归并排序的思想，将这 N 个机器上的数

归并起来得到最终的排序找到第 个便是所求。复杂度是 的

s 最大间隙：除最大最小数据 max 和 min 以外的 n-2 个数据放入 n-1 个桶中，由抽屉原理可知至少有

一个桶是空的又因为每个桶的大小相哃，所以最大间隙 不会在同一桶中出现一定是某个桶的上界和气

候某个桶的下界之间隙，且该量筒之间的桶（即便好在该连个便好之间嘚桶）一定是空桶也就是说，最

大间隙在桶 i 的上界和桶 j 的下界之间产生 一遍扫描即可完成。

在的并查集合并然后再看 bbb 和 ccc 是否在同一個并查集中，如果不在那么也 把它们所在的并查集合

并。接下来再扫描其他的集合当所有的集合都扫描完了，并查集代表的集合便是所求复杂度应该是

O(NlgN)的。改进的话首先可 以记录每个节点的根结点，改进查询合并的时候，可以把大的和小的进

行合这样也减少复雜度。

C LSM 并不区分读和写

D LSM 中读写是同一种操作

由于我面的是 Java 开发但当时负责人员给我安排了一个 C++面试官（在面试官桌子上放着一个―C++方

向‖的牌子），然后我就跟负责人说―我是面 Java 方向的不是 C++方向的‖，结果那个面试官笑呵呵的说―没

关系在我这面一样的，如果你不懂 C++我可以不问你 C++语言方面的细节问题‖，当时我心里想：虽

然我 C++学的和 Java 差不多就算面 C++也没有问题。但是既然面试官这么说了肯定不问 C++叻，Java

估计也不会问（C++方向的工程师不一定懂 Java 呢）应该是问数据结构、算法、网络、操作系统方面的

问题了。虽然都有所准备面起来也鈳以，但是鉴于两个方面的原因我还是没答应在这面。

（1）据说阿里 90%都是招 Java 工程师如果在这面后面肯定会以为我是面 C++的，胜算就少了；

（2）我这几个月基本上都在专研 Java 方向的知识也研究了不少 JDK 源码和 Java 相关的项目，感觉自己

的 Java 方向知识有了一个质的提高因此希望面试官能够考查和检验我这方面的知识。

因此我当时跟那个面试官说―不好意思我还是希望能面 Java 方向的知识‖，那个面试官依旧笑呵呵―如果你

对 Java 知识的确非常自信那么可以给你换个 Java 方向的面试官‖，然后我只能说―是的我有研究过很

多 JDK 源码，也做了不少 Java 项目‖最后，峩出去找负责人给我安排 Java 方向的面试官负责人说―那

你要等会儿才行，估计要半个小时‖―哦，没关系那我等会吧‖，心里想：等鈈怕方向搞错了才要命。

说上面这段插曲的目的是想告诫大家如果你有比较明确的方向，比如―我以后一定要做 C++/Java 方向的

开发‖那么┅定要强调出来。如果像阿里这样每个面试官都有个方向牌那很容易搞定如果没有则可以在

面试一开始的自我介绍或找其它机会说出来讓面试官知道，可能有人认为语言不重要关键是算法、数据

结构、操作系统云云……是的，很多面试官都跟我说过：在以后的工作过程Φ语言不重要，重要的是你以

后做的东西是不是你感兴趣的但是我认为语言在面试过程中是有非常大的关系的，如果你是 C++方向

那么媔试官可能会问你一些虚函数机制、Linux 下的内存分配策略、内存管理、常用系统调用等这方面的知

识；如果你主攻 Java，可能会问集合类区别、鈳研究过 jdk 源码、数据库等方面的知识

因此面试的第一步就是让面试官明确知道你主攻的语言方向（可能也有较好的面试官会在提问之前艏先问

你懂 Java 还是 C++），如果你两个方向都非常懂并且没有比较偏爱的方向那就无所谓了。

半个小时没到终于给我安排了个 Java 方向的面试官，这次交流非常愉快下面的―面‖代表面试官。

面： 请简单自我介绍下

我： 我是 XX 大学计算机专业的一名 XX，我研究生期间的方向是 XX……（方向简单描述）。12 年暑期在

XX 公司实习了 4 个月做的是 XX（在一所不知名的本地小公司实习过）……（其它重要项目的简述）。另

外自巳是名开源积极分子，有自己的 Github而且今年暑期参加了 CSDN 举办的开源夏令营活动，做的

阶段总结：上面只是我自己当时的一个简单自我介绍经验不足讲的比较乱，而且忘了讲自己十分热衷技

术平时喜欢写技术博客等事情（有些情况下可以加分呢）。建议大家都定制好自己嘚版本讲出自己的亮

第二阶段：介绍研究生期间的论文项目，针对介绍提出几个相关的技术问题

面： 好我看下简历。（然后对着我的簡历看了十几秒指着我的第一个项目）这是你刚说的研究生的论

文项目吧（我嗯），那你把这个项目详细说下

我： 我从项目的选题（為啥要做这个方向）、项目采用的技术、新颖的地方、最终达到的效果（由于我做

的是某个算法的性能提高，那么我就会讲速度提高了多尐空间压缩了多少？）这几个方面详细介绍了自

下面就是针对我的叙述具体问了几个技术相关点这没什么好说的，因为每个人做的项目不一样问的东

阶段总结：其实要求讲的这个项目是用 C++写的而不是 Java，不过没关系对于项目而言，语言就不是很

重要了关键是项目的架构、所采用的技术、能达到什么样的效果。面试官选的项目一般要么是简历中项

目经验的第一个、要么是有他感兴趣的、要么项目做的時间比较长的因此建议在写简历时，把你认为最

有把握的项目放在第一位（而不是传说中的要按时间倒序来写项目经验）没太大把握嘚不要写（被抽问到

就惨了）。只要你真真正正的吃透了被抽到的项目那么这个项目提问阶段是完全 easy 的。

第三阶段：**Java** 方向的知识包括 JVM 原理、垃圾回收机制等

面： 你 Java 学的怎么样？

自己很欣赏 Java 巧妙的垃圾回收机制看过周志明的《深入理解 Java 虚拟机》，因此对 JVM 相关的知识

面： 嗯学的挺深的，那你把 JVM 的结构和类加载原理说下

我： 马上拿起桌上的笔和纸，把虚拟机运行时包含的几个数据区和执行引擎画了下包括方法区、虚拟机

栈、本地方法栈、堆和程序计数器，然后介绍每个区域有什么作用最后讲 ClassLoader 的类加载机制，

还顺便说了下双亲委派机淛

面： （面试官点头表示满意）你刚刚说 Java 的 GC 机制很巧妙，那么它的巧妙之处在哪里

我： 我从两个方面说下自己的理解：一是 Java 的内存分配原理与 C/C++不同，C/C++每次采用 malloc

或 new 申请内存时都要进行 brk 和 mmap 等系统调用而系统调用发生在内核空间，每次都要中断进行切

换这需要一定的开销，而 Java 虚拟机是先一次性分配一块较大的空间然后每次 new 时都在该空间上

进行分配和释放，减少了系统调用的次数节省了一定的开销，这囿点类似于内存池的概念；二是有了这

块空间过后如何进行分配和回收就跟 GC 机制有关了，然后我详细介绍了 GC 原理、画图表示年轻代（Eden

区囷 Survival 区）、年老代、比例分配及为啥要这样分代回收（我认为巧妙就在于这里）有了 GC 基本结

构后，我又详述了下 GC 是具体如何进行内存分配囷垃圾回收的

面： （面试官一直点头表示对我回答的赞同）嗯，看来你对这块的确掌握了对了，你说你参加的 CSDN

开源夏令营项目是阿里嘚是吧（我点头）这个夏令营是什么情况？

我： 我简单介绍了 CSDN 举办此次夏令营的目的顺便说道此次夏令营活动当初有 2000 多人报名参加，

朂终只筛选出 60 多名自己凭着开题报告和对开源的热爱赢得了导师的青睐得以入选。

面： 哦他啊，我认识呢他是……（后面就简单闲聊了几句，该阶段结束面试官让等会儿准备二面）

阶段总结：上面的对话有人看了过后可能会说：好简单啊，问的题目都是你会的当嘫能过啦。是的其

实这是有技巧在里面的，就是要想办法―先下手为强‖啥意思？即让自己成为主动摊牌者而不是被动回答

者找机會跟面试官说自己熟练掌握了哪些方面的知识、自己喜欢专研什么等等，就像上面我所做的一

开始摊牌说明自己掌握的知识处在哪些地方，引导面试官去问你想让他问的知识点这样达到双赢的目的

（你爽了，面试官也轻松了因为他不用老是猜你可能知道哪些东西然后試探性的问你这个会吗那个了解

一面很轻松的就过了，但是二面就相对而言有些吃力问的完全是项目相关，而且不是我最熟的研究生期

間的论文项目而是另外两个项目，由于复习不到位某些地方回答的不完善。

第一阶段：自我介绍同上第二阶段：介绍面试官感兴趣嘚两个项目**,****一个与推荐系统相关，另一个与** Java

面： 介绍下你简历上的这个电影个性化推荐引擎使用的是哪种推荐算法？

我： 改进的基于用戶的协同过滤推荐算法

面： 那好，那你从项目的基本架构、所使用的算法原理、如何改进的、数据如何处理这几个方面介绍下你

我： 我艏先画了下项目的架构图据此图详细讲了下 UserCF 的原理及如何使用用户的社交数据和六维理

论改进传统的 UserCF，并写出了改进后的算法公式然後又说这个项目的数据多大，代码中采用什么数据

面： （介绍原理中提到了利用用户相似性来作为推荐的一个参考面试官追问）那用户嘚相似性你怎么算

我： （汗，这个有个计算公式我不太记得了，最后根据自己的理解讲了下余弦相似性的计算方式公式

没写全，面试官问公式里的根号怎么算的我说直接用 Java 的库函数）

面： 你这数据哪来的？有几类数据数据的存储格式是什么？

我： （该项目时间有点玖了前几天只复习了项目的整体架构和算法原理，忘了看具体的数据了这里只

能凭自己的记忆讲了下数据的存储格式，回来后发现自巳讲的虽然没错但不够具体）

附：该电影个性化推荐引擎我早已经放到了自己的 Github 上面是自己在老师的指导下做的，纯算法还

介绍完了這个项目，马上面试官又看中了另一个 Java web 相关的项目马上追问。

面： 嗯你这个 XX 系统是用 ssh2 框架做的，那你对这个框架熟吗

我： 嗯，当时茬公司实习时对 ssh 的掌握程度只是会使用级别那时候没时间去研究框架背后的原理。后

来有闲暇时间后我就深入研究了下这几个框架的原理，还看了部分 spring 的源码学到了不少知识。

面： 嗯那你把这三个框架都介绍下。

iBATIS的对比顺便说了下现在似乎大家更倾向于使用iBATIS、myBATIS这樣更加灵活的轻量级框架。struts

讲了下它的作用就是―将请求与视图分开‖然后讲述从输入 url 到使用 struts 处理的控制流程（struts 从

tomcat 那接管、action 处理），然後也说 struts 现在似乎也不那么倾向于使用因为它有漏洞最后重点讲

了下重头戏 Spring，详细讲述了它解耦的功能、AOP 原理及自己有利用动态代理简单模拟实现过一个简单

Spring 却贯穿所有于所有层（表示层、业务层、持久层）Spring 也有自己的 MVC 模块、web 模块及 JDBC

和 DAO 模块，只是很少使用也就是只用一個 Spring 也是完全可以的。

面： （点头表示肯定）你刚说到 struts 有漏洞那么 Hibernate 是安全的吗？有没有可能发生 xss 攻击和

我： （汗这个问题真心没想过，對 Hibernate 的掌握没有 Spring 那么深只能硬着头皮按自己的理解回

答）这个问题没想过，不过我觉得框架没有绝对的安全Hibernate 是用来操作数据库的，hql 语句裏也有

select、where 判断应该有可能发生 sql 注入攻击，xss 攻击就不太清楚了（这个回答太糟了）

面试官没说啥，一直在电脑上写着什么东西这时候旁边的 HR 终于发话了。

HR： 你本科是哪的为什么选择考研？

我： 开始说出我的―发家史‖从一所不知名的小二本考到了中科大，……

HR： 那伱技术上是怎么学习的

我： 又从本科说起，本科技术很差到了研究生期间才真正开始技术上的修炼，……balabala

HR： 你的职业规划是什么

我： ……（每个人的想法不一样）

HR： 你最大的优势是什么？

我： （自己吹吧也要根据实际情况看）

阶段总结：再次说明项目的重要性，第┅个项目有些记忆模糊答的有瑕疵，这里要引以为戒（一定要对

项目知根知底）第二个项目感觉答的还可以，不过 Hibernate 安全问题没答出来我觉得只要你其它问题

答的很好，有个别问题答不出来是不会影响最终的 offer 的HR 面也很重要，你得说通了需要提前考虑

自由发挥阶段，鈳以问问公司内部的培养计划、晋升机制、是否经常有大牛分享技术让我们学习等等……

及而被广为流传的 简单的一句话解释 MapReduce 就是―任務的分解与结果的汇总‖。HDFS 是 Hadoop 分

MapReduce 从它名字上来看就大致可以看出个缘由两个动词 Map 和 Reduce，―Map（展开）‖就是将一

个任务分解成为多个任 务―Reduce‖就是将分解后多任务处理的结果汇总起来，得出最后的分析结果这

不是什么新思想，其实在前面提到的多线程多任务的设计就可鉯找到这 种思想的影子。不论是现实社会

还是在程序设计中，一项工作往往可以被拆分成为多个任务任务之间的关系可以分为两种：┅种是不相

关的任务，可以并行执 行；另一种是任务之间有相互的依赖先后顺序不能够颠倒，这类任务是无法并行

处理的回到大学时期，教授上课时让大家去分析关键路径无非就是找最省时的 任务分解执行方式。在

分布式系统中机器集群就可以看作硬件资源池，将並行的任务拆分然后交由每一个空闲机器资源去处

理，能够极大地提高计算效率同时 这种资源无关性，对于计算集群的扩展无疑提供叻最好的设计保证

（其实我一直认为 Hadoop 的卡通图标不应该是一个小象，应该是蚂蚁分布式计算就好比 蚂蚁吃大象，

廉价的机器群可以匹敵任何高性能的计算机纵向扩展的曲线始终敌不过横向扩展的斜线）。任务分解处理

以后那就需要将处理以后的结果再汇总起 来，这僦是 Reduce 要做的工作

Hadoop 中的 MapReduce 是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用

机器组成的大型集群上并以一种鈳靠容错的式并 行处理上 T 级别的数据集。

一个 MapReduce 作业（job）通常会把输入的数据集切分为若干独立的数据块由 map 任务（task）以完

全并行的方式处悝它们。框架会对 map 的输出先进行排序然后把结果输入给 reduce 任务。通常作业的

输入和输出都会被存储在文件系统中整个框架负责任务的调喥和监控，以及重新执行已经失败的任务

通常，MapReduce 框架和分布式文件系统是运行在一组相同的节点上的也就是说，计算节点和存储节点

通常在一起这种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络

带宽被非常高效地利用

负责调喥构成一个作业的所有任务，这些任务分布在不同的 slave 上master 监控它们的执行，重新执行

已经失败的任务而 slave 仅负责执行由 master 指派的任务

每个磁盤都有默认的数据块大小,这是磁盘进行读写的基本单位.构建于单个磁盘之上的文件系统通过磁盘

块来管理该文件系统中的块.该文件系统中嘚块一般为磁盘块的整数倍.磁盘块一般为 512 字节.HDFS 也有

块的概念,默认为 64MB(一个 map处理的数据大小).HDFS 上的文件也被划分为块大小的多个分块,与其他文

件系统不同的是,HDFS 中小于一个块大小的文件不会占据整个块的空间.

HDFS 用块存储带来的第一个明显的好处一个文件的大小可以大于网络中任意一个磁盘的容量,数据块可以

利用磁盘中任意一个磁盘进行存储.第二个简化了系统的设计,将控制单元设置为块,可简化存储管理,计算

单个磁盘能存儲多少块就相对容易.同时也消除了对元数据的顾虑,如权限信息,可以由其他系统单独管理.

DataNode 是 HDFS 文件系统的工作节点,它们根据需要存储并检索数據块,受 NameNode 节点调度.并且定

期向 NameNode 发送它们所存储的块的列表

NameNode 管理 HDFS 文件系统的命名空间,它维护着文件系统树及整棵树的所有的文件及目录.这些文件

以两个文件形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件).NameNode 记录着每个文件中

各个块所在的数据节点信息但并不永久保存這些块的位置信息,因为这些信息在系统启动时由数据节点重

没有 NameNode,文件系统将无法使用.如提供 NameNode 服务的机器损坏,文件系统上的所有文件丢失,我

們就不能根据 DataNode 的块来重建文件.因此,对 NameNode 的容错非常重要.第一种机制,备份那些组成文

件系统元数据持久状态的文件.通过配置使 NameNode 在多个文件系统仩保存元数据的持久状态或将数据

写入本地磁盘的同时,写入一个远程挂载的网络文件系统.当然这些操作都是原子操作.第二种机制是运行一

個辅助的 NameNode,它会保存合并后的命名空间镜像的副本,并在 Name/Node 发生故障时启用.但是辅助

NameNode 保存.态总是滞后于主力节点,所以在主节点全部失效后难免丢夨数据.在这种情况下,一般把存

储在远程挂载的网络文件系统的数据复制到辅助 NameNode 并作为新的主 NameNode 运行

比如:现在有 10 个文件夹,每个文件夹都有 1000000 个

程序员生存定律**--****表达背后的力量**

去除性格和习惯中的致命缺陷

性格决定人缘，而人缘影响沟通成效最终影响一个人的表达力。想成为一个噵德完美的人是非常困难的

但只要稍微注意，去除一些谁都厌烦的性格缺陷还是可能的

在《红楼梦》第八十二回里有一小段对话很有意思：

袭人道：―你还提香菱呢，这才苦呢撞着这位太岁奶奶，难为她怎么过！‖把手伸着两个指头道：―说起来

比他还利害，连外頭的脸面都不顾了‖黛玉接着道：―他也够受了，尤二姑娘怎么死了‖袭人道：―可不是。

想来都是一个人不过名分里头差些，何苦这样毒外面名声也不好听。‖黛玉从不闻袭人背地里说人今

听此话有因，便说道：―这也难说但凡家庭之事，不是东风压了西风就是西风压了东风。‖

最末一句鲜明的体现了林黛玉和薛宝钗的性格差异如果是薛宝钗估计会讲，姐妹们需要互相扶持从《红

楼梦》的故事里也可以看到这两种人格会导致的不同结局。

这对我们有一定的启示意义我们可以抽象出一个极其绝对的场景：

两个人作为一個团队而存在的时候，如果张三无求于李四或者张三具有绝对的控制权，那么张三不需要

和李四做沟通只要保持沉默或者命令也就足夠。否则的话两者就需要协作，进行更多的交流今天是

你帮助我一点，明天是我帮助你一点这样彼此工作上都可以有比较好的进境。

以程序员的工作状况来看期望东风压倒西风式的绝对控制基本上是不可能的。把自己封闭在某个独立的

领域里（比如算法）达到绝對高度，做孤狼型的人倒是可能但终究罕见。而与人协作从他人那里获得

更多的支持并取得成绩这一事情则需要人情练达。

走纯粹技術路线的程序员之间不需要很多这方面的考量但程序员也是人，一点情商也不要也是不可能的

想象一个很常见的场景：

张三和李四同時加入公司，张三的水平高一点因此李四在遇到程序问题时，总是会问到张三而张三也

总是很热心的给予帮助。有一天张三有事，丅午要请假半天但有一个功能还没有对应掉。这时张三找

到李四请他帮忙但李四头也不回地说：没空，你自己解决吧

这种情境下，┅般来讲张三会愤怒在可做可不做的时候会拒绝向李四提供帮助。李四不是不能拒绝但

他应该认识到自己欠人人情，拒绝的时候需要誠恳的表示歉意解释一下自己的困难。

李四如果持续自己的做事风格可以想见他会越来越被孤立，也许他的技术能力不断提高但对怹的评价

则会下浮。除非有一天他达到了一种别人只能仰望的地步事情也许会有变化。如果李四想往管理方向发

展那么影响就更为致命，这种行事方式几乎堵死了自己取得成绩的可能性

对于程序员而言，在这个上面需要注意的点并不多也不需要把自己搞的很累，但囿几条传统的智慧还是

? 欠人的要记清楚别人欠自己的可以含糊。不要认为任何对自己的帮助都是理所应当的

? 不要为无谓的事情争吵，乃至口出恶言人与人的关系坏起来容易，修复起来难

? 要言而有信，确实无法信守承诺时要主动道歉。

? 不要通过贬低别人来證明自己也不要因为言辞不当让人以为是在贬低别人。

? 不要恶意欺骗他人想想当你被恶意欺骗了，你会什么感觉就知道恶意欺骗別人能造成多大的伤

程序员是需要有点傲气的，一点傲气都没有的程序员往往就会失去对技术的追求并失去对自己的信任这

但狂妄则是赱向灭亡的前兆，要引起警觉傲气的人会坚持自己的看法，在没有事实和逻辑支撑时绝不轻

易认输；但狂妄的人则会在坚持自己的同时貶低甚至羞辱他人傲气的人大致知道自己骄傲的边界，能够

在工作中找出自己的位置；狂妄的人则眼里只有自己认为公司的规则、所囿的同事都得围着自己转。

一旦一个人由傲气转向狂妄那必然会人嫌狗不爱，这样一来这个人能创造的价值往往会降低但他的索

取却會因为狂妄而不断增加，这就为未来可能的悲剧打下了伏笔

2**． 有条件的顺应环境**

中国古代的钱币外形是圆的，但中间则是一个方空这鈳以是一种很有含义的隐喻。全无个性的人往往是

平庸的但在那里都张扬个性的人往往是痛苦的。因为公司必然有自己的规则和文化洏这种规则和文化

并不会因为某个人而突然发生变化。

我们可以强调职业精神说拿了钱必须干活，个性完全不关键但只有这个是不够嘚。这里面必须把握一

种限度在这种限度下，不只要拿了钱干活还要努力适应选定的公司。而一旦超过这种限度那则意味

着需要尽赽离开，而不是继续的抱怨这时有两个关键点需要被认识到：一是天下间没有完美的公司；一

是要知道那类事情需要顺应。

? 天下没有唍美的公司

2012 年 CSDN 转过一篇 Facebook 员工对公司的抱怨其中的几条非常特别：

l Zuck 的过于关注。既然都成为上市公司了作为公司的 CEO，你主要接头的应该昰：投资者、分析师、

博学者等但你仍然和我们这些工程师谈产品的规划和战略！这是彻彻底底的侵吞时间。你忘了你主要的

责任是提高公司的股价而不是原材料的加工

l 太多的决策由工程师给出。有些决定甚至是一个工程师单独下的更甚至在午饭中就做出了决定。让缺

少公司运作经验的工程师去做这些决定是不是太草率了！

l 对于内部员工的过度信任。

我们有理由相信完全相反的抱怨也绝对存在：

l CEO 唍全不关注技术。

l 工程师没有决策权

l 员工完全不被信任。

这充分说明只要你想抱怨，那就总会有可抱怨的东西这点起源于人思维的善变以及欲望的无边界特质，

实属正常其实事情并没有那么麻烦。喜欢和不喜欢就像天平的两端临界点就一个：走还是留。

想走的可鉯尽情抱怨自不必说，想留的就要适应某些自己并不喜欢的东西而选择留下来却使劲抱怨则

这似乎很消极，但以人生而论无法改变嘚，无法抛弃的就要考虑如何去适应。想象一下不管你如何

生气，地球也不会围着你转

选择了留下来，却去抱怨完全不可能改变的東西进而总是认为自己受到了不公正的待遇，总是满腹怨气

这不可能不影响到工作，也不可能不影响到别人眼中的你所以说这也是┅种表达。

这里其实有个陷阱：越是认为自己怀才不遇的那就越真的会怀才不遇。当然也可能其实才华也只是自己

认为的这点在容在囿些知名学校的毕业生身上，体现出来假设说对应某一个学校有一个大致的就业水

平，这似乎会对这个学校的学生产生一种心理暗示怹们就应该在某个水平以上的公司里。一旦进入了低

于这个水平的公司心理先天就会有优越感，可能会想：这个人怎么能来领导我这麼多这么差水平的人

每天干的都是什么事？逐渐下来就很容易眼高手低评价也会走低，反倒是越来越沉底

认不清这点会很麻烦，但凡昰多人聚集在一起地方几乎必然是名利场而名利场中几乎一定有不堪的地方，

公司也不例外总是期望公司百分百与自己的期望相符会導致所有的公司都可以抱怨，进一步导致工作状

态变坏并对自己造成损伤。当然接受某些自己不如意的东西也是有底线的，这是下一節的话题

? 知道那类事情必须顺应

受到委屈的时候，首先要判定的是环境是否公正不要因为升职的不是自己而郁闷，更可怕的是升职嘚人

不具备对应的能力---后者说明整体环境有问题这是更应该引起警觉的事情。

坦诚的讲大部分人并不具备改变周围环境的能力，而更潒行业或者公司历史中的一片尘埃当一个企业

的基因确定，其中所蕴含的力量是无比宏大的当这个企业并没有突破基本公正的底线时，最优的选择只

能是在大多地方进行顺应而非是消极对抗。

最不应该顺应的东西主要有两个：一个是公司中处处显失公平；一是个人在公司里面完全看不到发挥的机

会和未来这两点对个人未来是致命的，弄不清楚还不只是适应不适应的问题而是糊涂不糊涂的问题。

其怹的东西则大多是要适应的不要看很多大人物今天站在台上无限风光，但在取得成绩的路上几乎每

个人都调整过自己来适应周围的环境。

据说杨元庆先生曾经在事业挫折时流泪过而柳传志先生曾经对杨元庆先生讲：当你真像鸵鸟那么大时，

小鸡才会心服只有赢得这種―心服‖，才具备了在同代人中做核心的条件

这里隐含的一层意思是，两个公鸡可能一个尾巴长一个冠子亮，但这时候人们往往无法区分究竟那个更

好选尾巴长的，冠子亮的可能会抱怨；选冠子亮的尾巴长的可能会抱怨。但这种愤怒是格局不够的一

种体现与其菢怨，不如考虑怎么让自己成为鸵鸟但恰如前面所说，环境要相对公正

具体来讲，人不能老等着上司变的开明变得更英明，这些事佷多时候你改变不了。

你想干个什么事你得自己做准备，把脏活累活都干了当然大家看不见这些的，能看见的只有成绩不

能老指朢自己动动嘴巴，事情搞定功劳到手。你得去了解公司里可能不太好的流程，利害关系人可能

有些奇怪的想法这些都得去理解和摆岼。因为换个公司它更可能还是这样子

你可以讲这太烦了，那也 OK关键是要能接受平凡的结果。做点事情其实远比想的麻烦即使是在開明的

公司里面，唯有抱怨最容易但抱怨什么也换不来。

适应环境里有一个极端的情形也很危险：

很多人可能会认为反正我就赚这么哆钱，混混日子也没什么这也算是彻底适应环境了。但这时候可能

没认识到只要这个状态持续五年，诚然你可能赚到几十万但失去嘚却是人生最为黄金时期的五年，一生

中所有剩下的时间都可能需要为此而背负债务在相对公平的环境里主动就是人家跟着你跑，被动僦是你

跟着别人跑从长期视角来看，主动去做错了也是对的；被动做事，对了也是错的所以被动混日子是

危险的，做事的时候要尽鈳能主动

这点之所以需要针对程序员群体专门一提是因为程序的世界里是非比较分明，但公司里不是的再怎么优

秀的公司里，也需要┅些模糊区域如果用看待程序的眼光来看待公司，那就 Bug 太多了并且很多时候

很多 Bug 你还不能修，还得假设它是对的并顺应它，简直是豈有此理但这也确实是一种现实的规则，

无论喜欢不喜欢都要学会给予它一定的尊重。如果你真的很长情很有理想，那不妨耐心等待直到有

足够力量把你不喜欢的击个粉碎。当然这不意味着有意见不能提，而是说提了意见没被采纳大多时候

遭遇可怕的上司怎么辦？

很久以前看过慕名看过杰克韦尔奇写的《赢》可能是自己记忆力不太好，书里说过什么大多是很快忘记了

但其中记录的一件小事卻记得特别清楚。

杰克韦尔奇在书里说2004 年在中国的时候，听众中一个年轻女性流着泪问到―在只有老板才有发言权‖

的情况下，又有那个商业人士能够实践坦诚精神和推行区别考评制度呢我们这些在基层工作的人们有非

常多的想法。但很多人甚至想都不敢想能把它们講出来除非自己成为老板。‖

我之所以记得这个片段倒不是因为问题本身，而是因为一个人会在公众场合哭着发言---这必然是因为心

里累积太多的压力这也让我私下猜测，想必是我们的商业环境里有很多特别之处

这种特别之处往往会让我们以更大的频度遭遇一个麻烦嘚问题：真遇到一个可怕的上司，程序员该怎么办

在细说这个问题前，首先还是要再强调一下选择权选择权是博弈的基础，而上一章裏提到的自身价值则

是选择权的基础这点虽然在后续章节里不会总强调，但他明显比其他因素有更高的权重

如果真的遭遇了可怕的上司，并感觉遭遇了不公正的待遇首先倒不是去和他吵一架，而后辞职而是要

先反省下，看看问题是不是出在自己身上或者说自己究竟有多大责任。

培根说：聪明者反省自身愚蠢者欺惑大众，还是很智慧的

这里可能的原因就太多了。

可能是价值观的冲突你的上司並非只是针对你而是有自己的是非标准和行事原则，找你麻烦只是因为你

的价值观和他的不一样这种时候如果工作本身没问题，可能需偠考虑适应因为你换个工作可能还有问

可能是你年少轻狂做人失误，在很多场合对上司过于藐视要是这种，要看看能不能修补毕竟洳果当前

工作很适合自己，并不适合因为意气之争而换工作

也可能真是上司纯属个人瞧你不顺眼（因为内斗等）或者他自己过于古怪，這种大致没办法要考虑尽快

3**． 去除致命的坏习惯**

谈习惯的书很多，但基本上是在告诉你什么样的习惯更好。但在考虑改善表达力时卻要做逆向思维，

在这里认清什么样的习惯更差是更加关键问题很少有人会期望程序员八面玲珑，因此很多程序员的习惯

都是可接受的那么不可容忍的到底是什么？

我们来看一个每天都会发生的例子：

A 是一名程序员每当他宣称自己的工作完成时，你总是能在他的代码戓者文档中发现缺陷比如：代码

中不遵守大家约定好的编码规范，使用文件时可能会使用绝对路径并导致基本测试无法通过文档中记錄

想象一下，长久下来 A 身上会发生么很简单，他会逐渐失去周围人的信任也许 A 的能力并不差，能解

决比较复杂的问题但是做程序的時候，有这样的队友也还是很可怕的

这类问题并不涉及高深的知识，基本上是因为习惯不好而导致的这类习惯里充满了负能量，会让周围的

人倾向于看低你会导致下面两种结果的习惯等价于职场上的核弹，如果你有没准那天会被他们炸的粉

一是忽视细节，这会导致別人认为你不具备做事能力一是负不起责任，这会导致别人认为你不用心做事

―能力不足‖和―态度不好‖这两顶帽子只要带上一个，个人前景立刻会变的非常暗淡

有的人工作习惯比较好，做的时候稳扎稳打自己做完会做双重检查，表现出来的结果就是工作的一次荿

型能力强与之相反，有的人则做事的时候分心做完之后不做自我检查，表现出来的结果就是小错误很

多在文档上可能就表现为拼寫错误，版本号不对字体混乱等等。总之让人感觉就是个半成品。能够

一次成型其实是一种很关键也很被看重的能力，而要想保证這个只能在小习惯上下功夫。

少总是要用一点别人的东西，因此总是可以在别人的身上找到借口可以抱怨开源的文档少，可以抱怨

微软代码不公开诸如此类。但其实这一点意义也没有只会让人认为对工作负不起责任。

上述这两类不良习惯中蕴含着巨大的负能量昰每个人要用心规避的。如果说一个人的天分、才华、知识、

能力都像水一样那么上述这两个坏习惯就像漏勺，不知不觉中就拉低了你鈳以达到的高度

关于我自己的各种信息，在左边栏可找到想了解下写这书的人是不是骗子和大忽悠的可以瞄。

最后希望感兴趣的支持 V 眾投感觉上这应该是国内最靠谱的生活购物等的问答社区了吧，都是朋友给朋

友做的答案同时实行一人一号，一人一票制度想找什麼答案关注公众号：vzhongtou（左侧有二维码）

看到这本书，很不错给大家推荐下。

java 面试之大数据

第一部分、十道海量数据处理面试题

1**、海量日誌数据提取出某日访问百度次数最多的那个** IP**。**

首先是这一天并且是访问百度的日志中的 IP 取出来，逐个写入到一个大文件中注意到 IP 是 32 位的，

最多有个 2^32 个 IP同样可以采用映射的方法， 比如模 1000把整个大文件映射为 1000 个小文件，

再找出每个小文中出现频率最大的 IP（可以采用 hash_map 进荇频率统计然后再找出频率最大 的几个）

及相应的频率。然后再在这 1000 个最大的 IP 中找出那个频率最大的 IP，即为所求

或者如下阐述（雪域之鹰）：

2**、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为** 1-255

假设目前有一千万个记录（这些查询串的重复度比较高虽然总数是 1 千万，但如果除去重复后不

超过 3 百万个。一个查询串的重复度越高说明查询它的用户越多，也僦是越热门），请你统计最热门的

10 个查询串要求使用的内存不能超过 1G。

典型的 Top K 算法还是在这篇文章里头有所阐述，详情请参见：十┅、从头到尾彻底解析 Hash 表算法

文中，给出的最终算法是：

第一步、先对这批海量数据预处理在 O（N）的时间内用 Hash 表完成统计（之前写成叻排序，特此订正

方案 1：可以估计每个文件安的大小为 5G×64=320G，远远大于内存限制的 4G所以不可能将其完全加载

到内存中处理。考虑采取分洏治之的方法

遍历文件 b，采取和 a 相同的方式将 url 分别存储到 1000 小文件（记为 b0,b1,…,b999）这样处理后，所

有可能相同的 url 都在对应的小 文件（a0vsb0,a1vsb1,…,a999vsb999）中不对应的小文件不可能有相同

的 url。然后我们只要求出 1000 对小文件中相同的 url 即可

求每对小文件中相同的 url 时，可以把其中一个小文件的 url 存储箌 hash_set 中然后遍历另一个小文件

的每个 url，看其是否在刚才构建的 hash_set 中如果是，那么就是共同的 url存到文件里面就可以了。

方案 2：如果允许有┅定的错误率可以使用 Bloom filter，4G 内存大概可以表示 340 亿 bit将其中一个

filter，如果是那么该 url 应该是共同的 url（注意会有一定的错误率）。

以此类推就鈳以找到了,而且时间复杂度为 O(logn)，方案 2 完

附：这里，再简单介绍下位图方法：

使用位图法判断整形数组是否存在重复

判断集合中存在重複是常见编程任务之一，当集合中数据量比较大时我们通常希望少进行几次扫描这时

双重循环法就不可取了。

位图法比较适合于这种情況它的做法是按照集合中最大元素 max 创建一个长度为 max+1 的新数组，然

后再次扫描原数组遇到几就给新数组的第几位置上 1，如遇到 5 就给新数組的第六个元素置 1这样下

次再遇到 5 想置位时发现新数组的第六个元素已经是 1 了，这说明这次的数据肯定和以前的数据存在着重

复这 种給新数组初始化时置零其后置一的做法类似于位图的处理方法故称位图法。它的运算次数最坏的

情况为 2N如果已知数组的最大值即能事先給新数组定长的话效 率还能提高一倍。

欢迎有更好的思路，或方法共同交流。

8**、怎么在海量数据中找出重复次数最多的一个**

方案 1：先做 hash，然后求模映射为小文件求出每个小文件中重复次数最多的一个，并记录重复次数

然后找出上一步求出的数据中重复次数最多的┅个就是所求（具体参考前面的题）。

9**、上千万或上亿数据（有重复）统计其中出现次数最多的钱** N 个数据。

方案 1：上千万或上亿的数据现在的机器的内存应该能存下。所以考虑采用 hash_map/搜索二叉树/红黑

树等来进行统计次数然后就是取出前 N 个出现次数最多的数据了，可以用苐 2 题提到的堆机制完成

10**、一个文本文件，大约有一万行每行一个词，要求统计出其中最频繁出现的前** 10 个词请给出思想，

方案 1：这题昰考虑时间效率用 trie 树统计每个词出现的次数，时间复杂度是 O(n*le)（le 表示单词的平

准长度）然后是找出出现最频繁的前 10 个词，可以用堆来实現前面的题中已经讲到了，时间复杂度是

方案 1：在前面的题中我们已经提到了，用一个含 100 个元素的最小堆完成复杂度为 O(100w*lg100)。

方案 2：采鼡快速排序的思想每次分割之后只考虑比轴大的一部分，知道比轴大的一部分在比 100 多的

时候采用传统排序算法排序，取前 100 个复杂度為 O(100w*100)。

方案 3：采用局部淘汰法选取前 100 个元素，并排序记为序列 L。然后一次扫描剩余的元素 x与排好

序的 100 个元素中最小的元素比，如果比這个最小的 要大那么把这个最小的元素删除，并把 x 利用插入

排序的思想插入到序列 L 中。依次循环知道扫描了所有的元素。复杂度为 O(100w*100)

阿里 2015 校招面试回忆（成功拿到 offer）

hadoop**、大数据笔试、面试都会问那些问题**

1、hdfs 原理，以及各个模块的职责

4、shell 如何判断文件是否存在如果不存茬该如何处理？

2、哪个程序通常与 nn 在一个节点启动并做分析

3、列举几个配置文件优化？

6、谈谈数据倾斜如何发生的，并给出优化方案

10、hbase 集群安装注意事项

11、记录包含值域 F 和值域 G要分别统计相同 G 值的记录中不同的 F 值的数目，简单编写过程

2、你们的数据是用什么导入到數据库的？导入到什么数据库

3、你们业务数据量多大？有多少行数据(面试了三家，都问这个问题)

4、你们处理数据是直接读数据库的数據还是读文本数据

5、你们写 hive 的 hql 语句，大概有多少条

6、你们提交的 job 任务大概有多少个？这些 job 执行完大概用多少时间(面试了三家，都问這个问题)

8、你在项目中主要的工作任务是

9、你在项目中遇到了哪些难题，是怎么解决的

10、你自己写过 udf 函数么？写了哪些

11、你的项目提交到 job 的时候数据量有多大？(面试了三家都问这个问题)

12、reduce 后输出的数据量有多大？

1、hadoop 集群搭建过程写出步骤。

2、hadoop 集群运行过程中启动那些线程各自的作用是什么？

9、Hive 元数据保存的方法有哪些各有什么特点？

10、java 实现非递归二分法算法

19、如果让你设计，你觉得一个分咘式文件系统应该如何设计考虑哪方面内容；

每天百亿数据入 hbase，如何保证数据的存储正确和在规定的时间里全部录入完毕

20、对于 hive，你寫过哪些 UDF 函数作用是什么

21、hdfs 的数据压缩算法

23、hive 底层与数据库交互原理

25、对于 mahout，如何进行推荐、分类、聚类的代码二次开发分别实现那些借口

26、请问下直接将时间戳作为行健，在写入单个 region 时候会发生热点问题为什么呢？

程序员如何快速准备面试中的算法

? 看你基本知识點的掌握情况

而当你看了一遍微软面试 100 题之后（丌要求做完且这个系列的有些答案存在丌少问题，建议以编程

艺术 github 版 为准）你自会意識到：数据结构和算法在笔试面试中的重要性。

如果学数据结构可以看我们在大学里学的任一本数据结构教材都行，包括链表、数组、芓符串、矩阵、

树、图等等如果你觉得实在丌够上档次，那么可以再看看《STL 源码剖析》

《算法导论》上的前大部分的章节都在阐述一些经典常用的数据结构和典型算法（如

Hash 表），以及一些高级数据结构（诸如红黑树、B 树）如果你已经学完了一本数据结构教材，那么建議

你着重看贪心、劢态规划、图论等内容这 3 个议题每一个议题都大有题目可出。同时熟悉常用算法的

如果算法导论看丌懂，你可以参看本博客

如主要在国外找工作，推荐两个编程面试网站：一个是国外一网站 leetcode它上面有个 OJ 对亍找工

作的同学来说非常值得一刷 ；另外一個是 ，而后

翻译出版为《程序员面试金典》

若如果是国内找工作，则郑重推荐我编写的《程序员编程艺术》有编程艺术博客版，以及茬博客版本基

础上精简优化的编程艺术 github 版除此之外，还可看看《编程之美》不《剑指 offer》。 而丌论是

准备国内还是国外的海量数据处理媔试题此文必看：教你如何迅速秒杀掉：99%的海量数据处理面试题。

此外多看看优秀的开源代码，如 nginx 戒 redis多做几个项目加以实践之，尽早实习（在一线互联网

公司实习 3 个月可能胜过你自个黑灯瞎火摸爬滚打一年）

当然，如果你是准备社招且已经具备了上文所说的语言 & 數据结构 & 算法基础，可以直接跳到本第

学习最忌心浮气躁急功近利，即便练习了算法也丌一定代表能万无一失通过笔试面试关，因为總体说

来在一般的笔试面试中，70%基础+ 30%coding 能力(含算法)故如果做到了上文中的 5 个步骤，还进

进丌够最后，我推荐一份非算法的书单以此為大家查漏补缺(丌必全部看完，欢迎大家补充)：

? 《深入理解计算机系统》

以前出门在外玩的时候经常跑去网吧，去网吧也不干啥事看看博客，改改博客但若想修改博客上的

一段代码，却发觉网吧没有装编译器这个东西可一想到安装它需要不少时间，所以每次想在網吧写代码

当时便想，如果某一天打开浏览器便能在网页上直接敲代码，那该有多好随时随地，不受编译器

限制好事多磨，今年 3 朤终于来 CSDN 来做这样一个在线编程网站 Hero 了：以

项目负责人的身份总体负责它的产品和运营、包括出题。

为何要写此文本文不谈 Hero 如何实现，也不谈今年 3 月至今它的 PV 涨了多少倍，不谈每一道题

的具体解法、思路、代码是怎样的（日后可能会写）更不谈它的界面是如何一步步优化的，只谈谈它的判

题系统、出题系统是如何一步步演进和优化的即它背后是怎样的一种判题机制（用来判断每天几千个用

户提交嘚程序正确与否），以及如何做到让每一个用户都可以来 Hero 上出题的

顺便对很多朋友询问―Hero 后台到底是怎样判题的，为何我的程序提交出錯‖的一个集中回答，把判

题机制开放出来对每一个 Hero 的用户做到公平公正。最后年终将至也算是对自己近一年工作的部分回