运行第一个SparkStreaming程序（及过程中问题解决） - 简书
运行第一个SparkStreaming程序（及过程中问题解决）
官方示例说明
按照官方文档的 ，可以轻松的在本地的spark-shell环境中测试这个示例。示例，即为了更好的入门，那么就再说明一下。运行这个统计单词的方式有三种，前面两种是官方文档上的指引，第三种则是用scala程序运行。
第一种方式, run-demo
打开一个终端，打开一个终端，输入 命令 nc -lk 9999，暂时叫做 “nc终端” 吧
再打开终端，切换到Spark HOME目录， 执行命令 bin/run-example org.apache.spark.examples.streaming.NetworkWordCount localhost 9999， 然后每秒会有类似一下日志循环输出
-------------------------------------------Time: 0 ms--------------------------------------------------------------------------------------Time: 0 ms-------------------------------------------
在nc终端随便输入一些字符串，用空格隔开，回车，如aa aa bb c。可以在上面的Spark终端中看到有新内容输出
-------------------------------------------Time: 0 ms-------------------------------------------(aa,2)(bb,1)(c,1)
OK，成功！
第二种 spark-shell 模式
下面介绍在spark-shell中输入scala代码运行的方式。
同上面第一步，打开一个终端，打开一个终端，输入 命令 nc -lk 9999，暂时叫做 “nc终端” 吧
再打开一个终端， 切换到Spark HOME目录下，输入 bin/spark-shell （如果你已经安装好了Spark的话，直接输入 spark-shell 即可），等待Spark启动成功，会打印信息
Spark context available as sc.scala&
然后输入以下语句：
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._
import org.apache.spark.api.java.function._
import org.apache.spark.streaming._
import org.apache.spark.streaming.api._
// Create a StreamingContext with a local master
val ssc = new StreamingContext(sc, Seconds(1))
// Create a DStream that will connect to serverIP:serverPort, like localhost:9999
val lines = ssc.socketTextStream("localhost", 9999)
// Split each line into words
val words = lines.flatMap(_.split(" "))
import org.apache.spark.streaming.StreamingContext._
// Count each word in each batch
val pairs = words.map(word =& (word, 1))
val wordCounts = pairs.reduceByKey(_ + _)
// Print a few of the counts to the console
wordCounts.print()
ssc.start()
// Start the computation
ssc.awaitTermination()
// Wait for the computation to terminate
会打印以下信息：
14/11/11 18:07:23 INFO MemoryStore: ensureFreeSpace(2216) called with curMem=100936, maxMem=......14/11/11 18:07:23 INFO DAGScheduler: Stage 91 (take at DStream.scala:608) finished in 0.004 s14/11/11 18:07:23 INFO SparkContext: Job finished: take at DStream.scala:608, took 0. s -------------------------------------------Time: 0 ms-------------------------------------------
同第一种方式的第3步，随便输入一些字符串，用空格隔开，回车，如aa aa bb c。可以在上面的Spark终端中看到有新内容输出
-------------------------------------------Time: 0 ms-------------------------------------------(aa,2)(bb,1)(c,1)
OK，成功！
第三种 scala-ide编程方式
在用这种方式运行这个demo代码的时候，遇到了不少问题，记录下来，供大家参考。这个例子，请大家先根据这里记录的方式进行操作，得到一个可以运行的程序，后面我会记录遇到的问题。
下载scala-ide, ，下载 For Scala 2.10.4 下的对应平台的ide，解压，运行。
安装sbt，,
安装sbteclipse, , 编辑 ~/.sbt/0.13/plugins/plugins.sbt 文件， 添加以下内容 addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.5.0")，如果没有plugins目录和plugins.sbt，自行创建。
用向导创建一个scala项目，并在项目根目录下创建一个build.sbt文件，添加以下内容(注意，每行正式语句之后要换行)
name := "spark-test"
version := "1.0"
scalaVersion := "2.10.4"
// set the main class for the main 'run' task// change Compile to Test to set it for 'test:run'mainClass in (Compile, run) := Some("test.SparkTest")
libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.1.0"
创建test.SparkTest.scala文件，添加以下代码
package testimport org.apache.spark.streaming.import org.apache.spark.streaming.StreamingContext.import org.apache.spark.SparkContextimport org.apache.spark.api.java.function.import org.apache.spark.streaming.import org.apache.spark.streaming.api._
object SparkTest {def main(args: Array[String]): Unit = { // Create a StreamingContext with a local master // Spark Streaming needs at least two working thread val ssc = new StreamingContext("local[2]", "NetworkWordCount", Seconds(10)) // Create a DStream that will connect to serverIP:serverPort, like localhost:9999 val lines = ssc.socketTextStream("localhost", 9999) // Split each line into words val words = lines.flatMap(.split(" ")) // Count each word in each batch val pairs = words.map(word =& (word, 1)) val wordCounts = pairs.reduceByKey( + _) wordCounts.print ssc.start ssc.awaitTermination}}
终端中切换目录到这个项目根目录，输入命令 sbt ， 命令运行成功后，敲入 eclipse 生成eclipse项目和项目所需依赖
同第一种方式的第1,3步，再打开一个终端，输入 命令 nc -lk 9999。然后运行刚才写的main程序，在nc终端中输入一些字符串，用空格隔开，回车，如aa aa bb c。可以在ide控制台中观察到 -------------------------------------------Time: 0 ms-------------------------------------------(aa,2)(bb,1)(c,1)
OK，成功！
下面是遇到的问题及解决方法：
1. 运行程序说找不到主类
解：没有在sbt文件配置主类是哪个，在build.sbt
文件中添加以下代码
mainClass in (Compile, run) := Some("test.SparkTest")
Some中就是主类的路径
2. java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
这个问题困扰了我很长时间，一直没找到怎么解决。后来看到说是scala每次版本升级不兼容以前的版本编译的库，于是换了对应的版本的ide才正常运行。解：scala-ide版本和现在用的spark包依赖编译的scala版本不一致， 请下载上面说过的 scala-ide For Scala 2.10.4 版本。
博客地址:http://todu.top游戏主播yxzb
最新游戏视频videos
搞笑段子gxdz
当前位置： >
QQ飞车SSC武汉站线上报名活动介绍 QQ飞车SSC2017秋季赛武汉站怎
发布时间: 12:19 编辑：admin
QQ飞车SSC武汉站线上报名活动介绍，QQ飞车SSC2017秋季赛武汉站怎么线上报名？下面就让小编来告知你吧！
传奇最经典网页版，多人团战跨服竞技弄法冰火战场，十年最经典游戏，好汉合击，3D殊效壮丽，赶快注册试玩一下， &&=点击进入=&&
SC2017秋季赛火爆进行中，刚结束了缓和剧烈的西安站线下总决赛，武汉站紧随其后，9月15日线上报名正式开启，邀你赛道逐鹿！
1、SSC2017秋季赛武汉站报名从9月15日12:00正式开启，时光共连续8天，在9月22日12:00停止。
2、想要参赛的玩家通过线上报名通道绑定大区角色即可轻松参赛，报名还将免费取得1000点券，与大神高手独特争取线下升级名额的机遇，千万不要错过！
3、线上赛结束后个人竞速排行榜电信区前5名、联通前2名、电信二区第1名获得晋级线下分站决赛名额。
4、车队竞速/车队道具排行榜电信区前2名、联通第1名、电信二区第1名晋级线下分站赛名额。
&&&线上报名链接&&&
线上比赛时间
9月22日-24日、9月30日-10月2日每晚8:00-9:30。
参加比赛的玩家将会获得丰厚的奖励，比赛设有累计参赛奖，比赛期间天天在游戏内参赛实现一局比赛即可计为参赛1天。
1、累计参赛一天可以获得500点券；
2、累计参赛2天能够获得1000点券、1000花费券；
3、累计参赛3天可以获得SSC非卖疾影车手定制手杖（30天）；
4、累计参赛4天获得SSC非卖疾影车手赛车服（30天）；
5、累计参赛5天获得SSC2017武汉站参赛挂饰（永久）。
玩家通过参赛获得的积分可以进行抽奖，每20积分可以进行一次抽奖，有机会赢取超值奢华奖励。
失掉对应积分数还将拿到竞赛送出的一系列嘉奖，包含SSC2017武汉站参赛车手名称（永恒）、SSC2017武汉站参赛车手背景（永远）、SSC定制A车流金刺客等。
个人线上排名奖励仍然丰富。
1-10名可以获得永久SSC线上赛王者车手背景、永久SSC线上赛王者车手挂饰、永久SSC线上赛王者车手咭片夹。
11-100名可以获得180天SSC线上赛钻石车手背景、180天SSC线上赛钻石车手挂饰、180天SSC线上赛钻石车手名片夹。
线上赛冠军车队将获得180天SSC线上赛冠军车队留念背景、180天SSC秋季赛线上冠军车队套装、180天SSC线上赛冠军车队纪念手刺夹、360天A车幻影蓝魔、永久车队名人堂挂饰以及3万点券。
秋季赛武汉站精彩来袭，参赛即可免费领取豪华大奖，豪情盛宴与你有约！
以上就是小编为大家介绍的SSC秋季赛武汉站线上报名先容，大家快来加入享受比赛吧！
出色活动推荐 9月活动 抽奖活动 节日活动 活动专区 热点专区推举 赛道专区 功效道具 首发专区
上一篇：   下一篇：
相关文章：
抵制不良游戏，拒绝盗版游戏。 注意自我保护，谨防受骗上当。 适度游戏益脑，沉迷游戏伤身。 合理安排时间，享受健康生活。
    SSC2017秋季赛青岛站激情来袭，报名火爆进行中！
SSC2017秋季赛火爆进行中，青岛站线上海选10月6日线上报名通道正式开放，极速对决邀你来战！　
SSC2017秋季赛青岛站报名从10月6日12:00正式开启，时间共持续8天，在10月13日12:00结束，报名将免费获得1000点券哦！
线上海选时间定为10月13日-15日、10月20日-22日每天20:00-21:30，玩家将分为电信区、联通区以及电信二区进行比赛。
参与比赛的玩家将会获得丰厚的奖励，比赛设有累计参赛奖，比赛期间每天在游戏内参赛完成一局比赛即可计为参赛1天。
玩家通过参赛获得的积分可以进行抽奖，每20积分可以进行一次抽奖。获得对应积分数还将拿到比赛送出的一系列奖励，包括SSC2017青岛站参赛车手称号（永久）、SSC2017青岛站参赛车手背景（永久）、SSC定制A车黑魔爵士等。
个人线上排名奖励异常丰厚
1-10名可以获得永久SSC线上赛王者车手背景等丰厚奖励。
11-100名可以获得180天SSC线上赛钻石车手背景等丰厚奖励。
线上赛冠军车队将获得180天SSC线上赛冠军车队纪念背景、永久车队名人堂挂饰以及点券等丰厚奖励。　　
与此同时，比赛还为线下决赛准备了高额奖励，个人竞速赛冠军与车队赛冠军将会获得丰厚人民币奖励、SSC2017秋季赛分站冠军奖杯、证书专属定制极品道具奖励。
SSC2017秋季赛青岛站精彩来袭，参与比赛享受极速对决的激情与刺激，赶紧报名吧！
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点}