茶艺表演 中英互译_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
茶艺表演 中英互译
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，查找使用更方便
还剩6页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢6976人阅读
youth（10）
&&& Slideshare.net上有很多不错的Slide都没有提供下载链接，平常倒也无所谓，都是收藏后直接在线观看的。
&&& 这段时间对ZARA的商业模式很感兴趣，相关的文档较少，刚好在Slideshare上有几个关于ZARA不错的Slides，而且都没有提供下载，需要保存到本地以供好好研究，于是研究了一下从Slideshare下载Slide的方法。
1、在线视频站点的FLV文件下载方法
&&& 对于像Youtube、优酷这样采用Flash技术的视频网站，要下载其FLV文件，有如下几种方法：
&&& 1)、使用Firefox 的、 这样的插件下载
&&& 2)、使用第三方的下载工具，诸如Orbit Grab++、维棠FLV视频下载软件、UUme FLV Spy、网络嗅探器(影音神探)等
&&& 3)、使用一些专门提供解析流行的视频网站下载地址的服务，例如、等
&&& 以上方案都有其局限性，只适合或服务软件支持的一些网站，因此也很少使用。
&&& 4)、使用Live HTTP Headers、Firebug、Wireshark、Sniffer、URL Snooper这样的抓包器抓包，获得FLV的实际下载地址，然后直接用下载工具下载
&&& 5)、利用浏览器的临时文件夹。在通过浏览器观看视频、观看图片的时候，视频文件及图片等已经下载到浏览器的临时文件夹里了，因此可以到浏览器的临时文件夹中直接查找对应的视频即可。
&&&&& IE浏览器临时文件夹：工具-&Internet选项-&常规-&Internet临时文件-&设置-&查看文件
&&&&& Firefox临时文件夹：about:cache-&Disk cache device-&-&CTRL+F查找
&& 以上两种方案基本上能够通吃所有的视频网站，只是相对麻烦一点。
2、Slideshare的SWF文件下载方法
&&& 尽管Slideshare也是采用Flash技术来实现Slide展示，但与Youtube、Youku这样的视频网站不同的是，其每一个幻灯片都是独立的Flash的SWF文件，并不是FLV格式的Flash Video文件，而且近期似乎Slideshare对SWF的地址也进行了特殊处理，直接用方法4的抓包器进行抓包，并不能获得SWF文件实际的下载地址。
&&& 例如，我要下载的SWF文件，可以有如下几种方法
&&& 1)、清除Firefox的隐私数据，在浏览器浏览完所有的幻灯片，然后到浏览器的临时文件夹中查找对应的SWF文件。此种方案适合幻灯片较少的情况，如果幻灯片有上百页，考虑到slideshare上经常出现始终“Loading…”的情况，在线观看能否看完以及看完后查找都是一个大问题。
&&& 2)、清除Firefox的隐私数据，访问要下载的幻灯片（只需要到初始页，不需要浏览所有的幻灯片），然后到浏览器的临时文件夹中查找对应的类似“SLIDE_NAME.xml”这样的xml文件的路径，其中SLIDE_NAME大致为幻灯片的名称，例如对应的为http://cdn.slideshare.net/zara2820.xml? ，此xml文件实际上就是幻灯片对应的所有的SWF文件的下载地址，例如：
&Show Id="98359"& &Slide Src="& &Slide Src="& &Slide Src="& … &Slide Src="& &Slide Src="& &/Show&
&&& 然后用Orbit、迅雷这样的下载工具的批量下载功能直接下载这些文件到指定的文件夹。
&&& 其实在Slideshare没有改变SWF的处理方式前，像、还是挺方便的。
&&& 可以参考：
3、Slideshare的SWF文件转化为PDF幻灯片
&&& 目前尚未找到好的工具能够直接把Slideshare的SWF文件直接转化为ppt或pdf的幻灯片文件，像Flash搅拌器这样的工具其实也很难用。
&&& 目前采用如下的方法：
&&& 1)、安装Acrobat Professional 8。
&&&&&&& 注意是Acrobat Professional ，不是Acrobat Reader；以前的Acrobat版本也行，只不过Acroabt 8对于合并多个PDF文件较为方便。
&&& 2)、Acrobat安装完成后，缺省在控制面板的“打印机和传真”中创建了“Adobe PDF”的虚拟打印机，设置“Adobe PDF”的属性：
&&& “Adobe PDF属性-&打印首选项-&布局-&方向”：设置为横向 &&& “Adobe PDF属性-&打印首选项-&Adobe PDF设置-&Adobe PDF页面大小”：设置为Slide 7.5 x 10
&&& 3)、将下载SWF文件直接拖到浏览器中，然后右键-&打印-&常规-&选中Adobe PDF为打印设备-&打印
&&& 4)、使用Acrobat 8的合并文件功能，合并所有的pdf文件
&&& 这样就得到了SWF文件对应的PDF格式的幻灯片。
&&&&&&&&&&&&&Slideshare PPT下载shell脚本
&&& 以前总结过在slideshare上下载文件的方法(参考：） ，只不过以上下载操作都需要手工操作，极其不人性化。尤其是在将swf格式的文件转化为pdf格式时候，要手动对一个几十页的ppt执行以上操作不累死人才怪，因此方法归方法，我自己都不怎么使用。&&&
&&& 是一个shell脚本，能自动下载slideshare上不提供下载功能的ppt并保存为pdf格式的文档。只不过在本机的Redhat Enterprise Server 5.3上试了一下，发现脚本有些问题。
&&& 1、Slideshare Downloader用于解码swf文件的swfdec包在Redhat Enterprise Server上安装很麻烦，依赖一大堆包，捣腾了半天都未搞定，于是放弃掉使用swfdec。
&&&&&&& swfdec项目似乎从08年依赖就未更新过了，其官方wiki & 也许久未维护了，登录进去全是灌水的广告帖子，刚开始还以为走错地方了。
&& 2、Slideshare Downloader直接用imagemagick的convert命令将多个png文件转化为一个pdf文件，测试了一下似乎不行。按照imagemagick 官方帮助的说明，多个png格式的文件不能直接使用convert命令合并成一个pdf文件&&&&&
&&& However, some formats, such as JPEG and PNG, do not support more than one image per file, and in that case ImageMagick is forced to write each image as a separate file.&
&& 3、Slideshare Downloader脚本应该是在Ubuntu等Debian系列的环境上测试的，在Redhat 下一些命令的语法似乎有问题
&&&&& 在处理BASH_REMATCH 时候， RedHat 要加“”
if [[ "$DOCID" =~ "([a-z0-9-]+)$"
DOCID=${BASH_REMATCH[0]}
echo $DOCID
&&&&&& 在Redhat下sort命令无-V参数
&&&& 基于以上几个原因，为方便自己使用,对Slideshare Downloader脚本进行了调整，测试了几个文档，应该还行。需要安装、、 包
&&& 大致的方法：
&&& 1、使用wget -q –O 获得指定url地址文档的所有swf文件的实际地址并下载
&&& 2、使用swftools的swfrender命令将swf文件转为png格式的文件
&&& 3、使用imagemagick的convert& +adjoin 将png格式的每个文件都转化为对应的单个pdf文件。
&&& 4、使用pdftk将多个pdf文件合并成一个pdf文件
&&&& 在合并多个pdf文件为一个pdf文件时候，由于需要按照页面顺序合并，因此使用了sort -k1.3
&&&&& PDFS=`ls *.pdf | sort -k1.3 `
&& 调整过的代码（只在Redhat 上做了测试，且对代码未做优化）：
#!/bin/bash# Author: Andrea Lazzarotto
# Slideshare Downloader# This script takes a slideshare presentation URL as an argument and
# carves all the slides in flash format, then they are converted to
# and finally merged as a PDF
# License:# Copyright
Andrea Lazzarotto
# This script is licensed under the Gnu General Public License v3.0.
# You can obtain a copy of this license here:
# Usage:# slideshare-downloader.sh URL [SIZE]
#———————————————–# Modify 7/08/2011 by giudinvx
# Email& giudinvx[at]gmail[dot]com
#———————————————–
validate_input() {
&&& # Performs a very basic check to see if the url is in the correct form
&&& URL=`echo "$1" | cut -d "#" -f 1 | cut -d "/" -f 1-5`
&&& DOMAIN=`echo "$URL" | cut -d "/" -f 3`
&&& CORRECT=’www.slideshare.net’
&&& if [[ "$DOMAIN" != "$CORRECT" ]];
&&&&&&& then
&&&&&&&&&&& echo "Provided URL is not valid."
&&&&&&&&&&& exit 1
&&& if echo -n "$2" | grep "^[0-9]*$"&/dev/null
&&&&&&& then SIZE=$2
&&&&&&& else
&&&&&&&&&&& SIZE=2000
&&&&&&&&&&& echo "Size not defined or invalid… defaulting to 2000."
check_dependencies() {&&& # Verifies if all binaries are present
&&& DEP="wget sed seq& convert"
&&& ERROR="0"
&&& for i in $DEP; do
&&&&&&& WHICH="`which $i`"
&&&&&&& if [[ "x$WHICH" == "x" ]];
&&&&&&&&&&& then
&&&&&&&&&&&&&&& echo "Error: $i not found."
&&&&&&&&&&&&&&& ERROR="1"
&&&&&&& fi
&&& if [ "$ERROR" -eq "1" ];
&&&&&&& then
&&&&&&&&&&& echo "You need to install some packages."
&&&&&&&&&&& echo "Remember: this script requires Imagemagick and Swfdec."
&&&&&&&&&&& exit 1
build_params() {&&& # Gathers required information
&&& DOCSHORT=`echo "$1" | cut -d "/" -f 5`
&&& echo "Download of $DOCSHORT started."
&&& echo "Fetching information…"
&&& INFOPAGE=`wget -q -O – "$1"`
&&& DOCID=`echo "$INFOPAGE" | grep "doc=" | cut -d "=" -f 3 | cut -d "&" -f 1`
&&& if [[ "$DOCID" =~ "([a-z0-9-]+)$" ]]
&&&&&&& DOCID=${BASH_REMATCH[0]}
&&&&&&& echo $DOCID
&&&&&&& exit 1
&&& SLIDES=`echo "$INFOPAGE" | grep "totalSlides" | head -n 1 | sed -s "s/.*totalSlides//g" | cut -d ":" -f 2 | cut -d "," -f 1`
&&& echo "Slides: $SLIDES"
&&& echo "Size: $SIZE"
create_env() {&&& # Finds a suitable name for the destination directory and creates it
&&& DIR=$DOCSHORT
&&& if [ -e "$DIR" ];
&&&&&&& then
&&&&&&&&&&& I="-1"
&&&&&&&&&&& OLD=$DIR
&&&&&&&&&&& while [ -e "$DIR" ]
&&&&&&&&&&& do
&&&&&&&&&&&&&&& I=$(( $I + 1 ))
&&&&&&&&&&&&&&& DIR="$OLD.$I"
&&&&&&&&&&& done
&&& mkdir "$DIR"
fetch_slides() {&&& for i in $( seq 1 $SLIDES ); do
&&&&&&& echo "Downloading slide $i"
&&&&&&& wget " $DOCID`-slide-`echo $i`.swf" -q -O "$DIR/slide-`echo $i`.swf"
&&& echo "All slides downloaded."
convert_slides() {&&& for i in $( seq 1 $SLIDES ); do
&&&&&&& echo "Converting slide $i"
#&&&&&&& swfdec-thumbnailer -s $SIZE $DIR/slide-$i.swf $DIR/slide-$i.png 2&/dev/null
&&&&&&& swfrender $DIR/slide-$i.swf -o $DIR/$i.png 2&/dev/null
&&& done&&& echo "All slides converted."
build_pdf() {&&& cd $DIR
&&& IMAGES=`ls *.png | sort -k1.3 `
&&& echo "Generating PDF…"
&&& convert $IMAGES +adjoin %d.pdf
&&& PDFS=`ls *.pdf | sort -k1.3 `
&&& pdftk $PDFS cat output $DOCSHORT.pdf
&&& echo "The PDF has been generated."
&&& echo "Find your presentation in: \"`pwd`/$DIR/$DOCSHORT.pdf\""
clean() {&&& rm -rf $DIR/*.swf
&&& rm -rf $DIR/*.png
validate_input $1 $2check_dependencies
build_params $URL
create_env
fetch_slides
convert_slides
&&& 同样的程序逻辑其实可以适用于百度文库、豆丁这样的在线文库。像百度文库、豆丁之类的在线文库许多资料需要积分下载，但可免费在线浏览，这些文库都使用Flash作为播放器，这就为免积分下载器提供了条件。当然在windows上有、这样的图形化工具可用。只不过原理应该也是类似的，看一下冰点文库下载器目录下的SWFToImage.DLL、pdflib.dll两个动态库大致可以知道。
&&& 其实谁有兴趣和精力可以将此类下载功能做成一个单独的在线服务，由此还可以延伸出其他产品功能来，应该还是挺有市场的。
相关链接：
&&&&&&&&&&&&&&&&&&&&&&&
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：611750次
积分：16144
积分：16144
排名：第469名
原创：306篇
转载：13篇
评论：17条
文章：16篇
阅读：7576
文章：52篇
阅读：18127
(2)(10)(25)(4)(5)(36)(24)(8)(2)(2)(3)(3)(1)(2)(2)(87)(1)(1)(3)& & & & & & & & & & & & & & & & & & & & & cloudera-manager安装
一、机器准备
选用服务器或者阿里云服务器，安装CentOS6.5系统。
注意：安装操作系统时，选择桌面版，其他版本会出现缺失包等异常错误，请安装64位版本，CM不支持32位CentOS。
验证方法：使用root用户查看操作系统 /proc/version文件的内容，如果含有x86_64 字样说明该操作系统为64位版本，否则为32位操作系统。、
二、CM安装前linux环境准备工作 下载资料/cm5/cm/5/
free -m & & & &df -h &
cat /proc/cpuinfo&
1、配置ip、主机名、服务器之间的映射 （所有服务器）
& & & & & & & & 192.168.60.137 & &sdzn-
2、修改主机名：vi /etc/sysconfig/network（所有服务器）
3、修改hosts文件linux中：vi /etc/hosts文件（所有服务器）
& & & & & &添加： & & & & &&
& & & & & & & & 192.168.60.137 & &sdzn-
& & & & & & & & 192.168.60.137 & &sdzn-
& & & & & & & & 192.168.60.137 & &sdzn-
& & & & & & & & 192.168.60.137 & &sdzn-
& & & & & &window中hosts文件中 C:\Windows\System32\drivers\etc\hosts
& & & & & &添加： & & & & & &&
& & & & & & & & 192.168.60.137 & &sdzn-
192.168.60.137 & &sdzn-
192.168.60.137 & &sdzn-
192.168.60.137 & &sdzn-& & & & &&
提示：修改所有服务器主机名后重启系统，然后通过hostname查看主机名是否正确，通过ping &sdzn-等验证网络映射配置是否正确。 &
4、 禁用Ipv6 （所有服务器）
& & & & & & & & 注意：在不禁用IPV6的情况下集群可能会出现网络错误。
& & & & & & & & echo & & & && &&& /etc/modprobe.d/dist.conf&
echo &alias net-pf-10 off & &&& /etc/modprobe.d/dist.conf&
echo &alias ipv6 off& &&& /etc/modprobe.d/dist.conf&
修改好配置文件后需要重启linux系统后，才能看到IPV6被禁用后的结果。
3、关闭防火墙，禁用selinux
& & & & & & & & 注意：在安装时需要随时记住防火墙关闭情况，通常需要永久关闭。
service iptables stop
chkconfig iptables off
查看防火墙启动级别：# chkconfig iptables --list
& 关闭selinux
命令：# vi /etc/sysconfig/selinux
将SELINUX值修改为disabled
注意：需要重启生效
查看状态：# /usr/sbin/sestatus -v
4、配置无秘钥登录ssh
提示：免key登录不属于必须操作，建议不要在root用户上用免key操作
本机需要远程登录到其他主机的用户上执行如下命令：
生成公钥和私钥：
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
复制公钥到免key主机：
# ssh-copy-id 指定主机地址ip(自己也要和自己免key)
5、配置JDK
& & & & & & 5.1卸载自带JDK
# rpm -qa|grep java & & &查看主机安装的jdk
# rpm -e --nodeps xxx yyy zzz & & 卸载主机上的jdk（‘xxx’为查询出安装的jdk名称，若有多个依次添加，进行 & & & & & & & & &卸载）
& &5.2解压安装：
/usr/java/jdk1.7.0_67
& & & & 修改环境变量:vi /etc/profile
& & & & export JAVA_HOME=/usr/java/jdk1.7.0_67
& & & & & export PATH=$PATH:$JAVA_HOME/bin
& & & & & & 5.3发给另外三台机器
scp -r /usr/java/ sdzn-:/usr/&
& & & & scp -r /usr/java/ sdzn-:/usr/&
& & & & scp -r /usr/java/ sdzn-:/usr/&
& & & & 6、启动http服务
查看服务状态：# service httpd status
打开服务：# service httpd start
提示：如果提示找不到http服务时，需要进行安装，安装可以选用yum方式，命令如下：# yum install httpd
7、系统服务器时间同步
1）先选择一台服务作为集群的时间服务器，其他服务器与这台服务器时间进行同步&
国内的时间服务器;
ntp. 202.120.2.101 &(上海交通大学网络中心NTP服务器地址）
s1a. 北京邮电大学
s1b. 清华大学
& & & & & & & & & & & & 这几个不行就从网上搜其他时间服务器，比如（备用： ntpdate -.pool.ntp.org）
2) vi /etc/ntp.conf
18 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap&
打开注释，网段改成自己集群网段
22 #server 0.centos.pool.ntp.org
23 #server 1.centos.pool.ntp.org
24 #server 2.centos.pool.ntp.org
35 server &127.127.1.0 & & # local clock
36 fudge & 127.127.1.0 stratum 10
注释去掉或者手动添加&
3） 所有节点上执行
# service ntpd start && chkconfig ntpd on && chkconfig --list | grep ntpd&
# yum -y install ntpd &如果没有安装ntpd这个服务
4） 同步外界时间服务器
ntpdate -u ntp.
17 Nov 14:30:39 ntpdate[2871]: no server suitable for synchronization found
第一个 ntpd服务启动后5分钟内&
第二个 ntp.失效
5）将系统时间同步给硬件时钟时间
hwclock &--localtime&
hwclock &--localtime &-w
6）服务器停机系统时间停止，硬件时钟正常在，设置服务器重启后，能够自动将硬件时钟时间同步给系统时间
# vi /etc/sysconfig/ntpd
首行添加 SYNC_HWCLOCK=yes
7）服务器启动以后，系统同步外界服务器时间后，再同步给硬件时钟时间
# vi /etc/sysconfig/ntpdate&
SYNC_HWCLOCK=yes
8）其他几台服务区同步集群的时间服务器
ntpdate -u &sdzn-
crontab -e
*/10 * * * * & /usr/sbin/ntpdate &-u &sdzn-
通过mail 验证是否执行
9） 所有服务器
service crond restart
service ntpd restart
8、配置用户最大可打开的文件数量，已经服务器最大进程数目
# ulimit -a & &文件打开数目
# ulimit -u & 用户最大进程数
# vi /etc/security/limits.conf & 手动设置
添加如下几行：
* & & & & & & & soft & &nofile & & & & &32728
* & & & & & & & hard & &nofile & & & & &1024567
* & & & & & & & soft & &nproc & & & & & 65535
* & & & & & & & hard & &nproc & & & & & unlimited
* & & & & & & & soft & &memlock & & & & unlimited
* & & & & & & & hard & &memlock & & & & unlimited
scp /etc/security/limits.conf :/etc/security/limits.conf
& & & & & & & & 192.168.60.137 & &sdzn- &server agent&
& & & & & & & & 192.168.60.137 & &sdzn- &agent
& & & & & & & & 192.168.60.137 & &sdzn- &agent
& & & & & & & & 192.168.60.137 & &sdzn- &agent
三、安装mysql数据库
1、选一台服务安装mysql 5.6 &
2、删除系统自带mysql依赖包
rpm -qa | grep mysql
rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64
3、选择yum安装方式
选择的是msyql5.6版本
yum源模式安装的是5.1版本
更新yum源里面的mysql版本信息
4、下载mysql的yum源
# cd /etc/yum.repos.d/ & 源仓库
5、更新mysql源
# rpm -Uvh mysql57-community-release-el6-8.noarch.rpm&
mysql-community.repo
mysql-community-source.repo
6、修改下mysql的镜像源地址和信息
1）vi mysql-community.repo&
5.6 enabled=1
5.7 enabled=0
2） vi mysql-community-source.repo&
5.6 enabled=1
& & & & & & & & & & & & & & & & 5.7 enabled=0
最后 MySQL Tools Preview - Source & enabled=1
7、更新下yum源 &
# yum makecache & & Metadata Cache Created 更新成功
8、# yum repolist enabled | grep mysql &&
查看mysql源是否配置成功
9、安装mysql
yum -y install mysql-community-server &联网下载75M左右&
mysql安装的远程端，hive连接数据库的元数据需要启动matestore&
10、 service mysqld status & 停止状态
四、CM安装
1）安装CM所需的依赖包 （集群所有服务器）
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb
2）在server节点上创建一个目录&
mkdir -p /opt/cloudera-manager
3） 解压CM安装包到/opt/cloudera-manager
tar zxf cloudera-manager-el6-cm5.3.6_x86_64.tar.gz -C /opt/cloudera-manager/
cloudera &CM集群框架的安装包目录
cm-5.3.6 &CM本身的配置信息，启动信息，lib库
4）修改CM配置/opt/cloudera-manager/cm-5.3.6/etc/cloudera-scm-agent
server_host = sdzn-
5） &拷贝给其他agent从节点
scp -r /opt/cloudera-manager/ sdzn-:/opt/&
& & & & & & & & 如果你网速慢就不要用scp命令直接上传到其他机器，解压修改配置文件中的server_host = sdzn-
6） 创建一个CM专用普通用户： cloudera-scm &(不能更改)
useradd --system & &/表示创建的系统用户
--home=/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-server &/表示指定用户的主目录位置
--no-create-home &/表示不创建用户主目录
--shell=/bin/false &/不作为登录用户
--comment &Cloudera SCM User& cloudera-scm &
cat /etc/passwd | grep cloudera-scm & &确认是否创建成功
7） 添加temp用户及赋予相关权限 &（mysql中）
& & & & & & & & grant all privileges on *.* to 'rainbow'@'%' identified by 'rainbow'
& & & & & & & & &驱动包放入 /usr/share/java &下
8）在server节点上初始化CM在mysql中状态
使用CM自带的脚本，并且指定一些参数
/opt/cloudera-manager/cm-5.3.6/share/cmf/schema/ &脚本路径下执行
格式是:scm_prepare_database.sh 数据库类型 &数据库 服务器 用户名 密码 &–scm-host
./scm_prepare_database.sh mysql cm -h 192.168.60.137 -urainbow -p --scm-host 192.168.60.137 scm scm scm
显示如下信息表示创建成功
FO &Successfully connected to database.
All done, your SCM database is configured correctly!
11、检查mysqld服务是否开启 &执行mysql_secure_installation
------------------
mysql出错重新安装要卸载干净
卸载参考：/question/.html
-------------------
2、配置CDH源
1） 主节点创建
mkdir -p /opt/cloudera/parcel-repo
agent节点创建
mkdir -p /opt/cloudera/parcels
mv softwares/CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel* cloudera/parcel-repo/
mv CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1 CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha & &把结尾1去掉
3）更改 parcel-repo parcels 所有人
主节点 chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/&
agent &chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels/&
3、启动相关进程
/opt/cloudera-manager/cm-5.3.6/etc/init.d & server和agent进程启动脚本目录
1） 在主节点启动server进程
/opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-server start
CM日志文件路径
/opt/cloudera-manager/cm-5.3.6/log/cloudera-scm-server
# netstat -tlnup | grep 7180 &是否处于监听状态来确认jetty web服务是否启动成功
2）从节点启动agent进程&
/opt/cloudera-manager/cm-5.3.6/etc/init.d/cloudera-scm-agent start&
ps -ef | grep cloudera & &python维护的进程，所以jps是看不到
4、进入web管理页面
http://sdzn-:7180/
admin admin
解决警告：
内存交换区：echo 0 & /proc/sys/vm/swappiness&
透明大页面：echo never & /sys/kernel/mm/redhat_transparent_hugepage/defrag&
# vi /etc/rc.local &加入echo never & /sys/kernel/mm/redhat_transparent_hugepage/defrag 命令
五、大数据框架安装部署
& & & & & & & & 说明：/opt/cloudera/parcels/CDH &各个组件框架的配置、命令、jar包安装目录
export HADOOP_USER_NAME=hdfs &针对hadoop，设置一个临时的hdfs用户
/opt/cloudera/parcels/CDH/jars &&
# hadoop checknative & 支持哪些压缩
3、zookeeper
报错：对当前 NameNode 的名称目录进行格式化。如果名称目录不为空，此操作将失败。
正常从非ha状态升级Ha报错，正常现象
在mysql中针对hive做一些权限设置
mysql& create database hive default character set latin1;
grant all privileges on hive.* to 'hive'@'%' identified by 'hive' ;
grant all privileges on hive.* to 'hive'@'sdzn-' identified by 'hive' ;
metastore ：当mysql在远程端时需要启动该服务进程，客户端通过metastore与mysql数据库通讯
hiveserver2： 客户端可以通过jdbc的方式与hive元数据库通讯，
可以在多个客户端通过一个新的命令行shell （beeline） mysql数据库通讯
hiveserver2：&
beeline& !connect jdbc:hive2://sdzn-:10000
注意启动sqoop server进程服务的服务器上放置驱动包
mysql& grant all privileges on *.* to 'root'@'sdzn-' identified by 'root' ;
# sqoop &list-databases &--help&
sqoop &list-databases \
--connect &jdbc:mysql://sdzn-:3306 \
--username &root \
--password &123456
该命令执行的客户端主机/usr/share/java 目录下要有连接mysql驱动包
grant all privileges on *.* to 'root'@'sdzn-' identified by 'root' ;
在CM上，一个flume组件管理相同一类（conf配置内容相同）的agent服务进程
file:/opt/cloudera-manager/cm-5.3.6/run/cloudera-scm-agent/process/88-flume-AGENT/flume.conf
& & & & & & & & 可以在flume的配置页面下更改flume.conf信息
source & EXEC &tail -f & /.../xx.log&
echo &&xxxx& && &xx.log&
sink & & & hdfsSink&
& /flume/%Y%m%d/%h
向hdfs写入数据时，以flume的身份访问，并创建目录
hdfs dfs -mkdir -p /flume&
hdfs dfs -chown -R & flume:flume /flume&
ext-2.2.zipJS 依赖jar包 ，需要解压到oozie server进程所在的服务器上
解压到 /var/lib/oozie 目录下
9、 Hue 是大数据的web工具
hdfs-添加、修改、删除
Hue+CM一起使用 &
spark &on yarn & & 由yarn来管理spark提交的任务&
spark &standalone &由standalone模式去协调资源&
master & & driver/app
slave &从节点
CM5.3.6 对应的spark 1.2&
sparkSql &sql on hadoop
impala &CDH
scala 面向函数式的编程，面向对象
sc.readHDFS(/user/beifeng/input/wc.txt).flatmap(x=&x.split(& &)).map(x=&(x,1)).reduceBykey((x,y)=&(x+y)).collect &
Array((spark,10),(hive,5).......)
sc.readHDFS(/user/beifeng/input/wc.txt).flatmap(x=&x.split(& &)).map(x=&(x,1)).reduceBykey((x,y)=&(x+y)).collect &
sc.readHDFS(/user/beifeng/input/wc.txt).flatmap(_.split(& &)).map((_,1)).reduceBykey((_,_)).collect
参考知识库
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：2619次
排名：千里之外
原创：28篇
评论：12条
(4)(19)(9)}