Spark-local本地环境搭建

2020-04-15 10:51
来源:分享电脑学习

原标题：Spark-local本地环境搭建

解压spark编译好的压缩包

sudo tar -zxvf spark-2.0.2-bin-2.7.3.tgz -C /opt/bigdata/spark

修改配置文件

添加内容

启动hdfs

namenode和datanode

测试spark自带的例子

计算圆周率

./bin/run-example SparkPi

第二个测试

./bin/run-example SparkPi 100

启动sparkshell

退出spark shell的命令是 :quit

修改日志打印级别(可选)

修改文件

修改log4j.logger.org.apache.spark.repl.Main=INFO这句话就可以了

返回搜狐，查看更多

责任编辑：

声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
阅读 ()