博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
利用代码调用spark
阅读量:6247 次
发布时间:2019-06-22

本文共 1133 字,大约阅读时间需要 3 分钟。

java实现代码:

import org.apache.spark.api.java.JavaSparkContext; 2 /** 3  * spark测试 4  * Created by lxq on 2014/10/23. 5  */ 6 public final class Test { 7     public static void main(String[] args) throws Exception { 8      9        /**10          * 参数说明:11          * 1、URL:spark的Ip地址或是写成:spark://master:7077;看配置如何配了12          * 2、给该项目起的名字13          * 3、spark的安装路径14          * 4、需要引入的包15          */16         JavaSparkContext ctx = new JavaSparkContext("spark://URL:7077", "SparkTest",17                 "~/spark-1.0.2",18                 "lib/spark-assembly-1.0.2-hadoop2.2.0.jar");19         System.out.println(ctx.appName());20     }21 }

Scala实现代码:

import org.apache.spark.SparkContextimport org.apache.spark.mllib.classification.SVMWithSGDimport org.apache.spark.mllib.evaluation.BinaryClassificationMetricsimport org.apache.spark.mllib.util.MLUtilsobject Test {  def main(args: Array[String]) {    val sc = new SparkContext("spark://URL(master的ip或是直接master):7077", "WordCount",      System.getenv("~/spark-1.0.2"), Seq(System.getenv("lib/spark-assembly-1.0.2-hadoop2.2.0.jar")))}

 

转载于:https://www.cnblogs.com/fxyh/p/4045527.html

你可能感兴趣的文章
2016广东工业大学新生杯决赛网络同步赛暨全国新生邀请赛 题解&源码
查看>>
WPF中实现PropertyGrid的三种方式
查看>>
第 34 章 数据库管理
查看>>
聚类和分类的区别
查看>>
幸得与君为伍 - 阿里云 MVP 三期名单发布
查看>>
我来做百科(第一天)
查看>>
网络基础知识(一)wireshark 三次握手实践
查看>>
kettle转换JavaScript加载外部js文件
查看>>
Oracle技术嘉年华第二天归来
查看>>
Intent常用使用汇总
查看>>
C语言的左位移能不能超过8位?
查看>>
Tomcat如何检测内存泄漏
查看>>
APP多版本共存,服务端如何兼容?
查看>>
上云有隐性成本? 用户要警惕五个坑
查看>>
100G及以上超高速光通信系统关键技术浅析
查看>>
BYOD:寻求便捷与安全的平衡
查看>>
我的WCF之旅(3):在WCF中实现双工通信
查看>>
mysql设置独立表空间
查看>>
IDC:阻碍中国云计算发展的四大误区
查看>>
实现二叉树以及二叉树遍历数据结构
查看>>