spark能跑Python么【Python教程】,Python,spark

spark能跑Python么？

spark是能够跑Python顺序的。python编写好的算法，或许扩大库的，比方sklearn都能够在spark上跑。直接运用spark的mllib也是能够的，大部分算法都有。

Spark 是一个通用引擎，可用它来完成林林总总的运算，包含 SQL 查询、文本处理、机械进修等。

本次试验是搭有spark环境的linux下跑的，spark版本为1.6.1，相当于在在spark当地实行，spark文件放在/opt/moudles/spark-1.6.1/（代码中会看到）

编写python测试顺序

#test.py文件
# -*- coding:utf-8 -*-
import os
import sys
#设置环境变量并导入pyspark
os.environ['SPARK_HOME'] = r'/opt/moudles/spark-1.6.1'
sys.path.append("/opt/moudles/spark-1.6.1/python")
sys.path.append("/opt/moudles/spark-1.6.1/python/lib/py4j-0.9-src.zip")
from pyspark import SparkContext, SparkConf
appName ="spark_1" #应用顺序称号
master= "spark://hadoop01:7077"#hadoop01为主节点hostname，请换成本身的主节点主机称号
conf = SparkConf().setAppName(appName).setMaster(master)
sc = SparkContext(conf=conf)
data = [1, 2, 3, 4, 5]
distData = sc.parallelize(data)
res = distData.reduce(lambda a, b: a + b)
print("===========================================")
print (res)
print("===========================================")

实行python顺序

实行以下敕令