都市港湾论坛

Run now

Install with 'pip'

$ pip install pyspark

$ pyspark

Use the official Docker image

$ docker run -it --rm spark:python3 /opt/spark/bin/pyspark

df = spark.read.json("logs.json")
df.where("age > 21").select("name.first").show()

# Every record contains a label and feature vector
df = spark.createDataFrame(data, ["label", "features"])

# Split the data into train/test datasets
train_df, test_df = df.randomSplit([.80, .20], seed=42)

# Set hyperparameters for the algorithm
rf = RandomForestRegressor(numTrees=100)

# Fit the model to the training data
model = rf.fit(train_df)

# Generate predictions on the test dataset.
model.transform(test_df).show()

df = spark.read.csv("accounts.csv", header=True)

# Select subset of features and filter for balance > 0
filtered_df = df.select("AccountBalance", "CountOfDependents").filter("AccountBalance > 0")

# Generate summary statistics
filtered_df.summary().show()

Run now

$ docker run -it --rm spark /opt/spark/bin/spark-sql

spark-sql>

SELECT
  name.first AS first_name,
  name.last AS last_name,
  age
FROM json.`logs.json`
  WHERE age > 21;

Run now

$ docker run -it --rm spark /opt/spark/bin/spark-shell

scala>

val df = spark.read.json("logs.json")
df.where("age > 21")
  .select("name.first").show()

Run now

$ docker run -it --rm spark /opt/spark/bin/spark-shell

scala>

Dataset df = spark.read().json("logs.json");
df.where("age > 21")
  .select("name.first").show();

Run now

$ docker run -it --rm spark:r /opt/spark/bin/sparkR

df <- read.json(path = "logs.json")
df <- filter(df, df$age > 21)
head(select(df, df$name.first))

唾液酸苷酶阳性什么意思	霜打的茄子什么意思	酚咖片是什么药	吃槐花有什么好处	尿葡萄糖阴性什么意思
梦见狼是什么意思周公解梦	画蛇添足告诉我们什么道理	郑中基为什么娶余思敏	蟊贼是什么意思	膝盖疼挂什么科室
什么是三位一体	五月三十一号是什么星座	农历六月十七是什么星座	梅毒阳性是什么意思	梦见给死人烧纸钱是什么意思
灼热是什么意思	俄罗斯为什么要打乌克兰	黑色签字笔是什么笔	自费是什么意思	新生儿黄疸高是什么原因

男头发稀少适合什么发型hcv7jop5ns4r.cn	ff是什么牌子hcv9jop8ns0r.cn	5月13号是什么星座hcv8jop9ns9r.cn	隔离霜和bb霜有什么区别hcv9jop2ns6r.cn	血糖高应该吃什么水果hcv7jop4ns7r.cn
惊弓之鸟告诉我们什么道理hcv9jop2ns4r.cn	小孩子头晕是什么原因hcv9jop0ns3r.cn	金黄色葡萄球菌是什么菌hcv9jop6ns6r.cn	破屋坏垣适合干什么cl108k.com	纺织业属于什么行业hcv9jop7ns3r.cn
胎儿左肾盂分离是什么意思hcv8jop2ns2r.cn	辅酶q10是什么ff14chat.com	谷氨酰转肽酶是指什么hcv8jop5ns2r.cn	团长转业到地方是什么职务hcv8jop1ns2r.cn	白化病是什么能活多久aiwuzhiyu.com
梦到自己拉大便是什么预兆hcv9jop4ns3r.cn	想做肠镜挂什么科wuhaiwuya.com	端倪是什么意思hcv8jop2ns0r.cn	杜康原是什么wzqsfys.com	喜欢绿色的女人是什么性格travellingsim.com

Unified engine for large-scale data analytics

What is Apache Spark™?