Spark速成101：一小时入门Spark大数据构架与开发（第557期）

通過這篇文章，讀者將能夠建立起對Spark的基礎理解，並能夠簡單地開始處理大規模數據集，為深入學習Spark和大數據處理打下堅實的基礎。

spark-shell玩夠了，開始寫標準的APP吧。 這支簡易的應用會load一份json檔案並透過SparkSQL操作一些查詢。 sparkSQL厲害的地方之一就是SparkSQL會為結構資料自動推斷s...

最近在使用 Spark 來處理較大量的資料，包含資料處理、資料轉換到建立模型與分析。 對一個過去只曾經使用 R 的我來說，無非是個大挑戰。 在經過近一到兩個禮拜的使用，想把一些經驗記錄起來。 若有錯誤，或是描述有問題的地方，再請指正。 因為我只是花些時間去讓整個程式可以動，但對於其中更詳細的設定，仍然一隻半解。 希望能互相學習，更加精進。

我们将首先通过 Spark 的交互式 shell（Python 或 Scala）介绍 API，然后展示如何用 Java、Scala 和 Python 编写应用程序。 要跟随本指南，请首先从 Spark 官网 下载 Spark 的打包发行版。 由于我们不使用 HDFS，您可以下载适用于任何 Hadoop 版本的软件包。 请注意，在 Spark 2.0 之前，Spark 的主要编程接口是弹性分布式数据集 (Resilient Distributed Dataset, RDD)。 Spark 2.0 之后，RD

本節課程提供一個使用 Spark 的快速介绍，首先我们使用 Spark 的交互式 shell (用 Python 或 Scala) 介绍它的 API。 當示範如何在 Java, Scala 和 Python 寫獨立的程式時，可以參考 編程指南 裡完整的範例。

本文翻譯自. Spark 官方手冊. Spark 编程指南简体中文版. 本文使用的許可請查看 這裡.

Apache Spark是一個集羣計算設計的快速計算。 它是建立在Hadoop MapReduce之上，它擴展了 MapReduce 模式，有效地使用更多類型的計算，其中包括交互式查詢和流處理。