Как да инсталираме Scala и Apache Spark на MacOS

Как да инсталираме Scala и Apache Spark на MacOS

Ето ръководство стъпка по стъпка за инсталиране на Scala и Apache Spark на MacOS.

Стъпка 1: Вземете Homebrew

Homebrew улеснява живота ви много, когато става въпрос за инсталиране на приложения и езици на Mac OS. Можете да получите Homebrew, като следвате инструкциите на уебсайта му.

Което просто ви казва да отворите терминала и да напишете:

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

На страницата на GitHub на проекта има по-подробни инструкции за инсталиране. Инсталирането на всичко чрез Homebrew трябва автоматично да добави всички подходящи настройки на PATH към вашия профил.

Стъпка 2: Инсталиране на xcode-select

За да инсталираме Java, Scala и Spark чрез командния ред, вероятно ще трябва да инсталираме инструменти за разработка на xcode-select и command line. Отидете до вашия терминал и напишете:

xcode-select --install

Ще получите подкана, която изглежда по следния начин:

Продължете и изберете инсталиране.

Стъпка 3: Използвайте Homebrew, за да инсталирате Java

Scala зависи от Java, може да се наложи да я инсталирате или не. Най-лесният начин да го инсталирате е просто да използвате HomeBrew:

Във вашия тип терминал:

brew cask install java

Може да се наложи да въведете паролата си в даден момент, за да завършите инсталацията на java. След стартирането на този Homebrew трябваше да се погрижи за инсталирането на Java. Сега можем да преминем към Скала.

Стъпка 4: Използвайте Homebrew, за да инсталирате Scala

Сега с инсталиран Homebrew отидете на вашия терминал и напишете:

brew install scala

Стъпка 5: Използвайте Homebrew, за да инсталирате Apache Spark

Сега с инсталирана Scala отидете на вашия терминал и напишете:

brew install apache-spark

Homebrew вече ще изтегли и инсталира Apache Spark, може да отнеме известно време в зависимост от вашата интернет връзка.

Стъпка 5: Стартирайте Spark Shell

Сега опитайте тази команда:

spark-shell

Трябва да видите поток от текст и предупреждения, но в крайна сметка ще видите нещо подобно:

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>

Можете да потвърдите, че работи, като въведете скала кода:

val s = "hello world"

Честито! Готови сте!

Често срещан проблем: Задаване на PATH в bash.

Homebrew трябваше да се погрижи за всичко това, но в случай, че трябва да добавите искра към своя ПЪТ, ще искате да използвате:

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

Просто въведете това направо в терминала си.

Аз съм Хосе Портила и преподавам над 200 000 студенти за програмиране, наука за данни и машинно обучение в Udemy. Можете да разгледате всички мои курсове тук.

Ако се интересувате от изучаване на Python за наука за данни и машинно обучение, вижте моя курс тук. (Аз също преподавам Full Stack Web Development с Django!)