Пример Apache Spark: Программа подсчета слов на Java
Пример Apache Spark, Программа подсчета слов Apache Spark на Java, Пример Java Apache Spark, Учебник по Apache Spark, пример кода интеграции java apache spark.
Apache Spark-это платформа обработки данных с открытым исходным кодом, которая может выполнять аналитические операции с большими данными в распределенной среде. Это был академический проект в Калифорнийском университете в Беркли, и первоначально он был начат Матеем Захарией в AMPLab Калифорнийского университета в Беркли в 2009 году. Apache Spark был создан поверх инструмента управления кластерами, известного как Mesos. Позже он был изменен и обновлен, чтобы он мог работать в кластерной среде с распределенной обработкой.
Пример настройки проекта Apache Spark
Мы будем использовать Maven для создания образца проекта для демонстрации. Чтобы создать проект, выполните следующую команду в каталоге, который вы будете использовать в качестве рабочей области:
Если вы запускаете maven в первый раз, выполнение команды generate займет несколько секунд, потому что maven должен загрузить все необходимые плагины и артефакты, чтобы выполнить задачу генерации.
После того, как вы создали проект, не стесняйтесь открывать его в своей любимой среде разработки. Следующим шагом является добавление соответствующих зависимостей Maven в проект. Вот это pom.xml файл с соответствующими зависимостями:
Поскольку это проект на основе maven, на самом деле нет необходимости устанавливать и настраивать Apache Spark на вашем компьютере. Когда мы запустим этот проект, будет запущен экземпляр среды выполнения Apache Spark, и как только программа завершит выполнение, она будет завершена.
Наконец, чтобы понять все банки, которые добавляются в проект при добавлении этой зависимости, мы можем запустить простую команду Maven, которая позволяет нам видеть полное дерево зависимостей для проекта, когда мы добавляем в него некоторые зависимости. Вот команда, которую мы можем использовать:
mvn dependency:tree
Когда мы запустим эту команду, она покажет нам следующее дерево зависимостей:
Всего с двумя добавленными зависимостями Spark собрал все необходимые зависимости в проекте, который включает в себя зависимости Scala, а также Apache Spark, написанный на самом Scala.
Создание входного файла
Поскольку мы собираемся создать программу-счетчик слов, мы создадим образец входного файла для вашего проекта в корневом каталоге нашего проекта с именем input.txt. Поместите в него любой контент, мы используем следующий текст:
Hello, my name is Shubham and I am author at JournalDev . JournalDev is a great website to ready
great lessons about Java, Big Data, Python and many more Programming languages.
Big Data lessons are difficult to find but at JournalDev , you can find some excellent
pieces of lessons written on Big Data.
Не стесняйтесь использовать любой текст в этом файле.
Структура проекта
Прежде чем мы продолжим и начнем работать над кодом для проекта, давайте представим здесь структуру проекта, которая у нас будет, как только мы закончим добавлять весь код в проект:
Структура проекта
Создание счетчика слов
Теперь мы готовы приступить к написанию нашей программы. Когда вы начинаете работать с программами больших данных, импорт может создать много путаницы. Чтобы избежать этого, вот все импортные материалы, которые мы будем использовать в нашем проекте:
Далее, вот структура нашего класса, которую мы будем использовать:
package com.journaldev.sparkdemo;
...imports...
public class WordCounter {
private static void wordCount(String fileName) {
...
}
public static void main(String[] args) {
...
}
}
Вся логика будет лежать внутри метода подсчет слов . Мы начнем с определения объекта для класса SparkConf . Объект этого класса используется для задания различных параметров Spark в качестве пар ключ-значение для программы. Мы предоставляем только простые параметры:
SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("JD Word Counter");
master указывает local, что означает, что эта программа должна подключаться к потоку Spark, запущенному на локальном хосте . Имя приложения – это просто способ предоставить Spark метаданные приложения. Теперь мы можем создать объект SparkContext с помощью этого объекта конфигурации:
JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
Spark рассматривает каждый ресурс, который он обрабатывает, как RDD (Устойчивые распределенные наборы данных), что помогает ему организовывать данные в структуру данных поиска, которая гораздо эффективнее поддается анализу. Теперь мы преобразуем входной файл в сам объект JavaRDD :
Опять же, мы используем Java 8 mapToPair(...) метод для подсчета слов и предоставления слова, числа пары, которые могут быть представлены в качестве выходных данных:
JavaPairRDD countData = wordsFromFile.mapToPair(t -> new Tuple2(t, 1)).reduceByKey((x, y) -> (int) x + (int) y);
Теперь мы можем сохранить выходной файл в виде текстового файла:
countData.saveAsTextFile("CountData");
Наконец, мы можем предоставить точку входа в нашу программу с помощью метода main() :
public static void main(String[] args) {
if (args.length == 0) {
System.out.println("No files provided.");
System.exit(0);
}
wordCount(args[0]);
}
Полный файл выглядит следующим образом:
package com.journaldev.sparkdemo;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
import java.util.Arrays;
public class WordCounter {
private static void wordCount(String fileName) {
SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("JD Word Counter");
JavaSparkContext sparkContext = new JavaSparkContext(sparkConf);
JavaRDD inputFile = sparkContext.textFile(fileName);
JavaRDD wordsFromFile = inputFile.flatMap(content -> Arrays.asList(content.split(" ")));
JavaPairRDD countData = wordsFromFile.mapToPair(t -> new Tuple2(t, 1)).reduceByKey((x, y) -> (int) x + (int) y);
countData.saveAsTextFile("CountData");
}
public static void main(String[] args) {
if (args.length == 0) {
System.out.println("No files provided.");
System.exit(0);
}
wordCount(args[0]);
}
}
Теперь мы перейдем к запуску этой программы с использованием самого Maven.
Запуск приложения
Чтобы запустить приложение, зайдите в корневой каталог программы и выполните следующую команду:
В этой команде мы предоставляем Maven полное имя основного класса, а также имя входного файла. Как только эта команда будет выполнена, мы увидим, что в нашем проекте создается новый каталог:
Выходной каталог проекта
Когда мы откроем каталог и файл с именем “part-00000.txt” внутри него его содержимое выглядит следующим образом:
Вывод счетчика слов
Вывод
На этом уроке мы увидели, как мы можем использовать Apache Spark в проекте на основе Maven для создания простой, но эффективной программы для счетчиков слов. Прочитайте больше сообщений о больших данных, чтобы получить более глубокие знания о доступных инструментах и системах обработки больших данных.