静的データベースと動的データベース（Spark SQLの小ネタ）
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々あ…
続きを読む
静的データベースと動的データベース（Spark SQLの小ネタ）
Option（Scala）の実用的な使い方 − データのマージ処理
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくり…
続きを読む
Option（Scala）の実用的な使い方 − データのマージ処理
Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた
今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアル…
続きを読む
Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた
Spark の DataFrame のテスト
はじめに Apache Spark では、御存知の通り大規模なデータを高速に扱う事が出来ます。大規模データ処理のインフラという観点では、速度のチューニングのため…
続きを読む
Spark の DataFrame のテスト