Scala の Option, Either とエラー処理
Scala ではエラー処理に使えるクラス・仕組みが沢山ありますが、今回は Option, Either を使った方法を色々紹介します。 前提知識として、Scal…
続きを読む
Scala の Option, Either とエラー処理
静的データベースと動的データベース（Spark SQLの小ネタ）
このようなデータベースの種類を分ける概念は一般的にはないと思われますが、「Spark SQL」で開発しているとまさに動的だなぁという思いが湧いてくることが多々あ…
続きを読む
静的データベースと動的データベース（Spark SQLの小ネタ）
Scalaのコレクションで遅延処理を行う
皆様おはようございます。梅雨もとっくに過ぎ、すっかり夏らしい空模様となりました。埼玉は毎日気温が高くて死にそうです・・・。 さて今回はScalaのコレクションネ…
続きを読む
Scalaのコレクションで遅延処理を行う
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
ここ最近のプロジェクトでKinesisのコンシューマーアプリケーションをScalaで開発・メンテしていたので、何回かに分けてノウハウをメモしておきます。 今回は…
続きを読む
Scala + Kinesis Client LibraryでKinesisコンシューマーアプリケーションを作る
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
今回はAWS LambdaでJava 8ランタイムを使った際に、Redis等のミドルウェアとのコネクションの管理関連でハマった点を備忘録として残しておきます。A…
続きを読む
AWS LambdaのJavaランタイムでミドルウェアのコネクションのリークでハマった件
(Scala) List[Option[A]]#flattenで起きる事
先日、kojiがOption（scala）の実用的な使い方 − データのマージ処理と言うナイスな記事を書いてくれたので、ScalaのOptionを包括した&nb…
続きを読む
(Scala) List[Option[A]]#flattenで起きる事
Option（Scala）の実用的な使い方 − データのマージ処理
いまいち使いどころを理解できていなかったScalaのOptionですが、データのマージ処理を実装した際に、割と理解しやすいコードが書けたと感じましたのでざっくり…
続きを読む
Option（Scala）の実用的な使い方 − データのマージ処理
Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた
今とあるプロジェクトで、Amazon EMRを使って少し大きめなボリュームのデータ処理をしているのですが、その中のあるデータの中身をWebフォームからニアリアル…
続きを読む
Elasticsearch for Apache Hadoopを使ってSparkからAmazon ESにデータと連携してみた