2014年8月20日水曜日

Docker,JBoss Data Virtualizationを活用し、Cloud,BigDataとOSS DBMSの連携・統合をデモを交えながら発表(Enterprise DB Summit Tokyo 2014発表報告)

初めまして、髙橋@OSSテクノロジーセンターです。 普段は、SIOSビッグデータ技術ブログで、ビッグデータに関連する技術についての記事を公開しております。

さて、今回は、2014年7月17日に開催されたEnterprise DB Summit Tokyo 2014で, 下記のタイトルで発表とデモを弊社4名で実施したので、その発表内容について紹介したいと思います。

「Cloud、BigData時代のオープンソースデータベース連携・統合ソリューション」 ~Docker,JBoss Data Virtualizationを活用し、Cloud,BigDataとOSS DBMSの 連携・統合をデモを交えながらご紹介~

課題: データベースの乱立

オープンソースのデータベース(DB)は、すでに当たり前に利用され、様々な企業で実運用されています。 しかし、手軽に利用できるようになった一方で、社内で様々なDBが乱立し、各DBを管理したり、連携したりするのに手間がかかってしまうようになっています。 このとき、所謂ビッグデータを掲げて、データの利活用を始める際には、課題として下記二つが発生することが考えられます。

  1. 企業内で多種混在するDBを一元的に管理すること
    • PostgreSQL, MySQL等のDB及び個々でバージョンが異なるために、それぞれからデータ取得する方法が異なり、それらの一元管理が困難
  2. 新しい種類のデータと、RDBに貯められたデータを組み合わせること
    • センサーデータやアプリケーションログなどの多種多様なデータから自社に必要なデータが何かはやってみないと分からないため、データ量の予測・データ設計が困難

今回のデモでは、前述の課題を解決するアイデアを提示し、データを利活用することで新しい知見が得られるのではないかという示唆を目的とし、 既存RDBに格納された定型的なデータとセンサーデータなどの今どきのデータを組み合わせた下図のシステムを構築し、デモを行いました。

要素技術

デモでは、下記ソフトウェア及びサービスを組み合わせたシステムを構築しました。
  • Redhat Enterprise Linux 7
  • JBoss Data Virtualization
  • Docker
  • PostgreSQL 9.1, 9.2
  • Treasure Data Service
  • Tableau

システム構成: 定型的なデータ

さて、企業内で多種混在するDBを一元的に管理するというデモのために、PostgreSQL9.1と9.2を用いてシステムを構築しました。 このときに、RHEL7とDockerを用いて、PostgreSQLをデプロイしています。 これにより、2バージョンのPostgreSQLを手軽に仮想的に稼働させるシステムを作ることができます。

個々については下記で説明致します。

  • Redhat Enterprise Linux 7

  • JBoss Data Virtualization

  • Docker

  • PostgreSQL 9.1, 9.2

特に、2バージョンのPostgreSQLを一元管理するソフトウェアとして、JBoss Data Virtualizationを利用しています。 Jboss Data Virtualizationの(利用方法などについては、ぜひ弊社の無償ハンズオンセミナにご参加くださいませ)。 このような技術を組み合わせて、既存RDBを一元的に管理するデモシステムは、最終的に下記の構成になります。

システム構成: 今どきなデータ

次に、今どきなデータといえば、スマートフォンで取得できるGPS情報が一つ挙げられるかと思います。 スマートフォンのように多くのユーザがおり、どの程度配信したアプリが使われるかも想定がつかないデータをオンプレでデータ収集や保管をすることは非常に手間がかかります。 そこで、スケールアウトが容易なデータ収集のためのクラウド基盤を使うことでこの問題を解決することができます。

ここでは、データの収集・保管・分析までをワンストップで提供しているクラウドサービスであるTreasureDataServiceを利用することにしました。

これに合わせてTreasureData社で提供しているTreasure Data Android SDKを利用して、スマートフォンのGPS情報をTreasureDataに収集するデモ用モバイルアプリを作成しました。 また、発表当日に弊社から会場までの道のりのGPS情報を収集しておきました。

データの可視化

上述で作成した定型的なデータと今どきなデータを結び付けて、今回はTableauを使ってデータの可視化しました。 Tableauは、データの可視化、ビジュアル化に優れており、ドラッグ&ドロップで簡単にデータの可視化まで行えるBIツールです。 今回のデモでは、定型的なデータとして持っている社員情報と社員が持っているスマートフォンアプリのGPS情報を地図に紐づけた下記のデモを紹介しました。

おわりに

このように弊社では、アイデアをカタチにするためのオープンソースの利活用を行っています。 皆様と共に今後とも素晴らしいアイデアとサービスを推進していきます。

0 件のコメント:

コメントを投稿