概要
ビッグデータテクノロジーの必須要件トップ5
付加価値の高いビッグデータテクノロジーのインフラを構築するためには、5つの重要な必須条件があります。
テラデータが設立されたのは、ビッグデータテクノロジーに対する企業の需要に応えるためでした。実際、テラデータの社名は、テラバイト級のデータを管理する能力に由来しています。(現在では、何ペタバイトものデータ量にまで増えています。)当時、大量のデータを保存、分析するには、利用可能なハードウェアに制限がありました。テラデータは、エンタープライズアナリティクスを可能にする大規模なデータを効率的に管理するために、Teradata Databaseを開発し、技術的な問題を解決するとともに、リレーションシップモデルでデータを統合する力を実証しました。
今日、データウェアハウスでは1日に何千万件ものクエリを実行し、ミッションクリティカルな業務をサポートしていますが、テクノロジーの課題はハードウェアの枠をはるかに超えたものになっています。データの量と多様性の増加に対応するためには、適切なツールを使って適切なユーザーにデータが流れるようにするためのビッグデータアーキテクチャが必要になります。
ビッグデータアーキテクチャに関する質問
必要なアーキテクチャを設計するには、多くの場合、正しい質問をすることから始まります。
- ビッグデータ戦略は、ビッグデータ技術のニーズをどのように形成するのか?言い換えれば、ビッグデータを活用することで解決すべきビジネス上の問題、改善すべき業務、達成すべき目標は何か?
- 既存のデータソースやシステムのうち、統合アーキテクチャに「プラグイン」できるものは何か?
- 新しいデータセット(センサーデータやモノのインターネットからのデータなど)をどのように考慮するのか?
- データ主導型で分析可能な思考をビジネスの中心に据えるには、どのようなアプローチが有効か?
- ビッグデータとアナリティクスのプログラムをパイロット段階を超えて「オペレーション化」または拡張するためには、どのようなコンポーネントが必要か?
ビッグデータテクノロジーの必須条件
世界中の何千もの企業と仕事をしてきた中で、テラデータでは、機能するビッグデータプラットフォームを構築する際に、5つの重要な必須条件があることを認識しました。テラデータの見解では、ビッグデータアーキテクチャは次のようなものでなければなりません。
1. 統合
データウェアハウス、データレイク、アナリティクスを単一のプラットフォームに統合することで、生データソース、特定のビジネスインテリジェンスツール、標準的なCRMアプリケーションの間のギャップを埋めることができます。これにより、従来の「ハイブリッド」環境の複雑さが大幅に軽減され、非常に動きの速いデータセットを取り込むことが可能になります。また、ユーザーに、データおよびアナリティクスエンジンへのクロスプラットフォームのアクセスを提供します。
2. スケーラブル
最近のIDC調査によると、回答者の56%が、ITインフラストラクチャプロバイダーやITクラウドサービスベンダーが柔軟なIT消費オプションを提供していない場合、そのプロバイダーを完全に拒否すると回答しています。テラデータは、お客様からのご要望にお応えして、データ分析ソフトウェアプラットフォームVantageを、クラウド、ハイブリッド、オンプレミスを問わず、お客様にとって最適な方法でご利用になれるように開発しました。お客様は、来年はもちろん、来月に必要となる分析機能の規模を予測できない場合があるため、導入戦略の変化に応じて分析ワークロードを調整できる柔軟性を提供しています。
3. 予測
多くのアナリストや専門家は、今日、企業がビッグデータの収集と管理する能力を持つことは当然の結果であり、重要なのはビッグデータを基に予測して行動する能力であると述べています。そこで、人工知能とそのサブセットである機械学習の出番となります。機械学習は、手動でプログラミングをすることなくコンピューターに学習能力を与えるもので、データからパターンを見つけ出し、将来のシナリオを予測するモデルを構築することができます。これは、顧客がある商品を購入する傾向を判断したり、製造工場のすべての機械の出力を最適化したり、セキュリティ体制を向上したりするのに非常に役立ちます。
Vantageの開発にあたっては、高度な分析機能を幅広くサポートするプラットフォームになるよう心がけました。たとえば、Machine Leaning Engineでは、パス分析、パターン分析、統計分析、テキスト分析など、100種類以上の分析機能があらかじめ組み込まれており、幅広い分析に対応しています。また、Graph Engineは、ネットワーク上の人、製品、プロセスの関連性を発見する機能を備えています。
4. アクセス性
セルフサービスのアナリティクスをサポートするテクノロジーとポリシーがあれば、データサイロを減らし、企業のイノベーションの速度を上げることができます。理想的には、組織全体のユーザーが、自分の仕事を効果的に行うために必要な一連のツールとデータに、IT部門に許可を求めることなく、アクセスできるようにすることです。これにより、ユーザーは様々なソリューションを組み合わせる時間を減らし、ビジネスのもっとも重要な戦略的質問に対する答えを見つけて行動を起こす時間を増やすことができます。
また、テクノロジーは、ユーザーが好む言語やツールをサポートする必要があります。Vantageでは、データサイエンティストとビジネスアナリストが、異なるツールや言語を使用していても、 同じデータを扱うことができます。Vantageは、SQL、R、Python、Tableau、Qlik、Teradata AppCenter, Jupyter, RStudioなど、お客様が使用するツールや言語との統合が可能です。
5. イノベーションにオープンであること
高度なアナリティクスの使用例が増え、様々な種類のデータやソースが劇的に増加しているため、データサイエンティストはあらゆるデータサイエンステクノロジーを駆使する必要があります。お客様のお使いになるテクノロジーは、今日そして明日のビジネス上の課題を解決することができる、包括的なものでなければなりません。そのため、将来的にどんな新しいツールやテクノロジーが登場しても対応できるようなアーキテクチャが必要になります。そこでテラデータは、オープンソースと商用分析技術の両方を組み合わせたVantageを開発しました。
ビッグデータ分析を支えるテクノロジーは、急速に変化しています。長期的かつ持続可能なビッグデータ技術戦略を構築するためには、様々なデータストリーム、ツール、アプリケーションを統合するアーキテクチャを構築することが重要です。ビジネスのニーズに応じて拡張可能で、高度な予測分析機能をサポートし、役割に関係なく組織の誰もがアクセスできるものです。そして、必然的に生まれるであろう未来のイノベーションに対してオープンであること。これらの基準を念頭に置くことで、グローバルなデータ経済が拡大していく中で、優位に立つための十分な準備ができるでしょう。