NTTデータのOSSソリューション

ビッグデータ活用を支える大量データ処理基盤を提供

Hadoop、Spark、Kafkaを利用した分散処理システムに強み

NTTデータでは、Hadoopをはじめとしたオープンソースソフトウェアを適切に組み合わせることで、最適な分散処理基盤を提供します。
例えば、メッセージングシステムとしてKafka、データの蓄積にHadoop、データの処理にSparkを利用し、基盤全体をカバーすることで、分散処理基盤を実現します。

データ生成元からFluentdやembulkで収集し、Kafkaでメッセージング、Sparkで処理、HadoopやPostgreSQLに格納し、APサーバやクライアントに連携するデータ処理基盤の構成図

NTTデータのソリューション

NTTデータは、大規模データの活用にHadoopを利用した、分散処理のアプローチで多くの実績があります。
従来は夜間時間帯で実行していたバッチ処理を高速化することで、より早く情報を活用できる機会を創りました。
また、機器の容量不足などにより数日間分で捨てていたデータを数か月~年単位で保存することで、分析の精度を高めることができるようになりました。
実現したいことに応じて、数台~千台規模のサーバーからなるHadoopシステムを導入するなどの実績がございます。加えて、データの活用シーンに応じてさまざまな分散処理環境を提供してきた実績もございます。そして、数年以上のHadoopシステム運用で得られたノウハウを蓄積しています。

分散処理技術Hadoopについてはこちら

業務情報やセンサーデータをHadoop、Spark、Kafkaで処理し、可視化・評価する仕組みのイメージ

DATA INSIGHTブログ

2023.4.13

データ活用基盤を支えるオープンソースへの取り組み

OSSソリューション

2022.4.25

データ活用基盤を支えるBigtopソリューション

企業が抱えるデータが年々巨大化し、また将来の事業拡大規模を見通すことが難しい中、それらの変化を見据えたデータ活用基盤の構築や運用に課題を持つ企業は多い。長期的なデータ活用基盤運用に向けたApache Bigtop活用のメリットとBigtopソリューションの活用法を解説する。

データ&インテリジェンス デジタル化・DX OSSソリューション

2021.10.12

デジタル時代のデータ活用新潮流 ストリーム処理

ストリーム処理は、リアルタイムにデータの持つ価値を引き出す、デジタル時代の新しいデータ活用スタイルである。本記事では、ストリーム処理の概要と、エンタープライズに適したストリーム処理プラットフォームの考え方を紹介する。

データ&インテリジェンス データ活用 デジタル化・DX OSSソリューション

補足・商標

  • 記載されている会社名、商品名、サービス名等は、各社の登録商標または商標です。