検索
ニュース

センサーデータの“蓄積と検索”に特化したDB技術安価なハードウェアで100兆件の処理を実現

三菱電機は、IoT時代のシステムを支える基盤として、センサーから得られた大量のデータの蓄積と検索に特化した「高性能センサーデータベース」技術を開発したと発表した。安価なハードウェア構成でも高速な処理が可能とし、リレーショナルデータベース(PostgreSQL 9.4利用時)と比較して、ストレージ容量/検索集計時間を最大1000分の1に削減するとした。

Share
Tweet
LINE
Hatena

 近年、社会インフラの維持管理や工場の稼働状況監視、ビル/住宅のエネルギー管理など、さまざまな場所でセンサーを活用して、そこから得られたデータを活用する事例が増えている。2020年には500億個の“モノ”がセンサーを搭載してインターネットにつながるといわれており、そのデータ数は100兆件に及ぶという。

 従来、大規模のデータを高速処理する方法としては、多数のサーバによる並列分散処理、大容量メモリを利用したインメモリ処理、フラッシュメモリを利用した高速ストレージの利用が行われていた。しかし、これらの機能を実現するサーバシステムは非常に高価になり、安価でセンサーデータを蓄積/検索できるデータベースが求められていた。


100兆件データ処理に、リレーショナルベースでは大容量のストレージと長時間の処理が必要になることが分かる。また、従来の高速化処理では、高価なハードウェアが必要になる (クリックで拡大) 出典:三菱電機

圧縮/配置/処理の最適化

 三菱電機は今回、データの圧縮/配置/処理の最適化を行ったことで、1〜2個のCPU、4Gバイト容量のメモリを搭載する比較的安価なサーバでも、100兆件のセンサーデータ処理が可能なデータベースを実現した。これにより、サーバの台数も抑えられ、省電力化が可能になる。

 データの圧縮には、6種類の符号化方式を用意。座標データ、高度データなどセンサーデータの種類に応じて、それら6種類の符号化方式を最適な形に組み合わせて圧縮する。組み合わせパターンは700種類以上に上り、センサーデータのサイズが最小になるよう工夫した。「700通りのパターンで圧縮するまでの時間をより短くするのに、当社のノウハウがつまっている」(三菱電機)とする。

 データの配置に関しては、サイズが異なる圧縮データをストレージブロック内に取り出しやすいように並べることで、データ検索の高速化を可能にしている。また、キャッシュメモリ内で処理するためにデータ量を調整することで並列処理性能を向上した。


三菱電機が開発したデータの圧縮/配置/処理の最適化の技術 (クリックで拡大) 出典:三菱電機

2016年度中に社内システムへの適用を

 これらの最適化により、同社は効率的な蓄積と高速な検索/集計処理を実現。100兆件のセンサーデータ処理時の性能において、リレーショナルデータベースでは、ストレージ容量約950Tバイト、蓄積時間約7時間、検索集計時間約28分なのに対して、ストレージ容量約15Tバイト、蓄積時間8分48秒、検索集計時間約2秒に削減した。

 同技術は現在、WindowsとLinuxに対応。社会インフラの維持管理や工場の稼働状況監視など大量のセンサーデータを活用する分野にソリューションとして展開していく。「まずは、2016年度中に社内システムへの適用を目指す」(三菱電機)とした。

Copyright © ITmedia, Inc. All Rights Reserved.

ページトップに戻る