センサーデータの“蓄積と検索”に特化したDB技術：安価なハードウェアで100兆件の処理を実現

三菱電機は、IoT時代のシステムを支える基盤として、センサーから得られた大量のデータの蓄積と検索に特化した「高性能センサーデータベース」技術を開発したと発表した。安価なハードウェア構成でも高速な処理が可能とし、リレーショナルデータベース（PostgreSQL 9.4利用時）と比較して、ストレージ容量／検索集計時間を最大1000分の1に削減するとした。

[庄司智昭，EE Times Japan]

　近年、社会インフラの維持管理や工場の稼働状況監視、ビル／住宅のエネルギー管理など、さまざまな場所でセンサーを活用して、そこから得られたデータを活用する事例が増えている。2020年には500億個の“モノ”がセンサーを搭載してインターネットにつながるといわれており、そのデータ数は100兆件に及ぶという。

　従来、大規模のデータを高速処理する方法としては、多数のサーバによる並列分散処理、大容量メモリを利用したインメモリ処理、フラッシュメモリを利用した高速ストレージの利用が行われていた。しかし、これらの機能を実現するサーバシステムは非常に高価になり、安価でセンサーデータを蓄積／検索できるデータベースが求められていた。

100兆件データ処理に、リレーショナルベースでは大容量のストレージと長時間の処理が必要になることが分かる。また、従来の高速化処理では、高価なハードウェアが必要になる （クリックで拡大） 出典：三菱電機

圧縮／配置／処理の最適化

　三菱電機は今回、データの圧縮／配置／処理の最適化を行ったことで、1〜2個のCPU、4Gバイト容量のメモリを搭載する比較的安価なサーバでも、100兆件のセンサーデータ処理が可能なデータベースを実現した。これにより、サーバの台数も抑えられ、省電力化が可能になる。

　データの圧縮には、6種類の符号化方式を用意。座標データ、高度データなどセンサーデータの種類に応じて、それら6種類の符号化方式を最適な形に組み合わせて圧縮する。組み合わせパターンは700種類以上に上り、センサーデータのサイズが最小になるよう工夫した。「700通りのパターンで圧縮するまでの時間をより短くするのに、当社のノウハウがつまっている」（三菱電機）とする。

　データの配置に関しては、サイズが異なる圧縮データをストレージブロック内に取り出しやすいように並べることで、データ検索の高速化を可能にしている。また、キャッシュメモリ内で処理するためにデータ量を調整することで並列処理性能を向上した。

三菱電機が開発したデータの圧縮／配置／処理の最適化の技術 （クリックで拡大） 出典：三菱電機

2016年度中に社内システムへの適用を

　これらの最適化により、同社は効率的な蓄積と高速な検索／集計処理を実現。100兆件のセンサーデータ処理時の性能において、リレーショナルデータベースでは、ストレージ容量約950Tバイト、蓄積時間約7時間、検索集計時間約28分なのに対して、ストレージ容量約15Tバイト、蓄積時間8分48秒、検索集計時間約2秒に削減した。

　同技術は現在、WindowsとLinuxに対応。社会インフラの維持管理や工場の稼働状況監視など大量のセンサーデータを活用する分野にソリューションとして展開していく。「まずは、2016年度中に社内システムへの適用を目指す」（三菱電機）とした。