データセンターを支える光伝送技術 〜ハイパースケールデータセンター編：光伝送技術を知る（4）（4/4 ページ）

今回は、エンタープライズデータセンターに続き、GoogleやFacebook、Appleなどが抱える巨大なデータセンター、「ハイパースケールデータセンター」について解説する。

[高井厚志，EE Times Japan]

ハイパースケールデータセンター内の光伝送部品

　ハイパースケールデータセンターではスイッチ間の光ファイバーネットワークの構築がパフォーマンスを決定する重要課題の一つであり、各社の工夫がみられる。光部品は大きく光ファイバーと光トランシーバーである。

　先述したように、インフラとして例えば20年間使用されるシングルモード光ファーバー（SMF）ネットワークの敷設は、データセンターのアーキテクチャを決定する。また、ノンブロックネットワークを実現する複雑な接続を、誤ることなく実施できるような工夫が必要となる。数十万の光トランシーバーに、いかに正しく光コネクターを挿入するか、各社が頭を悩ませているのだ。

　データセンターの構造には、「TIA-942」という標準規格がある。サーバラックが規則正しく並ぶフロアを「EDA（Equipment Distribution Area）」と呼ぶが、その天井下にトレーを置き、光ケーブルを敷設する。これを水平ケーブル（Horizontal Cable）と呼び、この空間を「HDA（Horizontal Distribution Area）」という。

　サーバラックのTORスイッチに接続された光ファイバーは、HDAを介して、Leafスイッチが並ぶ「MDA（Main Distribution Area）」に集められる。EDA、HDA、MDAから成る空間を「ZDA（Zone Distribution Area）」と呼ぶが、ハイパースケールデータセンターは、複数のZDAを有する。各MDAのLeafスイッチと、その上位のSpineスイッチ、さらにその上位のコアスイッチを置くエリア（FacebookでいうところのBDF）との光ファイバー敷設が、一番複雑だといわれている。

　ファイバーインフラには、12本の光ファイバーを250μm間隔で並べたテープファイバーを、隙間なく束ねたケーブルが用いられる。後述するように、1個の光トランシーバーには2本あるいは8本のファイバーが接続される。この2本あるいは8本のファイバーを、12本のファイバーから成るテープファイバーで構成されるファイバーインフラに接続するための分配盤（ネットワーク・ラック）が、MDFなどに設置されている。

図6　ハイパースケールデータセンターの光ファイバー配線（クリックで拡大）

　光トランシーバーは、Microsoftの例のように、最新のハイパースケールデータセンターでは100GbE（ギガビットイーサネット）をベースにした光ネットワークを構築している。その光トランシーバーモジュールの形状（Form Factor）は、QSFP28だ。

　電気信号は、送受それぞれ4本のOIFで規格化された28Gビット/秒（Gbps）信号である。光伝送仕様は伝送距離によって決まり、IEEE 802.3 EthernetやMSA（Multi-Source Agreement）という、業界標準をベースにしている。使用個数が多いこともあり、温度などの使用環境やパワーバジェット（光出力や光受信感度）、管理のための読出し情報などが、各社独自のカスタム仕様となっている。

　ほとんどのデータセンターでは、SMFのCWDM4/CLR4とPSM4というMSA仕様がベースに用いられている。CWDM4/CLR4（両者はビット誤り率が異なる）とPSM4は両方とも、約25Gbpsの4つの光信号を伝送して100GbEとしている。

　CWDM4/CLR4は、決められた異なる4波長の光信号を波長多重分離し、送受1本ずつの光ファイバーで送受する。2連LCという光コネクターを用いる。

　PSM4は4つの光信号を4本の光ファイバーでそれぞれ送受する。MPOという12芯の光コネクターを用い、12芯の内の8芯を用いる。CWDM4/CLR4とPSM4は、波長多重の有無とファイバー本数に違いがあるが、アーキテクチャを考慮したトータルコストにより選択されている。

　次世代の400GbEでは、QSFP-DDとOSFPというモジュール形式（Form Factor）が競争している。両方式とも電気主信号は送受それぞれ56Gbps x 8本である。QSFP56-DDは、QSFP+やQSFP28とバックワードコンパチなのでFacebookやMicrosoftなどが支持している。一方、QSFP112という電気主信号112Gbps x 4本の方式も検討され始めていて、OIFにおいて112Gbpsの標準化に向け動き出している。

　400GbEの光仕様はIEEE 802.3で規格されているが、「100GLambda」というMSA仕様も有力視されている（参考）。IEEE802.3の28GBaudのPAM4（=56Gbps）と100GLambda MSAの56GBaudのPAM4（=112Gbps）の方式競争となっている。56Gbpsの場合、8つの光信号を使用するため消費電力やコストが懸念されている。112Gbpsの場合、新規な高速なデバイスが必要であり、デバイスメーカーが開発中である。日本にあるレーザーメーカーは、56GNRZのデバイスは開発済みだが、PAM4用に改善しているところであり、112Gbpsをリードすると期待されている。112Gbpsの場合、高速なデバイスが必要となる。どの方式を採用するのかは、慎重に見極める必要がある。

　その先は不透明だがMicrosoftは「COB（Consortium for On-Board Optics）」を立ち上げている。それに関しては技術の項で触れる予定である。

図7　ハイパースケールデータセンターの光トランシーバー（クリックで拡大）

筆者プロフィール

高井 厚志（たかい あつし）

　30年以上にわたり、さまざまな光伝送デバイス・モジュールの研究開発などに携わる。光通信分野において、研究、設計、開発、製造、マーケティング、事業戦略に従事した他、事業部長やCTO（最高技術責任者）にも就任。多くの経験とスキルを積み重ねてきた。

　日立製作所から米Opnext（オプネクスト）に異動。さらに、Opnextと米Oclaro（オクラロ）の買収合併により、Oclaroに移る。Opnext／Oclaro時代はシリコンバレーに駐在し、エキサイティングな毎日を楽しんだ。

　さらに、その時々の日米欧中の先端企業と協働および共創で、新製品の開発や新市場の開拓を行ってきた。関連分野のさまざまな学会や標準化にも幅広く貢献。現在はコンサルタントとして活動中である。