富士通研究所、筑波大とＰＣクラスタシステム向けの高速通信ソフトを開発
世界初！イーサネットを束ねて高性能クラスタ通信を実現
～筑波大学のスーパーコンピュータＰＡＣＳ－ＣＳ向けに通信ソフトウェアを開発～
株式会社富士通研究所（注１）は、国立大学法人筑波大学（以下、筑波大学）計算科学研究センター（注２）と共同で、ＰＣクラスタシステム（注３）向けの高速通信ソフトウェアを開発しました。
安価な汎用のギガビットイーサネットを複数本束ね、ソフトウェアのみで毎秒１．４ギガバイトという専用ネットワーク並みの高い通信性能を達成しました。また、本技術は、筑波大学の２，５６０ノードからなる超並列クラスタ型スーパーコンピュータＰＡＣＳ－ＣＳに搭載され、高いアプリケーション実行効率を達成しました。
■ 開発の背景
大規模なＰＣクラスタシステムにおいては、一般には多くの計算機間を接続するネットワークに専用ネットワーク（クラスタインターコネクト）を使います。しかし、この専用ネットワークは高価で、システムのコストアップにつながってしまいます。
これに対して、筑波大学計算科学研究センターでは、汎用の安価なギガビットイーサネットを複数束ねたネットワークを持つ超並列クラスタシステムＰＡＣＳ－ＣＳを開発しました（図）。富士通研究所は、これまでのＰＣクラスタ技術の実用化経験を生かして、ＰＡＣＳ－ＣＳ向けに通信ソフトウェアライブラリ（ソフトウェア部品）を共同開発しました。
■ 課題
一般に、イーサネット上ではインターネットの基本的なプロトコルであるＴＣＰ／ＩＰが使われますが、ＴＣＰ／ＩＰの複雑な処理と、オペレーティングシステムにおけるデータのコピー処理に時間がかかり、複数のギガビットイーサネットを束ねても高い通信性能が得られませんでした。
■ 開発した技術
汎用のイーサネットを束ねて高い通信性能を達成するために、まずＰＡＣＳ－ＣＳの通信ソフトウェアＳＣｏｒｅ（注４）上で、専用ネットワークでも採用されているゼロコピー通信技術（注５）を実現しました。一般に通常のクラスタシステムではこの機能を専用のハードウェアで実現していますが、今回開発した通信ソフトウェアライブラリは、これをソフトウェア技術のみで実現しています。
また、Ｌｉｎｕｘのカーネル（基本部分）処理を徹底的に分析することで、処理量の少ない軽量な独自の通信プロトコルを開発しました。本プロトコルはＴＣＰ／ＩＰとは異なり、複数のイーサネットからのメッセージ処理が競合しません。これらの結果、従来に比べ一桁小さな処理時間での通信処理が可能となりました。
■ 効果
従来ギガビットイーサネットを束ねても ２本分の毎秒２５０メガバイトの通信性能が限界でしたが、ＰＡＣＳ－ＣＳではギガビットイーサネット６本を束ねて双方向で毎秒１．４ギガバイト（転送効率 ９３％）の性能を達成しました。これは、専用ネットワークＩｎｆｉｎｉＢａｎｄ ４ｘ ＳＤＲを超える実効転送性能です。
この通信機構を用いたＰＡＣＳ－ＣＳシステムは、スーパーコンピュータの標準的なベンチマークソフトであるＬｉｎｐａｃｋで１０．３５テラフロップス（注６）の実効性能を達成し、２００６年６月のスーパーコンピュータＴｏｐ５００（注７）世界ランキングで３４番目に高速なシステムとして認定されました。
■ 今後
今後は、ＰＡＣＳ－ＣＳ上でさらなるアプリケーション性能を高めることに協力すると共に、ＰＡＣＳ－ＣＳシステムの安定稼働に協力していきます。また、本技術は一般のＰＣクラスタ、ならびに１０Ｇｂｉｔイーサネットなど次世代ネットワークに対してもそのまま適用可能です。実際に１０Ｇｂｉｔイーサネットに適用した結果、２枚で毎秒２ギガバイト以上の通信性能を確認しています、今後、本技術を一般ＰＣクラスタ利用へ展開するとともに、次世代ネットワークにも応用していく予定です。
以上
■ 注釈
（注１） 株式会社富士通研究所：
代表取締役社長 村野和雄、本社 神奈川県川崎市。
（注２） 国立大学法人筑波大学計算科学研究センター：
センター長 宇川彰、所在地 茨城県つくば市 ＵＲＬ：Ｃｅｎｔｅｒ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｓｃｉｅｎｃｅｓ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｓｕｋｕｂａ
（注３） ＰＣクラスタシステム：
一般のパーソナルコンピュータ（ＰＣ）と同種のプロセッサによる計算機を高速なネットワークにより接続し、全体として高性能なコンピュータとして動作させるシステム。
（注４） ＳＣｏｒｅ（エスコア）：
技術研究組合新情報処理開発機構により開発されたＰＣクラスタシステム用オープンソースソフトウェア。大規模なクラスタシステムを効率よく利用するために、高性能通信ライブラリや、ＰＣクラスタシステムを単一のコンピュータとして扱うための機能を備える。現在、ＰＣクラスタコンソーシアムで開発、配布を続けている。
（注５） ゼロコピー通信技術 ：
プロセッサによるデータのコピーをせずに、ネットワーク経由で通信先のシステムのメモリに直接データを転送する通信技術。
（注６） テラフロップス：
１秒間に１兆回の浮動小数点演算ができる演算能力。
（注７） Ｔｏｐ５００：
半年に一度、独マンハイム大学や米テネシー大学などが、標準的なベンチマークプログラムＬｉｎｐａｃｋにより計測したスーパーコンピュータの上位５００位のランキングを公表している。
＜本件に関するお問い合わせ＞
株式会社富士通研究所 ＩＴコア研究所 ＩＴアーキテクチャ研究部
電話： ０４４－７５４－２６６５ （直通）
Ｅ－ｍａｉｌ： pr-it-arch@ml.labs.fujitsu.com