FUJITSU Storage ETERNUS AF, ETERNUS DX 構築ガイド ...P3AM-3842-31Z0 • 「第13 章 Red Hat Enterprise Linux でLUN 数が256 を超える場合の設定」(41 ページ) Red

FUJITSU StorageETERNUS AF, ETERNUS DX

構築ガイド（サーバ接続編）

ファイバチャネル/Linux 用

P3AM-3842-31Z0

このページは、空白です。

はじめに

本書は、ETERNUS AF/DX を、Linux が動作するサーバにファイバチャネル接続して使用するために必要な作業について説明しています。

本書は、ETERNUS AF/DX、サーバ、OS、ファイバチャネルカード、およびドライバソフトウェアの説明書と併せてご使用ください。

本書に記載されていないパラメーターについては、初期値（デフォルト値）を使用してください。

なお、本書に記載している製品の商標、製品名などの表記については、『構築ガイド（サーバ接続編）表記について』を参照してください。OS がサポートするストレージシステムについては、ETERNUSAF/DX のサポート組み合わせ表を参照してください。

第 31 版

2020 年 3 月

本書の内容と構成

本書は以下に示す 13 章と付録から構成されています。

•「第 1 章作業の流れ」(8 ページ)ETERNUS AF/DX を、Linux が動作するサーバに接続する場合の作業の流れについて説明しています。

•「第 2 章環境の確認」(12 ページ)ETERNUS AF/DX を接続できるサーバの環境について説明しています。

•「第 3 章留意事項」(14 ページ)作業を行う際の留意事項について説明しています。

•「第 4 章 ETERNUS AF/DX の設定」(19 ページ)ETERNUS AF/DX の設定について説明しています。

•「第 5 章ファイバチャネルスイッチの設定」(20 ページ)ファイバチャネルスイッチの設定について説明しています。

•「第 6 章ドライバのインストールとサーバの環境設定」(22 ページ)ファイバチャネルカードドライバのインストールおよびサーバの設定について説明しています。

•「第 7 章サーバと ETERNUS AF/DX の接続」(23 ページ)サーバと ETERNUS AF/DX の設定について説明しています。

•「第 8 章論理ユニットの認識」(24 ページ)ETERNUS AF/DX の論理ユニットを、サーバから認識するための作業について説明しています。

•「第 9 章マルチパスドライバの設定と確認」(27 ページ)マルチパス接続する場合のマルチパスの設定について説明しています。

•「第 10 章ファイルシステムの設定」(28 ページ)ファイルシステムを作成する作業について説明しています。

•「第 11 章ストレージマイグレーションについて」(29 ページ)ストレージマイグレーションについて説明しています。

•「第 12 章無停止ストレージマイグレーションについて」(36 ページ)無停止ストレージマイグレーションについて説明しています。

3FUJITSU Storage ETERNUS AF, ETERNUS DX 構築ガイド（サーバ接続編）ファイバチャネル/Linux 用

Copyright 2020 FUJITSU LIMITEDP3AM-3842-31Z0

•「第 13 章 Red Hat Enterprise Linux で LUN 数が 256 を超える場合の設定」(41 ページ)Red Hat Enterprise Linux で LUN 数が 256 を超える場合に、OS が認識可能な LUN 数を設定する方法について説明しています。

付録として、Veritas Volume Manager 環境におけるパスの縮退発生時の復旧について記載しています。

ファイバチャネルカード型名の表記

『サポート組み合わせ表』を参照し、ご使用のカードを確認してください。

• 以下の型名のファイバチャネルカードを、「富士通版 Emulex ファイバチャネルカード」と表記しています。

- PG-FC105- PG-FC106- PG-FC107- PG-FC201- PG-FC202/PG-FC202L- PG-FC203/PG-FC203L- PG-FC204/PG-FC204L- PY-FC201/PY-FC201L- PY-FC202/PY-FC202L- PY-FC221/PY-FC222- PY-FC331/PY-FC331L- PY-FC332/PY-FC332L- PY-FC351/PY-FC351L- PY-FC352/PY-FC352L- PG-FCD201- PG-FCD202- MC-08FC11/MC-08FC71- MC-08FC31/MC-08FC41- MC-08FC51/MC-08FC61- MC-08FC81/MC-08FC91- MC-0JFC11/MC-0JFC1L- MC-0JFC21/MC-0JFC2L- MC-0JFC31/MC-0JFC3L- MC-0JFC41/MC-0JFC4L- MC-0JFC71/MC-0JFC7L- MC-0JFC81/MC-0JFC8L- MC-0JFC91/MC-0JFC9L- MC-0JFCA1/MC-0JFCAL- MC-0JFCF1/MC-0JFCF2/MC-0JFCF1L/MC-0JFCF2L- MC-0JFCG1/MC-0JFCG2/MC-0JFCG1L/MC-0JFCG2L- MC-0JFCM1/MC-0JFCM2/MC-0JFCM1L/MC-0JFCM2L- MC-0JFCN1/MC-0JFCN2/MC-0JFCN1L/MC-0JFCN2L

はじめに



• 以下の型名のファイバチャネルカードを、「富士通版 QLogic ファイバチャネルカード」と表記しています。

- PG-FCD101- PG-FCD102- PG-FC205/PG-FC205L- PG-FC206/PG-FC206L- PY-FC211/PY-FC211L- PY-FC212/PY-FC212L- PY-FC311/PY-FC311L- PY-FC312/PY-FC312L- PY-FC321/PY-FC321L- PY-FC322/PY-FC322L- PY-FC341/PY-FC341L- PY-FC342/PY-FC342L- MC-0JFC51/MC-0JFC5L- MC-0JFC61/MC-0JFC6L- MC-0JFCB1/MC-0JFCBL- MC-0JFCC1/MC-0JFCCL- MC-0JFCP1/MC-0JFCP2/MC-0JFCP1L/MC-0JFCP2L- MC-0JFCQ1/MC-0JFCQ2/MC-0JFCQ1L/MC-0JFCQ2L- MC-0JFCK1/MC-0JFCK2/MC-0JFCK1L/MC-0JFCK2L- MC-0JFCL1/MC-0JFCL1L

はじめに



目次

第 1 章作業の流れ 8

第 2 章環境の確認 12

2.1 ハードウェア ........................................................................................................................12

2.2 OS（オペレーティングシステム） ......................................................................................12

2.3 ファイバチャネルカード ......................................................................................................12

2.4 ETERNUS Multipath Driver ..................................................................................................12

2.5 Veritas Volume Manager (VxVM).........................................................................................12

2.6 device-mapper multipath ......................................................................................................12

2.7 Veritas Cluster Server (VCS) ...............................................................................................13

第 3 章留意事項 14

3.1 接続に関する留意事項..........................................................................................................143.1.1 Linux での SCSI 装置の扱いについて ...................................................................................................... 14

3.2 Red Hat Enterprise Linux に関する留意事項........................................................................14

3.3 Oracle Linux に関する留意事項............................................................................................14

3.4 SUSE Linux Enterprise Server に関する留意事項 ...............................................................14

3.5 ファイバチャネルカードに関する留意事項 .........................................................................15

3.6 ファイバチャネルスイッチに関する留意事項......................................................................15

3.7 電源投入および電源制御に関する留意事項 .........................................................................15

3.8 システムデザインシートに関する留意事項 .........................................................................15

3.9 Veritas Volume Manager (VxVM)に関する留意事項 ............................................................16

3.10 Veritas Volume Manager (VxVM)の Dynamic Multipathing (DMP)に関する留意事項........16

3.11 Veritas Cluster Server (VCS)に関する留意事項.................................................................16

3.12 ETERNUS AF/DX の接続に関する留意事項 ......................................................................16

3.13 パス増設に関する留意事項 ................................................................................................16

3.14 SAN Boot に関する留意事項 ..............................................................................................17

3.15 ファイルシステムの作成およびマウント時の留意事項 .....................................................17

3.16 シン・プロビジョニングボリュームを使用する場合の留意事項.......................................18



3.17 max_sectors_kb を変更する場合の留意事項 .....................................................................18

第 4 章 ETERNUS AF/DX の設定 19

第 5 章ファイバチャネルスイッチの設定 20

第 6 章ドライバのインストールとサーバの環境設定 22

第 7 章サーバと ETERNUS AF/DX の接続 23

第 8 章論理ユニットの認識 24

8.1 認識した論理ユニットの表示...............................................................................................248.1.1 Red Hat Enterprise Linux または Oracle Linux の場合............................................................................. 24

8.1.2 SUSE Linux Enterprise Server の場合 ..................................................................................................... 25

第 9 章マルチパスドライバの設定と確認 27

9.1 ETERNUS Multipath Driver の設定と確認............................................................................27

9.2 device-mapper multipath の設定と確認................................................................................27

第 10 章ファイルシステムの設定 28

第 11 章ストレージマイグレーションについて 29

第 12 章無停止ストレージマイグレーションについて 36

第 13 章 Red Hat Enterprise Linux で LUN 数が 256 を超える場合の設定 41

13.1 Red Hat Enterprise Linux 8.x, Red Hat Enterprise Linux 7.x の場合..................................41

13.2 Red Hat Enterprise Linux 6.x の場合..................................................................................44

13.3 Red Hat Enterprise Linux 5.x の場合..................................................................................45

付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順 46

目次



第 1 章作業の流れ

この章では、ETERNUS AF/DX を、Linux が動作するサーバと接続する場合の作業について説明しています。

シングルパス接続、マルチパス接続によって作業の内容が異なります。

ファイバチャネルスイッチを使用して接続する場合は、『構築ガイド（サーバ接続編）ファイバチャネル/ファイバチャネルスイッチ設定用』を参照して、確認を十分に行ってから作業を実施してください。

作業の流れは以下のとおりです。

使用するマルチパスドライバ

• ETERNUS Multipath Driver• Veritas Volume Manager• device-mapper multipath 使用するドキュメント

•『サポート組み合わせ表』

•『サポート組み合わせ表 FC-SWITCH 編』

• 接続する ETERNUS AF/DX に対応する『構築ガイド（サーバ接続編）ストレージシステム設定用』

•『構築ガイド（サーバ接続編）ファイバチャネル/ファイバチャネルスイッチ設定用』

•『構築ガイド（サーバ接続編）ファイバチャネル/Linux 用ファイバチャネルカードドライバ設定』

•『構築ガイド（サーバ接続編）ファイバチャネル/FCoE/iSCSI/SAS/Linux 用 device-mapper multipath設定』

•『ETERNUS Web GUI ユーザーズガイド』

• 各製品添付のマニュアル（サーバ、ファイバチャネルカード、ファイバチャネルカードドライバ、マルチパスドライバ、VxVM）



作業の流れ

ETERNUS AF/DX の設定

ETERNUS AF/DX を設定します。

•「第 4 章 ETERNUS AF/DX の設定」(19 ページ)• ETERNUS Web GUI の操作の確認

-『ETERNUS Web GUI ユーザーズガイド』

• ETERNUS AF/DX の設定

- 接続する ETERNUS AF/DX に対応する『構築ガイド（サーバ接続編）ストレージシステム設定用』

ファイバチャネルスイッチの設定

ファイバチャネルスイッチを使用する場合、ファイバチャネルスイッチを設定します。

•「第 5 章ファイバチャネルスイッチの設定」(20 ページ)• ファイバチャネルスイッチの設定

-『構築ガイド（サーバ接続編）ファイバチャネル/ファイバチャネルスイッチ設定用』

• ファイバチャネルのサポート環境などの確認

-『サポート組み合わせ表 FC-SWITCH 編』

ドライバのインストール

使用するファイバチャネルカードのドライバをインストールします。

使用する OS の種類、サーバの種類、ファイバチャネルカードの種類によって、参照するドキュメントが異なります。環境に合わせて参照するドキュメントを以下から選択してください。

•「第 6 章ドライバのインストールとサーバの環境設定」(22 ページ)• カードの装着、ドライバのインストール、設定

-『構築ガイド（サーバ接続編）ファイバチャネル/Linux 用ファイバチャネルカードドライバ設定』

• 使用するカードのドライバ版数などを確認

-『サポート組み合わせ表』

ETERNUS Multipath Driver を使用する場合 Veritas Volume Manager または device-mapper multipath を使用する場合、またはマルチパスドライバを使用しない場合




ETERNUS Multipath Driver のインストール

ETERNUS Multipath Driver をインストールします。

•「第 9 章マルチパスドライバの設定と確認」(27 ページ)• マルチパスドライバのインストールおよび設定

- マルチパスドライバ添付のマニュアル

• 対応するマルチパスドライバの確認


サーバと ETERNUS AF/DX の接続

サーバと ETERNUS AF/DX をファイバチャネルケーブルで接続します。

•「第 7 章サーバと ETERNUS AF/DX の接続」(23 ページ)




論理ユニットの認識

ETERNUS AF/DX の論理ユニット(LUN) を認識させます。

•「第 8 章論理ユニットの認識」(24 ページ)

ETERNUS Multipath Driver を使用する場合、またはマルチパスドライバを使用しない場

合

Veritas Volume Manager を使用する場合

device-mapper multipath を使用する場合

Veritas Volume Manager のインストール

Veritas Volume Manager をインストールします。

• Veritas Volume Manager のインストールおよび設定

- 製品のマニュアル

• 対応するマルチパスドライバの確認


device-mapper multipath の設定と確認

device-mapper multipath の設定と確認を行います。

•「第 9 章マルチパスドライバの設定と確認」(27 ページ)

• device-mapper multipath の設定

-『構築ガイド（サーバ接続編）ファイバチャネル/FCoE/iSCSI/SAS/Linux 用device-mapper multipath設定』

ファイルシステムの作成

ファイルシステムを作成します。

•「第 10 章ファイルシステムの設定」(28 ページ)




第 2 章環境の確認

以下の環境のサーバと接続できます。

ご使用のサーバ環境を『サポート組み合わせ表』で確認してください。

2.1 ハードウェア

『サポート組み合わせ表』を確認してください。

2.2 OS（オペレーティングシステム）


2.3 ファイバチャネルカード


2.4 ETERNUS Multipath Driver


2.5 Veritas Volume Manager (VxVM)


2.6 device-mapper multipath




2.7 Veritas Cluster Server (VCS)


第 2 章環境の確認

2.7 Veritas Cluster Server (VCS)



第 3 章留意事項

作業を行う際は、以下の事項に留意してください。

3.1 接続に関する留意事項

3.1.1 Linux での SCSI 装置の扱いについて

ETERNUS AF/DX はファイバチャネルケーブル経由で接続された SCSI ディスクとして扱われ、サーバからは ETERNUS AF/DX のディスクは論理ユニット(LUN) として扱われます。また Linux では、SCSI ディスク装置は/dev 配下に以下のように定義されています。

(LUN)

sda sda1, sda2,. . . . sda15

sdb sdb1, sdb2,. . . . sdb15

:

sdz sdzl, sdz2,. . . . sdz15

sdaa-sdaz sdaa1, sdaa2,. . . . sdaz15

sdba-sdbz sdba1, sdba2,. . . . sdbz15

sdca-sdcz sdca1, sdca2,. . . . sdcz15

sdda-sddx sdda1, sdda2,. . . . sddx15

:

sdia-sdiv sdia1, sdia2,. . . . sdiv15

3.2 Red Hat Enterprise Linux に関する留意事項

RHEL に関する内容については、Red Hat 社の Web サイトおよびマニュアルなどで確認してください。

3.3 Oracle Linux に関する留意事項

Oracle Linux に関する内容については、Oracle 社の Web サイトおよびマニュアルなどで確認してください。

3.4 SUSE Linux Enterprise Server に関する留意事項

SLES に関する内容については、Novell 社の Web サイトおよびマニュアルなどで確認してください。



3.5 ファイバチャネルカードに関する留意事項

サーバに OS のインストールを完了したあとにファイバチャネルカードを装着した場合、装着後の OS起動時には自動的にファイバチャネルカードが認識されます。その際に応答を求められた場合には以下のとおり応答してください。

• Red Hat Enterprise Linux の場合

システム起動時に kudzu が自動起動します。「Ignore」を選択してください。

• SUSE Linux Enterprise Server の場合

システム起動時に「新しいハードウェア検出」ウィンドウが表示されます。「いいえ」を選択してください。

• RHEL6.3 または Oracle Linux 6.3 で、QLogic 社製ファイバチャネルカードを使用している場合

ファイバチャネル接続のリンク切れ時に、ホスト側のログに LOOP DOWN が表示されない場合があります。

3.6 ファイバチャネルスイッチに関する留意事項

• サーバと ETERNUS AF/DX 間でファイバチャネルスイッチ(ETERNUS SN200 series, Brocadeseries)を使用する場合は、『構築ガイド（サーバ接続編）ファイバチャネル/ファイバチャネルスイッチ設定用』を読み、事前準備およびファイバチャネルスイッチの設定作業を必ず行ってください。

• QLogic 社製 4Gbit/s 対応ファイバチャネルカードを、ファイバチャネルスイッチ(ETERNUS SN200series, Brocade series)と接続するときに、SFP が起因で正しくリンクアップされない場合は、QLogic 社製 4Gbit/s 対応ファイバチャネルカードの BIOS 設定を変更します。SFP に関する詳細は、当社保守員にご確認ください。

3.7 電源投入および電源制御に関する留意事項

サーバの電源を投入する際は、ETERNUS AF/DX およびファイバチャネルスイッチの電源が Ready 状態になっていることを確認してから投入してください。Ready 状態になる前にサーバの電源を投入すると、サーバから ETERNUS AF/DX を認識できません。

また、サーバから ETERNUS AF/DX の電源制御を行う場合は、サーバの稼働中に ETERNUS AF/DXやファイバチャネルスイッチの電源が切断されないように注意してください。サーバより先にETERNUS AF/DX やファイバチャネルスイッチの電源が切断されると、ETERNUS AF/DX にデータを保存できなかったり、保存したデータが破壊されたりすることがあります。

3.8 システムデザインシートに関する留意事項

システムデザインシートとは、ETERNUS AF/DX を導入する際に、導入作業を容易に行うためのワークシートです。システムの導入や導入後のシステム変更、増設、保守に際して現在の環境の保存が重要となります。システムデザインシートを作成することで導入がスムーズに行え、システムの保守も容易となります。


3.5 ファイバチャネルカードに関する留意事項



3.9 Veritas Volume Manager (VxVM)に関する留意事項

• VxVM を使用する構成に ETERNUS AF/DX を接続する場合は、Veritas アレイサポートライブラリ(ASL)を必ずインストールしてください。必要な ASL は、Veritas のサイトで確認／入手してください。

https://sort.veritas.com/asl• Veritas アレイサポートライブラリ (ASL)のインストールは、VxVM のインストール後に行ってください。

• VxVM5.1 以降の場合

ASL を別途インストールする必要はありません。

• Linux や VxVM の版数にかかわらず、Veritas Volume Manager を使用中に、パスの縮退が発生した場合、パスの復旧後にボリュームの一部が正常に認識されないことがあります。この場合は、使用しているファイバチャネルカードのベンダーから提供されているツールを使用して LUN を復旧させたあとに、ボリュームを認識させる必要があります。詳細は、「付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順」(46 ページ)を参照してください。

3.10 Veritas Volume Manager (VxVM)の DynamicMultipathing (DMP)に関する留意事項

VxVM の DMP 機能を使用する場合は、シングルパス構成で使用しないでください。

3.11 Veritas Cluster Server (VCS)に関する留意事項

Veritas Cluster Server のインストールは、Veritas Cluster Server に添付されているマニュアルに従って行ってください。

3.12 ETERNUS AF/DX の接続に関する留意事項

ETERNUS AF/DX とサーバをファイバチャネルケーブルで接続する際には、ETERNUS AF/DX の設定がすべて完了していることを確認してください。なお、WWN 自動取得機能はサーバとの接続が必要なため、使用しないでください。ETERNUS AF/DX の LUN を正しく認識できないことがあります。

3.13 パス増設に関する留意事項

device-mapper multipath を使用時、パス増設後に OS を再起動しない場合、増設したパスが自動認識されないことがあります。その際には以下のコマンドを実行してください。

# multipath -r


3.9 Veritas Volume Manager (VxVM)に関する留意事項



3.14 SAN Boot に関する留意事項

ETERNUS AF/DX の論理ユニット (LUN) をブートディスクとして使用する場合は、『サポート組み合わせ表』で、ご使用のサーバの環境を確認してください。

また、使用するサーバの SAN Boot 用マニュアル（環境構築ガイドなど）も確認してください。ブートディスクとして使用するためには、OS のインストールに十分な容量の LUN を ETERNUS AF/DX に準備する必要があります。

3.15 ファイルシステムの作成およびマウント時の留意事項

以下のすべてを満たす環境では、ファイルシステム作成コマンドがエラー終了することがあります。

• RHEL7.3 以降または SLES12 SP2 以降を使用している

• ETERNUS DX S3 series または ETERNUS AF series で、ファームウェア版数が V10L70 より前

• Allocation 方式が「Thick」の TPV または「Thick」の FTV を使用している

ファイルシステムに応じて以下のオプションを追加し、コマンドを実行してください。

• ext3/ext4 ファイルシステムの場合

-E discard オプション

例）

# mkfs.ext4 -E discard <デバイス名>

• xfs ファイルシステムの場合

-K オプション

例）

# mkfs.xfs -K <デバイス名>

このファイルシステムをマウントするときは、discard オプションを指定しないでください。


3.14 SAN Boot に関する留意事項



3.16 シン・プロビジョニングボリュームを使用する場合の留意事項

以下のすべてを満たす環境では、シン・プロビジョニングボリュームの領域解放が正しく実行されないことがあります。

• RHEL7.3 以降、SLES12 SP2 以降、Oracle Linux 6.9、Oracle Linux 6.10、または Oracle Linux 7.3以降を使用している

• Allocation 方式が「Thin」の TPV または「Thin」の FTV を使用している

これを回避するために、以下の手順を実施してください。

1 /etc/udev/rules.d/配下に設定ファイル（99-eternus.rules）を配置し、以下の設定内容を記載します。

ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DXH", ATTR{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap"ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DXM", ATTR{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap"ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DXL", ATTR{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap"ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DX400", ATTR{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap"ACTION=="add", SUBSYSTEM=="scsi_disk", ATTRS{vendor}=="FUJITSU", ATTRS{model}=="ETERNUS_DX8000", ATTR{thin_provisioning}=="1", ATTR{provisioning_mode}="unmap"

2 OS を再起動します。

3.17 max_sectors_kb を変更する場合の留意事項

/sys/block/sdX/queue/max_sectors_kb を変更し、最大 I/O サイズのチューニングを実施する場合は、max_sectors_kb の値が 7992 以下となるように設定してください。


3.16 シン・プロビジョニングボリュームを使用する場合の留意事項



第 4 章ETERNUS AF/DX の設定

ETERNUS Web GUI を使用して、ETERNUS AF/DX の環境を設定します。

ETERNUS AF/DX の設定は、サーバ装置の設定（セットアップ）とは別に、ETERNUS AF/DX 単体で行うことができます。設定方法については、以下のマニュアルを参照してください。


•『ETERNUS Web GUI ユーザーズガイド』



第 5 章ファイバチャネルスイッチの設定

サーバと ETERNUS AF/DX を、ファイバチャネルスイッチを使用して接続する場合に必要な設定を行います。

『構築ガイド（サーバ接続編）ファイバチャネル/ファイバチャネルスイッチ設定用』に従って設定してください。

ETERNUS SF Storage Cruiser を利用して、アクセスパスを設定した場合、ホストレスポンスの設定は、デフォルトの設定になります。

ホストレスポンスを設定変更している環境では、ホストレスポンスを再設定してください。

以下に、サーバとファイバチャネルスイッチを接続し、ゾーニングした場合のシステム構成例を示します。

以下は、複数サーバの構成例です。

Port2Port0 Port6Port4




ZONE1 ZONE2 ZONE3

ZONE4

Name : Server#1

Port1Port0

Name : Server#2

Port1Port0

FC FC

CM0 CM1

Name : RAID#1

ETERNUS AF/DX

Port1 Port1Port0 Port0



以下は、1 サーバの構成例です。





ZONE1

ZONE2

ZONE3 ZONE4

FC FC

Port0 Port1

CM0 CM1

ETERNUS AF/DX

Port0 Port0 Port1Port1

第 5 章ファイバチャネルスイッチの設定



第 6 章ドライバのインストールとサーバの環境設定

ファイバチャネルカードドライバのインストール、およびサーバの環境設定を行います。

『構築ガイド（サーバ接続編）ファイバチャネル/Linux 用ファイバチャネルカードドライバ設定』を参照して、設定を行ってください。

• Emulex 社製のファイバチャネルカード、または富士通版 Emulex ファイバチャネルカードを使用する場合、「Emulex 社製ファイバチャネルカードを使用する場合の作業」の章を参照してください。

• QLogic 社製のファイバチャネルカード、または富士通版 QLogic ファイバチャネルカードを使用する場合、「QLogic 社製ファイバチャネルカードを使用する場合の作業」の章を参照してください。

• Brocade 社製のファイバチャネルカードを使用する場合、「Brocade 社製ファイバチャネルカードを使用する場合の作業」の章を参照してください。



第 7 章サーバと ETERNUS AF/DX の接続

ドライバのインストールが完了したあとに OS をシャットダウンしてください。

シャットダウン完了後にサーバと ETERNUS AF/DX 間をファイバチャネルケーブルで接続します。接続後、OS の起動を実施します。

以降の作業はサーバと ETERNUS AF/DX が接続されていることが必要です。



第 8 章論理ユニットの認識

Linux は起動時に自動的に SCSI ディスクを認識し、装置名を sda から順に割り当てます。このとき内蔵 SCSI ディスクがあれば先に内蔵 SCSI ディスクを割り当て、そのあとに ETERNUS AF/DX の LUNを割り当てます。例えば、内蔵 SCSI ディスクが 1 台あれば、以下のように SCSI 装置名が割り当てられます。

SCSI 装置名 by-id 名（例）内容

/dev/sda /dev/disk/by-id/scsi-36003005700ac3fc013746ef6315e42c4 内蔵 SCSI ディスク

/dev/sdb 以降 /dev/disk/by-id/scsi-3600000e00d0000000000042200000000/dev/disk/by-id/scsi-3600000e00d0000000000042200010000:

ETERNUS AF/DX のLUN

8.1 認識した論理ユニットの表示

Linux 起動時のコンソールメッセージにドライバ版数、各 LUN の SCSI 装置名などの情報が表示されます。コンソールメッセージは画面からすぐ消えますが、以下のコマンドで再表示できます。

8.1.1 Red Hat Enterprise Linux または Oracle Linux の場合

• dmesg コマンドによる LUN 表示

Linux が ETERNUS AF/DX の LUN を認識したかどうかは、dmesg コマンドを使用して判断できます。

以下に例を示します。

#dmesg|less :Emulex LightPulse FC SCSI/IP 4.21qPCI:Found IRQ 10 for device 03:06.0!lpfc0:031:Link Up Event received Data:1 1 1 2PCI:Found IRQ 5 for device 04:02.0IRQ routing conflict for 04:02.0,have irq 10,want irq 5!lpfc0:031:Link Up Event received Data:1 1 1 2scsi3:Emulex LPFC SCSI on PCI bus 03 device 30 irq 10scsi4:Emulex LPFC SCSI on PCI bus 04 device 10 irq 10Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000Type: Direct-Access ANSI SCSI revision: 03Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000Type: Direct-Access ANSI SCSI revision: 03



• cat コマンドによる LUN 表示

cat コマンドで/proc/scsi/scsi ファイルを表示することで、認識された SCSI 装置がわかります。割り当てられた LUN をパスごとに確認してください。


# cat /proc/scsi/scsi Attached devices:Host: scsi2 Channel: 00 Id: 05 Lun: 00Vender: HP Model: SAFTE; U160/M BP Rev: 1023Type: processor ANSI SCSI revision: 02Host: scsi2 Channel: 02 Id: 00 Lun: 00Vender: MegaRAID Model: LD0 RAID0 8677R Rev: EType: Direct-Access ANSI SCSI revision: 02Host: scsi3 Channel: 00 Id: 00 Lun: 00Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000Type: Direct-Access ANSI SCSI revision: 03Host: scsi3 Channel: 00 Id: 00 Lun: 01Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000Type: Direct-Access ANSI SCSI revision: 03

8.1.2 SUSE Linux Enterprise Server の場合

• boot メッセージによる LUN 表示

Linux が ETERNUS AF/DX の LUN を認識したかどうかは、/var/log/boot.msg ファイルをエディタなどで確認して判断できます。

以下に例を示します（矢印キーで前後にスクロールできます）。

<6>qla2x00_set_info starts at address - c3600060<6>qla2x00: Found VID-1077 DID-2422 SSVID-1077 SSDID-134<6>scsi(2): Found a QLA2422 @ bus l, device 0xa, 1rq 29, iobase 0xf9o0d000

. . .

<6>scsi2 : Qlogic QLA2422 PCI to Fibre Channel Host Adapter: bus l device 10 irq 29<4> Firmware version: 4.00.12, Driver version 7.07.01 (1)<4><6>scsi3 : Qlogic QLA2422 PCI to Fibre Channel Host Adapter: bus l device 10 irq 30<4> Firmware version: 4.00.12, Driver version 7.07.01 (2)<4><4> Vendor: FUJITSU Model: ETERNUS_DX400 Rev: 0000<4> Type: Direct-Access ANSI SCSI revision: 05<4> Vendor: FUJITSU Model: ETERNUS_DX400 Rev: 0000<4> Type: Direct-Access ANSI SCSI revision: 05<6>scsi(2:0:0:0): Enabled tagged queuing, queue depth 20.<6>scsi(2:0:0:1): Enabled tagged queuing, queue depth 20.<4>Attached scsi disk sdb at scsi2, channel 0, id 0, lun 0<4>Attached scsi disk sdb at scsi2, channel 0, id 0, lun 1<4>SCSI device sdb: 4096000 512-byte hdwr sectors (2097 MB)<6> sdb: unknown partition table<4>SCSI device sdb: 4096000 512-byte hdwr sectors (2097 MB)<6> sdb: unknown partition table

(1)、(2)は、ドライバの版数です。





• cat コマンドによる LUN 表示

cat コマンドで/proc/scsi/scsi ファイルを表示することで、認識された SCSI 装置がわかります。割り当てられた LUN をパスごとに確認してください。


# cat /proc/scsi/scsi Attached devices:Host: scsi0 Channel: 00 Id: 04 Lun: 00 Vender: FUJITSU Model: MAP3735NC Rev: 5207 Type: Direct-Access ANSI SCSI revision: 03Host: scsi0 Channel: 00 Id: 08 Lun: 00 Vender: SDR Model: GEM318 Rev: 0 Type: Processor ANSI SCSI revision: 02Host: scsi1 Channel: 00 Id: 05 Lun: 00 Vender: SEAGATE Model: DAT 9SP40-000 Rev: 9M38 Type: Sequential-Access ANSI SCSI revision: 03Host: scsi2 Channel: 00 Id: 00 Lun: 00 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 05Host: scsi2 Channel: 00 Id: 00 Lun: 01 Vender: FUJITSU Model: ETERNUS_DX400 Rev: 0000 Type: Direct-Access ANSI SCSI revision: 05





第 9 章マルチパスドライバの設定と確認

9.1 ETERNUS Multipath Driver の設定と確認

ETERNUS Multipath Driver を使用する場合は、ETERNUS Multipath Driver に添付されているマニュアルに従って ETERNUS Multipath Driver の設定および確認を実施してください。

9.2 device-mapper multipath の設定と確認

device-mapper multipath を使用する場合の設定と確認を行います。

『構築ガイド（サーバ接続編）ファイバチャネル/FCoE/iSCSI/SAS/Linux 用 device-mapper multipath設定』を参照して、設定および確認作業を行ってください。



第 10 章ファイルシステムの設定

Linux が ETERNUS AF/DX の LUN を認識後、以下の処理を行うとアクセスできるようになります。

• 区画設定

• 区画フォーマット

• 区画マウント

Red Hat Enterprise Linux AS v.4 Update 4, Red Hat Enterprise Linux ES v.4 Update 4 以降で、by-id名を使用する場合には、取り扱うデバイス名が by-id 名となります。



第 11 章ストレージマイグレーションについて

本章では、ストレージマイグレーションを実施する場合にサーバで行う設定について説明します。

ストレージマイグレーションを実施する場合、サーバ（RHEL）から ETERNUS AF/DX の LUN を使用できるようにするための設定が必要です。

■ 設定手順の概要

ストレージマイグレーションの開始操作は、ETERNUS Web GUI から行います。それ以外の操作は、すべてサーバ（RHEL）で行います。

本手順では、マルチパスドライバとして ETERNUS Multipath Driver または device-mapper を使用しています。

ストレージマイグレーションの手順には、fstab を編集する場合および bindings を編集する場合の 2 種類の方法があります。ETERNUS AF/DX を Raw デバイスとして使用する場合、bindings を編集する方法でストレージマイグレーションを実施してください。

● fstab を編集する場合

1 対象の LUN をアンマウントします。

2 /etc/fstab ファイルを編集し、対象の LUN をマウントしないように変更します。

3 /etc/multipath.conf ファイルを編集し、ETERNUS AF/DX のデバイス ID を変更します。

4 サーバの電源を切断します。

5 ストレージマイグレーションを開始してから、接続先を移行先の ETERNUS AF/DX へ変更し、サーバを再起動します。

6 対象の LUN を確認します。

7 /etc/fstab ファイルを編集し、マウントするように対象の LUN を変更したあと、対象の LUN をマウントします。

● bindings を編集する場合

1 対象の LUN をアンマウントします。




5 ストレージマイグレーションを開始してから、接続先を移行先の ETERNUS AF/DX へ変更し、サーバを再起動します。




7 /var/lib/multipath/bindings ファイルを編集し、エイリアスに対応する WWID を移行先のETERNUS AF/DX の値に変更します。

8 ファイルの編集をシステムに反映します。

9 対象の LUN をマウントします。

10 /etc/fstab ファイルを編集し、対象の LUN をマウントするように変更します。

■ 設定手順例

RHEL 5.10 で bindings を編集する場合の設定手順の例を以下に示します。

1 対象の LUN にアクセスするプロセスを停止し、対象の LUN をアンマウントします。


# vi /etc/fstab

/dev/VolGroup00/LogVol00 / ext3 defaults 1 1LABEL=/boot /boot ext3 defaults 1 2tmpfs /dev/shm tmpfs defaults 0 0devpts /dev/pts devpts gid=5,mode=620 0 0sysfs /sys sysfs defaults 0 0proc /proc proc defaults 0 0/dev/VolGroup00/LogVol01 swap swap defaults 0 0# /dev/mapper/mpath1p1 /mnt/lun0 ext3 defaults 0 0 fコメントアウト

# /dev/mapper/mpath2p1 /mnt/lun1 ext2 defaults 0 0 fコメントアウト



# /dev/vg1/lv1 /mnt/lvm0 ext4 defaults 0 0 fコメントアウト

#


# vi /etc/multipath.conf

# This is a basic configuration file with some examples, for device mapper# multipath.（中略）devices { device { vendor "FUJITSU"# product "ETERNUS_DX400" f削除

product "ETERNUS_DXH" f追加（"ETERNUS_DX400"を"ETERNUS_DXH"に変更）

prio_callout "/sbin/mpath_prio_alua %d" path_grouping_policy group_by_prio path_selector "round-robin 0" failback immediate no_path_retry 10 path_checker tur }}

#





5 ETERNUS Web GUI からストレージマイグレーションを開始したあと、接続先を移行先のETERNUS AF/DX へ変更し、サーバを再起動します。


# multipath -ll

mpath16 (3600000e00d2b0000002b010100740000) dm-9 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:7 sdi 8:128 [active][ready] ¥_ 6:0:0:7 sdq 65:0 [active][ready]mpath9 (3600000e00d2b0000002b010100590000) dm-2 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:0 sdb 8:16 [active][ready] ¥_ 6:0:0:0 sdj 8:144 [active][ready]mpath15 (3600000e00d2b0000002b010100730000) dm-8 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:6 sdh 8:112 [active][ready] ¥_ 6:0:0:6 sdp 8:240 [active][ready]mpath14 (3600000e00d2b0000002b010100720000) dm-7 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:5 sdg 8:96 [active][ready] ¥_ 6:0:0:5 sdo 8:224 [active][ready]mpath13 (3600000e00d2b0000002b010100710000) dm-6 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:4 sdf 8:80 [active][ready] ¥_ 6:0:0:4 sdn 8:208 [active][ready]mpath12 (3600000e00d2b0000002b0101005c0000) dm-5 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:3 sde 8:64 [active][ready] ¥_ 6:0:0:3 sdm 8:192 [active][ready]mpath11 (3600000e00d2b0000002b0101005b0000) dm-4 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:2 sdd 8:48 [active][ready] ¥_ 6:0:0:2 sdl 8:176 [active][ready]mpath10 (3600000e00d2b0000002b0101005a0000) dm-3 FUJITSU,ETERNUS_DXH[size=20G][features=1 queue_if_no_path][hwhandler=0][rw]¥_ round-robin 0 [prio=50][active] ¥_ 5:0:0:1 sdc 8:32 [active][ready] ¥_ 6:0:0:1 sdk 8:160 [active][ready]

#（続く）




（続き）# cat /var/lib/multipath/bindings

# Multipath bindings, Version : 1.0# NOTE: this file is automatically maintained by the multipath program.# You should not need to edit this file in normal circumstances.## Format:# alias wwid#mpath0 36003005700e979401efd5fe60f79a19bmpath1 36000b5d0006a0000006a0ba000040000mpath2 36000b5d0006a0000006a0ba000050000mpath3 36000b5d0006a0000006a0ba000060000mpath4 36000b5d0006a0000006a0ba000070000mpath5 36000b5d0006a0000006a0ba0001c0000mpath6 36000b5d0006a0000006a0ba0001d0000mpath7 36000b5d0006a0000006a0ba0001e0000mpath8 36000b5d0006a0000006a0ba0001f0000mpath9 3600000e00d2b0000002b010100590000 fマイグレーション後

mpath10 3600000e00d2b0000002b0101005a0000 fマイグレーション後

mpath11 3600000e00d2b0000002b0101005b0000 fマイグレーション後

mpath12 3600000e00d2b0000002b0101005c0000 fマイグレーション後

mpath13 3600000e00d2b0000002b010100710000 fマイグレーション後




#

# ls -l /dev/mapper

total 0crw------- 1 root root 10, 60 Jul 15 14:25 controlbrw-rw---- 1 root disk 253, 3 Jul 15 14:26 mpath10brw-rw---- 1 root disk 253, 10 Jul 15 14:26 mpath10p1brw-rw---- 1 root disk 253, 4 Jul 15 14:26 mpath11brw-rw---- 1 root disk 253, 5 Jul 15 14:26 mpath12brw-rw---- 1 root disk 253, 6 Jul 15 14:26 mpath13brw-rw---- 1 root disk 253, 11 Jul 15 14:26 mpath13p1brw-rw---- 1 root disk 253, 7 Jul 15 14:26 mpath14brw-rw---- 1 root disk 253, 12 Jul 15 14:26 mpath14p1brw-rw---- 1 root disk 253, 8 Jul 15 14:26 mpath15brw-rw---- 1 root disk 253, 9 Jul 15 14:26 mpath16brw-rw---- 1 root disk 253, 2 Jul 15 14:26 mpath9brw-rw---- 1 root disk 253, 13 Jul 15 14:26 mpath9p1brw-rw---- 1 root disk 253, 14 Jul 15 14:26 vg1-lv1brw-rw---- 1 root disk 253, 0 Jul 15 14:26 VolGroup00-LogVol00brw-rw---- 1 root disk 253, 1 Jul 15 14:25 VolGroup00-LogVol01

#




この結果から、ストレージマイグレーションの開始前と開始後で以下のように対応しています。

mpath1 36000b5d0006a0000006a0ba000040000 mpath9 3600000e00d2b0000002b010100590000

mpath2 36000b5d0006a0000006a0ba000050000 mpath10 3600000e00d2b0000002b0101005a0000

mpath3 36000b5d0006a0000006a0ba000060000 mpath11 3600000e00d2b0000002b0101005b0000

mpath4 36000b5d0006a0000006a0ba000070000 mpath12 3600000e00d2b0000002b0101005c0000

mpath5 36000b5d0006a0000006a0ba0001c0000 mpath13 3600000e00d2b0000002b010100710000

mpath6 36000b5d0006a0000006a0ba0001d0000 mpath14 3600000e00d2b0000002b010100720000

mpath7 36000b5d0006a0000006a0ba0001e0000 mpath15 3600000e00d2b0000002b010100730000

mpath8 36000b5d0006a0000006a0ba0001f0000 mpath16 3600000e00d2b0000002b010100740000

7 /var/lib/multipath/bindings ファイルを編集し、エイリアスに対応する WWID を移行先のETERNUS AF/DX の値に変更します。

# vi /var/lib/multipath/bindings

# Multipath bindings, Version : 1.0# NOTE: this file is automatically maintained by the multipath program.# You should not need to edit this file in normal circumstances.## Format:# alias wwid#mpath0 36003005700e979401efd5fe60f79a19b# mpath1 36000b5d0006a0000006a0ba000040000 f削除

# mpath2 36000b5d0006a0000006a0ba000050000 f削除

# mpath3 36000b5d0006a0000006a0ba000060000 f削除

# mpath4 36000b5d0006a0000006a0ba000070000 f削除

# mpath5 36000b5d0006a0000006a0ba0001c0000 f削除

# mpath6 36000b5d0006a0000006a0ba0001d0000 f削除

# mpath7 36000b5d0006a0000006a0ba0001e0000 f削除

# mpath8 36000b5d0006a0000006a0ba0001f0000 f削除

# mpath9 3600000e00d2b0000002b010100590000 f削除

# mpath10 3600000e00d2b0000002b0101005a0000 f削除

# mpath11 3600000e00d2b0000002b0101005b0000 f削除

# mpath12 3600000e00d2b0000002b0101005c0000 f削除

# mpath13 3600000e00d2b0000002b010100710000 f削除

# mpath14 3600000e00d2b0000002b010100720000 f削除

# mpath15 3600000e00d2b0000002b010100730000 f削除

# mpath16 3600000e00d2b0000002b010100740000 f削除

mpath1 3600000e00d2b0000002b010100590000 f追加

mpath2 3600000e00d2b0000002b0101005a0000 f追加

mpath3 3600000e00d2b0000002b0101005b0000 f追加

mpath4 3600000e00d2b0000002b0101005c0000 f追加

mpath5 3600000e00d2b0000002b010100710000 f追加

mpath6 3600000e00d2b0000002b010100720000 f追加

mpath7 3600000e00d2b0000002b010100730000 f追加

mpath8 3600000e00d2b0000002b010100740000 f追加

#




8 multipath -r コマンドを実行し、ファイルの編集をシステムに反映します。

# multipath -r

3600000e00d2b0000002b010100590000: rename mpath9 to mpath1: mpath1 (3600000e00d2b0000002b010100590000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:0 sdb 8:16 [active][ready] ¥_ 6:0:0:0 sdj 8:144 [active][ready]3600000e00d2b0000002b0101005a0000: rename mpath10 to mpath2: mpath2 (3600000e00d2b0000002b0101005a0000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:1 sdc 8:32 [active][ready] ¥_ 6:0:0:1 sdk 8:160 [active][ready]3600000e00d2b0000002b0101005b0000: rename mpath11 to mpath3: mpath3 (3600000e00d2b0000002b0101005b0000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:2 sdd 8:48 [active][ready] ¥_ 6:0:0:2 sdl 8:176 [active][ready]3600000e00d2b0000002b0101005c0000: rename mpath12 to mpath4: mpath4 (3600000e00d2b0000002b0101005c0000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:3 sde 8:64 [active][ready] ¥_ 6:0:0:3 sdm 8:192 [active][ready]3600000e00d2b0000002b010100710000: rename mpath13 to mpath5: mpath5 (3600000e00d2b0000002b010100710000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:4 sdf 8:80 [active][ready] ¥_ 6:0:0:4 sdn 8:208 [active][ready]3600000e00d2b0000002b010100720000: rename mpath14 to mpath6: mpath6 (3600000e00d2b0000002b010100720000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:5 sdg 8:96 [active][ready] ¥_ 6:0:0:5 sdo 8:224 [active][ready]3600000e00d2b0000002b010100730000: rename mpath15 to mpath7: mpath7 (3600000e00d2b0000002b010100730000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:6 sdh 8:112 [active][ready] ¥_ 6:0:0:6 sdp 8:240 [active][ready]3600000e00d2b0000002b010100740000: rename mpath16 to mpath8: mpath8 (3600000e00d2b0000002b010100740000) FUJITSU,ETERNUS_DXH[size=20G][features=0][hwhandler=0][n/a]¥_ round-robin 0 [prio=50][undef] ¥_ 5:0:0:7 sdi 8:128 [active][ready] ¥_ 6:0:0:7 sdq 65:0 [active][ready]

#

9 対象の LUN をマウントします。




10 /etc/fstab ファイルを編集し、対象の LUN をマウントするように変更します。

# vi /etc/fstab

/dev/VolGroup00/LogVol00 / ext3 defaults 1 1LABEL=/boot /boot ext3 defaults 1 2tmpfs /dev/shm tmpfs defaults 0 0devpts /dev/pts devpts gid=5,mode=620 0 0sysfs /sys sysfs defaults 0 0proc /proc proc defaults 0 0/dev/VolGroup00/LogVol01 swap swap defaults 0 0/dev/mapper/mpath1p1 /mnt/lun0 ext3 defaults 0 0 fコメントを解除

/dev/mapper/mpath2p1 /mnt/lun1 ext2 defaults 0 0 fコメントを解除



/dev/vg1/lv1 /mnt/lvm0 ext4 defaults 0 0 fコメントを解除

#

本手順完了後は、移行前と同様に、移行後の ETERNUS AF/DX で LUN を使用できます。




第 12 章無停止ストレージマイグレーションについて

本章では、RHEL6.5 が動作する device-mapper multipath の環境を例として、無停止ストレージマイグレーションを実施する場合のパス増設手順、パス減設手順、および留意事項について説明します。

■ パス増設手順

移行先ストレージを接続後、サーバ（RHEL6.5）で移行先ストレージのパスを増設する手順を以下に示します。

1 マルチパスの状態を確認します。

以下の例では、各 LUN が 2 パスずつの構成となっています。

[root@S6-12 ~]# multipath -llmpathc (36000b5d0006a0000006a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:1 sdc 8:32 active ready running `- 5:0:1:1 sdo 8:224 active ready runningmpathb (36000b5d0006a0000006a0ba000190000) dm-2 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:0 sdb 8:16 active ready running `- 5:0:1:0 sdn 8:208 active ready running[root@S6-12 ~]#

2 マルチパスを増設します。

移行先ストレージでホストアフィニティを追加します。

3 HBA の再スキャンを行います。

[root@S6-12 ~]# for s in /sys/class/fc_host/host*/device/scsi_host/host*/scan; do echo '- - -' > $s; done[root@S6-12 ~]#



4 パスが増設されたことを確認します。

以下の例では、各 LUN に 2 パスずつ追加され、4 パスの構成となっています。

[root@S6-12 ~]# multipath -llmpathc (36000b5d0006a0000006a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:1 sdc 8:32 active ready running |- 5:0:1:1 sdo 8:224 active ready running |- 6:0:0:1 sdam 66:96 active ready running `- 5:0:0:1 sdaa 65:160 active ready runningmpathb (36000b5d0006a0000006a0ba000190000) dm-2 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:0 sdb 8:16 active ready running |- 5:0:1:0 sdn 8:208 active ready running |- 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running

パスが増設されていない場合、手順. 5 を実施してください。

5 マルチパス設定の再読み込みを行います。

[root@S6-12 ~]# service multipathd reloadReloading multipathd: [ OK ][root@S6-12 ~]# multipath -llmpathc (36000b5d0006a0000006a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:1 sdc 8:32 active ready running |- 5:0:1:1 sdo 8:224 active ready running |- 6:0:0:1 sdam 66:96 active ready running `- 5:0:0:1 sdaa 65:160 active ready runningmpathb (36000b5d0006a0000006a0ba000190000) dm-2 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:0 sdb 8:16 active ready running |- 5:0:1:0 sdn 8:208 active ready running |- 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running[root@S6-12 ~]#




■ パス減設手順

移行元ストレージの切断後、サーバ（RHEL6.5）で移行先ストレージのパスを減設する手順を以下に示します。

1 マルチパスの状態を確認します。

以下の例では、各 LUN が 4 パスずつの構成となっています。

[root@S6-12 ~]# multipath -llmpathc (36000b5d0006a0000006a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:1 sdc 8:32 active ready running |- 5:0:1:1 sdo 8:224 active ready running |- 6:0:0:1 sdam 66:96 active ready running `- 5:0:0:1 sdaa 65:160 active ready runningmpathb (36000b5d0006a0000006a0ba000190000) dm-2 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 6:0:1:0 sdb 8:16 active ready running |- 5:0:1:0 sdn 8:208 active ready running |- 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running[root@S6-12 ~]#

2 マルチパスを減設します。

移行元ストレージとサーバ間の経路を切断します。

3 マルチパス設定の再読み込みを行います。

[root@S6-12 ~]# service multipathd reloadReloading multipathd: [ OK ][root@S6-12 ~]#




4 パスが減設されたことを確認します。

以下の例では、各 LUN から 2 パスずつ削除され、2 パス構成となっています。

[root@S6-12 ~]# multipath -llmpathc (36000b5d0006a0000006a0ba0001a0000) dm-3 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 5:0:0:1 sdaa 65:160 active ready running `- 6:0:0:1 sdam 66:96 active ready runningmpathb (36000b5d0006a0000006a0ba000190000) dm-2 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 5:0:0:0 sdz 65:144 active ready running `- 6:0:0:0 sdal 66:80 active ready running[root@S6-12 ~]#

■ 留意事項

移行元ストレージと移行先ストレージで ALUA 設定が異なる場合、パス増設中は（ACTIVE / ACTIVE）のストレージの全パスと（ACTIVE-ACTIVE / PREFERRED_PATH）のストレージの優先パスが優先パスグループとなり、パス減設時点で移行先ストレージの ALUA 設定のパスグループ構成となります。

移行前、パス増設時、およびパス減設後の状態について以下に示します。

• 移行前

移行元ストレージが（ACTIVE / ACTIVE）のため、2 パスとも優先パスグループとなります。

mpathe (36000b5d0006a0000006a0ba0001c0000) dm-5 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw`-+- policy='round-robin 0' prio=130 status=active |- 2:0:1:3 sde 8:64 active ready running `- 1:0:1:3 sdq 65:0 active ready running

• パス増設後

移行元ストレージの（ACTIVE / ACTIVE）の 2 パスと、移行先ストレージの（ACTIVE-ACTIVE /PREFERRED_PATH）の 1 つの優先パスが優先パスグループとなります。

mpathe (36000b5d0006a0000006a0ba0001c0000) dm-5 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw|-+- policy='round-robin 0' prio=130 status=active| |- 2:0:1:3 sde 8:64 active ready running| |- 1:0:1:3 sdq 65:0 active ready running| `- 1:0:0:3 sdac 65:192 active ready running`-+- policy='round-robin 0' prio=10 status=enabled `- 2:0:0:3 sdao 66:128 active ready running




• パス減設後

移行先ストレージが（ACTIVE-ACTIVE / PREFERRED_PATH）のため、パスが 2 つあるうちの優先パスが優先パスグループとなります。

mpathe (36000b5d0006a0000006a0ba0001c0000) dm-5 FUJITSU,ETERNUS_DX400size=3.9G features='0' hwhandler='0' wp=rw|-+- policy='round-robin 0' prio=130 status=active| `- 1:0:0:3 sdac 65:192 active ready running`-+- policy='round-robin 0' prio=10 status=enabled `- 2:0:0:3 sdao 66:128 active ready running




第 13 章Red Hat Enterprise Linux で LUN 数が 256 を超える場合の設定

本章では、Red Hat Enterprise Linux で LUN 数が 256 を超える場合に、OS が認識可能な LUN 数を設定する方法について説明します。使用する Red Hat Enterprise Linux の版数によって手順は異なります。

サーバが認識する LUN 数を増やしたことにより、サーバ負荷および ETERNUS AF/DX への I/O 負荷が高まることがあります。

高負荷状態（*1）が断続的に発生している状態で、サーバとストレージ間の経路障害による片系障害が発生した場合、経路障害の復旧後のマルチパス再構築に 3 時間以上かかることがあります。

*1 : 以下のように、サーバおよび ETERNUS AF/DX の資源使用率が非常に高い状態。

• sar コマンドによるサーバ側資源監視で、Idle 状態が 0%• PMCC による監視で、ETERNUS AF/DX の物理ディスク使用率が 100%

13.1 Red Hat Enterprise Linux 8.x, Red Hat Enterprise Linux7.x の場合

格納された OS の領域が、UEFI モードまたは legacy モード（BIOS 互換モード）の場合について説明します。

設定が完了したら、HBA のパラメーターの設定（Emulex 社製のみ）および ETERNUS AF/DX の設定が必要です。

HBA のパラメーターの設定方法および ETERNUS AF/DX の設定方法については、以下のドキュメントを参照してください。





■ 格納された OS の領域が、UEFI モードの場合

Red Hat Enterprise Linux 8.0 で、LUN を 1024 個認識させる場合を例に説明します。

1 /etc/default/grub ファイルの GRUB_CMDLINE_LINUX 行の最後に、scsi_mod.max_luns およびscsi_mod.max_report_luns を追記します。

:GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet scsi_mod.max_luns=1024 scsi_mod.max_report_luns=1024":

• 下線部には、認識させる LUN 数を指定します。

• ETERNUS AF/DX で設定可能な最大 LUN 数については、各装置のマニュアルを参照してください。

2 以下のコマンドを実行します。

# grub2-mkconfig -o /boot/efi/EFI/redhat/grub.cfg

3 /boot/efi/EFI/redhat/grubenv の内容を確認します。

# cat /boot/efi/EFI/redhat/grubenv | grep scsikernelopts=root=/dev/mapper/rhel-root ro crashkernel=auto resume=/dev/mapper/rhel-swap rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet scsi_mod.max_luns=1024 scsi_mod.max_report_luns=1024#

4 サーバを再起動します。

第 13 章 Red Hat Enterprise Linux で LUN 数が 256 を超える場合の設定

13.1 Red Hat Enterprise Linux 8.x, Red Hat Enterprise Linux 7.x の場合



■ 格納された OS の領域が、legacy モード（BIOS 互換モード）の場合


1 /etc/default/grub ファイルの GRUB_CMDLINE_LINUX 行の最後に、scsi_mod.max_luns およびscsi_mod.max_report_luns を追記します。

:GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet scsi_mod.max_luns=1024 scsi_mod.max_report_luns=1024":



2 以下のコマンドを実行します。

# grub2-mkconfig -o /boot/grub2/grub.cfg

3 /etc/grub2.cfg の内容を確認します。

# cat /boot/grub2/grub.cfg | grep scsi linux16 /vmlinuz-3.10.0-862.el7.x86_64 root=/dev/mapper/rhel-root ro crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet scsi_mod.max_luns=1024 scsi_mod.max_report_luns=1024 linux16 /vmlinuz-0-rescue-6421e10563d2430daf5184aa9572c1b4 root=/dev/mapper/rhel-root ro crashkernel=auto rd.lvm.lv=rhel/root rd.lvm.lv=rhel/swap rhgb quiet scsi_mod.max_luns=1024 scsi_mod.max_report_luns=1024#

4 サーバを再起動します。


13.1 Red Hat Enterprise Linux 8.x, Red Hat Enterprise Linux 7.x の場合



13.2 Red Hat Enterprise Linux 6.x の場合


1 /etc/grub.conf ファイルの kernel 行の最後に、 scsi_mod.max_luns およびscsi_mod.max_report_luns を追記します。

:kernel /vmlinuz-2.6.32-573.1.1.el6.x86_64 ro root=/dev/mapper/vg_rx3s71rh67x64-lv_root nomodeset rd_NO_LUKS rd_LVM_LV=vg_rx3s71rh67x64/lv_root LANG=en_US.UTF-8 rd_LVM_LV=vg_rx3s71rh67x64/lv_swap rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=128M KEYBOARDTYPE=pc KEYTABLE=jp106 rd_NO_DM rhgb quiet scsi_mod.max_luns=1024 scsi_mod.max_report_luns=1024:



• kernel 行は長文のため、追加位置を間違えないように留意してください。

2 初期 RAM ディスクを更新して、サーバを再起動します。











Red Hat Enterprise Linux 5.7 以降で設定可能です。

1 /etc/modprobe.conf ファイルに、options scsi_mod max_luns および max_report_luns を記載します。

:alias scsi_hostadapter megaraid_sasalias scsi_hostadapter1 ata_piixalias scsi_hostadapter2 qla2xxxoptions scsi_mod max_luns=512 max_report_luns=512:


• ETERNUS Multipath Driver または device-mapper multipath を使用する場合、設定可能なLUN 数の最大値は 512 です。

• ETERNUS Multipath Driver または device-mapper multipath を使用しない場合、設定可能なLUN 数の最大値は各装置のサポート最大 LUN 数です。最大 LUN 数については、各装置のマニュアルを参照してください。

2 初期 RAM ディスクを更新して、サーバを再起動します。









付録 AVeritas Volume Manager 環境におけるパスの縮退発生時の復旧手順

パスの縮退が発生した場合、Veritas Volume Manager を使用した環境では、その後パスが復旧してもボリュームが正常に認識されないことがあります。

この場合、各ファイバチャネルカード・ベンダーが用意している LUN 状態変更ツールを使用して LUNの認識を復旧させたあと、ボリュームを認識させる必要があります。

1 ファイバチャネルカードのコントローラーの番号および状態を確認します。

vxdmpadm コマンドを使用して、正常に認識されていないボリュームに対応したファイバチャネルカードのコントローラー番号およびコントローラーの状態を確認します。

(1) ETERNUS AF/DX に接続されているパスが存在するファイバチャネルカードのコントローラー番号を確認します。

# vxdmpadm listctlr all

実行例（ETERNUS DX410 S2 の場合）

# vxdmpadm listctlr allCTLR-NAME ENCLR-TYPE STATE ENCLR-NAME=========================================================c0 Disk ENABLED Diskc6 FJ_DX400 ENABLED fj_dx400c7 FJ_DX400 ENABLED fj_dx400

この実行例では、ETERNUS DX410 S2 に接続されているファイバチャネルカードのコントローラー番号は"c6"と"c7"であることがわかります。

(2) 手順. (1)で確認した各コントローラー番号を利用して、各ファイバチャネルカードに接続されたボリュームのパスの状態を確認します。

ここでは、"DISABLED"となっているボリュームのコントローラー番号を確認します。

# vxdmpadm getsubpaths ctlr=c

下線部にはコントローラー番号が表示されます。




# vxdmpadm getsubpaths ctlr=c6NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME=========================================================================sdb ENABLED - sdb FJ_DX400 fj_dx400sdc ENABLED - sdc FJ_DX400 fj_dx400sdd ENABLED - sdd FJ_DX400 fj_dx400

# vxdmpadm getsubpaths ctlr=c7NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME=========================================================================sde DISABLED - sdb FJ_DX400 fj_dx400sdf ENABLED - sdc FJ_DX400 fj_dx400sdg ENABLED - sdd FJ_DX400 fj_dx400

この実行例では、ボリューム"sde"が"DISABLED"になっています。

そのためボリュームを認識できない、ファイバチャネルカードのコントローラー番号は"c7"となることがわかります。

2 LUN 状態変更ツールを入手し、適用します。

(1) 各ファイバチャネルカード・ベンダーが用意している LUN 状態変更ツールを入手します。

• ファイバチャネルカードが QLogic 社製の場合

QLogic 社の Web サイト(https://www.marvell.com/)から LUN 状態変更ツールを入手します。

• ファイバチャネルカードが Emulex 社製の場合

Emulex 社の Web サイト(https://www.broadcom.com/)から LUN 状態変更ツールを入手します。

各ツールの詳細などについては、各ベンダー Web サイトを参照してください。

(2) 手順. (1)で用意した LUN 状態変更ツールを各ベンダーで指定されている手順に従い適用し、LUN を認識させます。

各ツールの使用方法などについては、各ベンダー Web サイトを参照してください。

3 Veritas Volume Manager を有効にします。

vxdctl コマンドで Veritas Volume Manager を有効にします。

# vxdctl enable

4 ボリュームの状態を確認します。

手順. (2)で確認した"DISABLED"となっていたボリュームの状態が"ENABLED"になっていることを確認します。

# vxdmpadm getsubpaths ctlr=c

下線部にはコントローラー番号が表示されます。

付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順




# vxdmpadm getsubpaths ctlr=c7NAME STATE PATH-TYPE DMPNODENAME ENCLR-TYPE ENCLR-NAME==========================================================================sde ENABLED - sdb FJ_DX400 fj_dx400sdf ENABLED - sdc FJ_DX400 fj_dx400sdg ENABLED - sdd FJ_DX400 fj_dx400

付録 A Veritas Volume Manager 環境におけるパスの縮退発生時の復旧手順



FUJITSU Storage ETERNUS AF, ETERNUS DX 構築ガイド（サーバ接続編）

ファイバチャネル/Linux 用

P3AM-3842-31Z0

発行日: 2020 年 3 月発行責任: 富士通株式会社

• 本書の内容は、改善のため事前連絡なしに変更することがあります。

• 本書の内容は、細心の注意を払って制作致しましたが、本書中の誤字、情報の抜け、本書情報の使用に起因する運用結果に関しましては、責任を負いかねますので予めご了承願います。

• 本書に記載されたデータの使用に起因する第三者の特許権およびその他の権利の侵害については、当社はその責を負いません。

• 無断転載を禁じます。

Documents

FUJITSU Storage ETERNUS AF, ETERNUS DX 構築ガイド ...P3AM-3842-31Z0 • 「第13 章 Red Hat Enterprise Linux でLUN 数が256 を超える場合の設定」(41 ページ) Red