気象過去データ利用環境

利用マニュアル

第1版2020 年 9 月

目次

１．前提条件

２．IAMユーザへのポリシーの適用

２－１．ポリシーの作成

２－２．ポリシーの適用

３．データファイルの取得方法

３－１．ファイルの参照

３－２．ファイルのコピー・ダウンロード

１．前提条件

気象過去データ利用環境は、Amazon Web Services（AWS）のAmazon S3サービスを利用しているため、本環境の利用には、「AWSアカウント」とサービスを利用するための「IAMユーザ」が必要です。また、データの取得にはコマンドを使用してAWSサービスとやり取りするためのツール「AWS コマンドラインインタフェース（CLI）」を利用します。

そのため、事前に以下の準備をしていただく必要があります。・AWSのアカウントの作成・IAMユーザーの作成・AWS CLIのインストール

（参考URL）■AWSアカウント作成の流れhttps://aws.amazon.com/jp/register-flow/■IAMとはhttps://docs.aws.amazon.com/ja_jp/IAM/latest/UserGuide/introduction.html■AWS CLIのインストールと設定https://docs.aws.amazon.com/ja_jp/streams/latest/dev/kinesis-tutorial-cli-installation.html

１

２．IAMユーザへのポリシーの適用

① メニューの「サービス」をクリックし②「IAM」と入力する③ 検索結果の一覧が表示されるのでその中から「IAM」を選択

２－１．ポリシーの作成

①

②

③

IAMユーザが気象過去データ利用環境にアクセスするためのポリシーを作成します。

２

２－１．ポリシーの作成

④ 左メニュー中の「ポリシー」をクリック

ご利用環境によって表示内容は異なります

２－１．ポリシーの作成

⑤「ポリシーの作成」をクリック

３

２－１．ポリシーの作成

⑥ ポリシーの作成画面で、「JSON」をクリック⑦ 吹き出しのとおり入力し「ポリシーの確認」をクリック

入力するテキストは、利用申請後にお知らせします。

⑥

⑦

２－１．ポリシーの作成

⑧任意のポリシー名を登録（下図は「JmaKakoDataAccess」として登録）

４

２－２．ポリシーの適用

① 左メニューの「ユーザー」をクリック② ポリシーを適用したいユーザー名をクリック

ご利用環境によって表示内容は異なります①

②

２－２．ポリシーの適用

③「アクセス権限の追加」をクリック

５

２－２．ポリシーの適用

④「既存のポリシーを直接アタッチ」をクリック

２－２．ポリシーの適用

⑤ ポリシーのフィルタに、1-2で作成したポリシー名を入力し、ポリシーを絞り込む表示されたポリシーにチェックを入れ、「次のステップ」をクリック

（下図はポリシー名を「JmaKakoDataAccess」として作成した場合）

６

２－２．ポリシーの適用

⑥「アクセス権限の追加」をクリック

７

３．ファイルの取得方法

以降のコマンド例は、本環境のr2_7フォルダに以下の3つのファイルが存在する場合のコマンド例です。

r2_7_test.txtr2_7_test12.txtr2_7_test2.txt

２－１．ファイルの参照

オプション 意味

--profile {プロファイル名} awsコマンドを実行する環境に複数のプロファイルを設定している場合は、どのプロファイルを用いて実行するか指定が必要です。

--request-payer requester リクエスタ支払いを指定します。指定しない場合はエラーになります。データ転送等にかかる費用は利用者に課金されます。

コマンド書式

aws s3 ls s3://{本環境のバケット名}/{フォルダ名}/ --profile {プロファイル名} ¥--request-payer requester

AWS CLIによって、気象過去データ利用環境に搭載しているデータファイルを参照する方法です。「本環境のバケット名」については、利用申請後にお知らせします。「フォルダ名」については、利用可能データ一覧をご確認ください。

８

コマンド実行例②R2_7フォルダ内のファイルの一覧から、 「r2_7_test2.txt」というファイルを表示する

２－１．ファイルの参照

（Linuxでの実行例）※Windowsの場合もコマンドは同じ$ aws s3 ls s3://{本環境のバケット名}/r2_7/r2_7_test2.txt --request-payer requester2020-08-31 11:53:33 15 r2_7_test2.txt

（Linuxでの実行例）※Windowsの場合もコマンドは同じ$ aws s3 ls s3://{本環境のバケット名}/r2_7/ --request-payer requester2020-08-31 11:48:21 15 r2_7_test.txt2020-09-08 21:22:12 15 r2_7_test12.txt2020-08-31 11:53:33 15 r2_7_test2.txt

コマンド実行例①r2_7フォルダ内のファイルの一覧を表示する

２－１．ファイルの参照

コマンド実行例③r2_7フォルダ内のファイルの一覧から、 「2.txt」というパターンを含むファイルを表示するLinuxではgrepコマンド、Windowsではfindコマンドを用いることで、ファイル名一覧にフィルターをかけて表示します。

（Linuxでの実行例）$ aws s3 ls s3://{本環境のバケット名}/r2_7/ --request-payer requester | grep 2.txt2020-09-08 21:22:12 15 r2_7_test12.txt2020-08-31 11:53:33 15 r2_7_test2.txt

（Windowsでの実行例）aws s3 ls s3://{本環境のバケット名}/r2_7/ --request-payer requester | find "2.txt"2020-09-08 21:22:12 15 r2_7_test12.txt2020-08-31 11:53:33 15 r2_7_test2.txt

９

オプション 意味

--profile {プロファイル名} awsコマンドを実行する環境に複数のプロファイルを設定している場合は、どのプロファイルを用いて実行するか指定が必要です。

--request-payer requester リクエスタ支払いを指定します。指定しない場合はエラーになります。データ転送等にかかる費用は利用者に課金されます。

コマンド書式

aws s3 cp s3://{本環境のバケット名}/{フォルダ名}/{ファイル名} {コピー・ダウンロード先フォルダ名} ¥--request-payer requester

１．ファイル名を指定してコピー・ダウンロード

２－２．ファイルのコピー・ダウンロード方法

AWS CLIによって、気象過去データ利用環境に搭載しているデータファイルを取得する方法です。ここで「コピー」とは利用者のAWSサービス環境へデータファイルをコピーする場合、「ダウンロード」とはインターネットを経由して利用者のローカル環境へデータファイルをコピーする場合を意味しており、AWS CLIコマンドの操作上は両者に差異はありません。

２－２．ファイルのコピー・ダウンロード方法

（Linuxでの実行例）※Windowsの場合もコマンドは同じ$ aws s3 cp s3://{本環境のバケット名}/r2_7/r2_7_test2.txt s3://{自身のバケット名}/ --request-payer requestercopy: s3://{本環境のバケット名}/r2_7/r2_7_test2.txt to s3://{自身のバケット名}/r2_7_test2.txt

コマンド実行例②r2_7フォルダ内の「r2_7_test2.txt」というファイルをAmazon S3にコピーする

（Linuxでの実行例）※Windowsの場合もコマンドは同じ$ aws s3 cp s3://{本環境のバケット名}/r2_7/r2_7_test2.txt ./ --request-payer requesterdownload: s3://{本環境のバケット名}/r2_7/r2_7_test2.txt to ./r2_7_test2.txt

コマンド実行例①r2_7フォルダ内の「r2_7_test2.txt」というファイルをカレントフォルダにダウンロードする

１０

オプション 意味

--profile {プロファイル名} awsコマンドを実行する環境に複数のプロファイルを設定している場合は、どのプロファイルを用いて実行するか指定が必要です。

--request-payer requester リクエスタ支払いを指定します。指定しない場合はエラーになります。データ転送等にかかる費用は利用者に課金されます。

コマンド書式

aws s3 cp --recursive --exclude ‘*’ --include ‘{ワイルドカード入り検索文字列}’ ¥s3://{本環境のバケット名}/{フォルダ名}/ {コピー・ダウンロード先フォルダ名} ¥--request-payer requester

２．パターンに一致するファイルをコピー・ダウンロード

２－２．ファイルのコピー・ダウンロード方法

コマンド実行例①r2_7フォルダ内の「r2_7_test*2.txt」というパターンに一致するファイルをカレントフォルダにダ

ウンロードする

２－２．ファイルのコピー・ダウンロード方法

（Linuxでの実行例）※Windowsの場合もコマンドは同じ$aws s3 cp --recursive --exclude ‘*’ --include ‘r2_7_test*2.txt’ ¥

s3://{本環境のバケット名}/r2_7/ ./ --request-payer requesterdownload: s3://{本環境のバケット名}/r2_7/r2_7_test2.txt to ./r2_7_test2.txtdownload: s3://{本環境のバケット名}/r2_7/r2_7_test12.txt to ./r2_7_test12.txt

コマンド実行例②r2_7フォルダ内の「r2_7_test*2.txt」というパターンに一致するファイルをAmazon S3にコピーする

（Linuxでの実行例）※Windowsの場合もコマンドは同じ$aws s3 cp --recursive --exclude ‘*’ --include ‘r2_7_test*2.txt’ ¥

s3://{本環境のバケット名}/r2_7/ s3://{バケット名}/ --request-payer requestercopy: s3://{本環境のバケット名}/r2_7/r2_7_test2.txt to s3://{自身のバケット名}/r2_7_test2.txtcopy: s3://{本環境のバケット名}/r2_7/r2_7_test12.txt to s3://{自身のバケット名}/r2_7_test12.txt

１２