【備忘録】CloudWatchLogsのログ保持期間を変更するワンライナー

CloudWatchLogsのログ保持期間を変更するワンライナーです。

aws logs describe-log-groups --region ap-northeast-1 --query 'logGroups[].logGroupName' --output text| tr '¥t' '¥n' | while read LOGGROUP; do aws logs put-retention-policy --region ap-northeast-1 --log-group-name ${LOGGROUP} --retention-in-days 7; done

ロググループが50個ほどあったので楽チンに変更できました(°∀° )/

Data Migration Serviceを触ってみた!

概要

           (レプリケーション用のインスタンスの料金はオンデマンドインスタンスよりもちょっと割高)
  • レプリケーション用のインスタンスは停止することができない(起動or削除のみ)
  • データベースの同じプラットフォーム間だけでなく、異なるプラットフォームに変えることも可能
           例)OracleOracle , Oracle → Aurora
  • 移行元、移行先のどちらかがAWS上にある必要があるが、他はオンプレミスでも、DB on EC2でも、RDSでもOK
  • 移行の種類は以下の3つから選択可能
       ①"migrate existing data" (既存データの一括ロード)
       ②"migrate and then replicate" (一括コピーした後に、継続的に差分レプリケーション)
       ③"replicate going forward" (差分レプリケーションのみ実行)
 
 
検証した環境

f:id:aym413:20160626190345p:plain

  • OracleOracleへ移行
  • ダミーデータは1000件(氏名、メールアドレス、生年月日等)
  • 移行の種類は上記①"migrate existing data"を選択
 
AWS DMS構築の流れ

AWS DMS用Subnet Groupの作成

f:id:aym413:20160626190346j:plain

f:id:aym413:20160626190347j:plain

 
  ↓RDS同様にAZをまたがる2つのSubnetが必要になります。

f:id:aym413:20160626190348j:plain

f:id:aym413:20160626183641j:image

 
AWS DMS用インスタンスの作成

f:id:aym413:20160626190350j:plain

f:id:aym413:20160626191923j:plain 

f:id:aym413:20160626190352j:plain

f:id:aym413:20160626190353j:plain

③移行元・移行先エンドポイント(接続情報)の作成
まずはSource Endpointから作成します。

f:id:aym413:20160626190354j:plain

 ↓接続テストを行って成功すればOKです。

f:id:aym413:20160626183656j:image

 
次はTarget Endpointを作成します。
↓こちらも接続テストを行って成功すればOKです。

f:id:aym413:20160626183653j:image

f:id:aym413:20160626190357j:plain

 
④タスクの作成
  ↓エンドポイントの選択や移行の種類、どのテーブルを移行するか等を設定

f:id:aym413:20160626183644j:image

 
⑤タスクの実行
 ↓しばらくするとStatusが「Load complete」になります

f:id:aym413:20160626192131j:plain

 
 ↓ CloudWatch Logsを見ると、1000件のデータロードが終わったことを確認できます。

f:id:aym413:20160626190400j:plain

 
検証結果

  • ダミーデータ1000件は問題なく移行できた
  • 文字コードも変わらずそのまま移行できた
  • 移行時間は1~2分程度
 
 
つまづいたところ

① 環境準備のところで…
  →環境変数文字コードを変更
AWS DMSのところで…
  • 指定したスキーマのテーブルが移行されない
  →AWS DMSで作成したエンドポイントで指定したスキーマが、タスクで使用されるデフォルトのスキーマになる
  →最初エンドポイントのスキーマで「system」等の管理者アカウントを指定したため、「ORACLE_OCM」がデフォルトスキーマとして登録された
  →エンドポイントのスキーマ設定で、移行用スキーマを指定すれば、問題なくテーブルが移行できた
 

【備忘録】Route53でドメイン買うとき

Route53で初めてドメインを購入したのですが、その際にあたふたしたのでメモ。
 
1. Route53でドメイン買う
2. ホストゾーンを作る
3. 登録したホストゾーンのNSレコード4つをメモ
4. 購入したドメインのAdd/Edit Name Serverに3でメモしたNSレコードを入力して、Updateをクリック
5. 「Domain details update for xxxxx succeeded」のメールが届く
 
画面が載せられないのが残念。。

AWSソリューションアーキテクト-プロフェショナルに合格✨

ちょうど1か月ほど前になりますが、
 
AWSソリューションアーキテクト-プロフェショナル”
 
に合格しました!
 
 
約1年前?に、認定資格が2年更新になるよと伝えられ、
2016年4月末までにプロフェッショナルか再認定に合格しないと失効するよ
 
ということで、この1年間ダラダラと勉強し続け…
 
2016年4月30日無事合格!(ギリギリ)
 
となりました。
 
もちろん、簡単ではなかったです。。
模擬試験は2回受けて2回とも落ちていますし。
本試験も1回落ちていますし。
 
ということで、私なりの勉強備忘録を残しておきます。誰かのお役に立てれば幸いです。
 
  • サンプル問題を解く
  • 模擬試験を受ける
    • 問題文がとにかく長いですが、読むことを諦めないでください
    • 何が問われているかをまず把握する(コスト? 可用性? などなど)
    • 問題文がどんな構成なのかを自分なりに構成図などを書いて整理するのがオススメ
  • 活用集とドキュメントとCDPを読む!読む!!読む!!!
    • 実業務で触ったことのないサービスは書いてまとめました
  • 基本的なIT知識の勉強
    • クラウド世代なもので、ここを理解するのが大変だった…
  • 他の人の勉強法を参考にする
  • 本試験を受ける
    • 1回目は落ちる覚悟で、とにかく問題や選択肢のキーワードをたくさん覚えて帰るw(←1回目は早く受けるのがオススメ)
    • そのキーワードを元にわからなかったサービスなどをさらに勉強!
    • 試験の際に白紙のメモが渡されるので、そこに選択肢の番号を書いて、「これは違う!」と思ったらバツを書いて正解を絞っていきました
    • ちょっと考えて分からなかったら「後で見直す」にチェックしておいて、後回しにするのが良いです(粘っても時間がなくなるだけです)
 
とまあ、受かったわけですが…
まだまだ触ったことのないサービスも多く、机上の知識しかないものもたくさんあるので
プロフェッショナルの名に恥じないようさらに勉強します!!
 

【備忘録】RDSに複数のセキュリティグループを付けたいとき


RDSをポチポチを作成していて、複数のセキュリティグループ付けたいんだけど、
あれ?あれ?ってなったので残しておきます。

まあ、やり方は簡単で、、
「Ctrl」キーを押しながらアタッチしたいセキュリティグループをポチっとするだけでしたー。

EC2みたいにチェックボックスのほうが楽だな~~

AWSアップデート情報!vol1

AWS Summit Chicago 2016が行われているため、AWSの新サービスやアップデートが多数発表されてます!

とりあえずまとめてみました。

■EBSストレージタイプ「sc1」「st1」
スループットに特化した「st1」とアクセス頻度の低いアーカイブに適した「sc1」をリリース

★st1
・高スループットを必要とするワークロード(MapReduce、Kafka、ETL処理、ログ処理、データウェアハウスなど)向け
・1GBあたり月額0.054ドル
・ボリュームサイズ:500 GB - 16 TB
・ボリューム毎の最大IOPS:500(1 MB I/O size)
・ボリューム毎の最大スループット:500 MB/s

★sc1
・高スループットを必要とするワークロードでアクセス頻度が低いユースケース向け
・1GBあたり月額0.03ドル
 →S3($0.0330 /GB)よりも安い!
・ボリュームサイズ:500 GB - 16 TB
・ボリューム毎の最大IOPS:250(1 MB I/O size)
・ボリューム毎の最大スループット:250 MB/s

*Amazon EBSのアップデート -  新たなスループット最適化ボリュームとコールドボリューム

*[EBS] 新しいボリュームタイプ(sc1、st1)の性能を測定してみた


Amazon S3 Transfer Acceleration
AWSのエッジロケーションとネットワークプロトコルの最適化を利用し、S3へのデータ転送を高速化
・大きなオブジェクトを国を跨いで転送する場合、50%から500%の改善、もしくは特定の環境下ではそれ以上の高速化を見込む
・GBアプロード毎に0.04ドル
・北京(中国)リージョンおよびAWS GovCloud(US)以外の全てのリージョンで利用可能

*Transfer Accelerationの効果を確認するサイト

*AWSストレージアップデート - Amazon S3 Transfer Accelarationとより大きなSnowballをより多くのリージョンに展開


Amazon Inspector
・セキュリティ評価サービス(Nessusなどと同様のサービス)
・正式リリースにより、US West (Oregon)、US East (N. Virginia)、EU (Ireland)、Asia Pacific (Tokyo)で利用可能
・対応OS
 ・Amazon Linux (2015.03 or later)
 ・Ubuntu (14.04 LTS or later)
 ・Red Hat Enterprise Linux (7.2 or later)
 ・CentOS (7.2 or later)
・メリット
 ・EC2インスタンス上にてAWSのセキュリティルールと照らし合わせたセキュリティ評価
 ・セキュリティ評価が自動化できるため、開発中や本番環境にて定期的にセキュリティチェック可能
 ・APIで制御可能なので、開発環境のデプロイ処理に組み込んでチェックも可能

*【速報】Amazon Inspectorが正式リリースされました


■その他
AWS Application Discovery Service
  AWSへのアプリケーション移行計画を立てるうえでの材料となる、アプリケーションの情報を、オンプレミス(自社所有)環境から自動収集する
  サーバー、ストレージ、ネットワーク機器から、設定情報や利用状況データを専用データベースに収集し、アプリケーションのリスト、アプリケーション同士の相互依存関係、性能プロファイルを表示
  リリース時期未定

Amazon Snowball
  2016年内に東京リージョンでも利用可能に。容量も80TBまで可能

・Managed Platform Updates for Elastic BeansTalk
  OS、Webサーバ、コンテナなど、アプリケーションのプラットフォームとなるものすべてを自動的にアップデートするサービス

Amazon Kinesisアップデート
  Amazon Elasticsearch Service との統合、シャード単位のメトリクス、時刻ベースのイテレータ

Amazon Cognitoアップデート
  モバイルや Web アプリに簡単に認証やユーザ管理とデータ同期を簡単に追加


個人的にはInspectorとApplication Discovery Serviceが気になる!