如何快速知道S3 bucket的大小

只需要執行以下的指令，就可以知道特定S3 bucket的容量大小和裡面的檔案數量

aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

七月
28
2014

AWS // 電腦網路

使用Shell Script自動建立AWS AMI Image備份

我已經將這個shell script放上github，方便維護與更新 https://github.com/henrychen95/AWS-AMI-Auto-Backup

使用AWS的時候，建立AMI Image算是一個不錯的備份方式，下面我分享使用AWS內建的指令來進行備份

必備條件

必須安裝AWS tools，可以使用 yum install aws* 來進行安裝所有需要的套件。
請確認你的AWS tools路徑，預設會是在/opt/aws/bin，如果你的路徑不相同，請修改Shell Script的第二行。
請確認你的EC2_HOME路徑，可以使用 env | grep EC2_HOME 來確認。
請確認你的JAVA_HOME路徑，可以使用 env | grep JAVA_HOME 來確認。
請建立適當權限的IAM Role，並且在啟動instance的時候加入IAM Role。如果你對於IAM Role不熟悉，可以建立admin IAM Role來快速使用。

這個Shell Script可以設定以下變數

region: 填入要備份的region
instanceID: 填入要備份的instance
amiNamePrefix: 填入你希望使用的AMI名稱
amiDescription: 填入你希望使用的AMI描述
routine: 如果設定為true，那麼會在amiNamePrefix後面加上Mon, Tue…這樣的文字來當作AMI名稱，並且會保留7天的備份

這個shell script會刪除舊的AMI和snapshot來節省空間

#!/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin:/opt/aws/bin

# Please use env | grep EC2_HOME to find out your system's setting
EC2_HOME=/opt/aws/apitools/ec2

# Please use env | grep JAVA_HOME to find out your system's setting
JAVA_HOME=/usr/lib/jvm/jre

export EC2_HOME JAVA_HOME

# Regions reference: http://docs.aws.amazon.com/general/latest/gr/rande.html
region="ap-northeast-1"

# You can find your instance ID at AWS Manage Console
instanceID="YOUR-INSTANCE-ID"

# Your prefer AMI Name prefix
amiNamePrefix="AMI_"

# Your prefer AMI Description
amiDescription="Daily AMI backup"

# If you want to keep 7 days AMI backups, please set routine true otherwise set it false
routine=true

# Variable for routine is true
weekday=$(date +%a)

if [ $routine = true ]; then
    # Setup AMI Name
    amiName=$amiNamePrefix$weekday

    # Get AMI ID
    amiIDs=$(ec2-describe-images --region $region | grep 'ami-[a-z0-9]' | grep "$amiName" |cut -f 2)

    # Get Snapshot ID
    if [[ ! -z $amiIDs ]]; then
        snapshotIDs=$(ec2-describe-snapshots --region $region | grep $amiIDs | cut -f 2)
    fi
else
    # Setup AMI Name
    amiName=$amiNamePrefix

    # Get AMI ID
    amiIDs=$(ec2-describe-images --region $region | grep 'ami-[a-z0-9]' | cut -f 2)

    # Get Snapshot ID
    if [[ ! -z $amiIDs ]]; then
        snapshotIDs=$(ec2-describe-snapshots --region $region | cut -f 2)
    fi
fi

if [[ ! -z $amiIDs ]]; then
    # Deregister AMI
    for amiID in $amiIDs
    do
        ec2-deregister --region $region $amiID
    done

    # Delete snapshot
    for snapshotID in $snapshotIDs
    do
        ec2-delete-snapshot --region $region $snapshotID
    done
fi

# Create AMI
ec2-create-image $instanceID --region $region --name "$amiName" -d "$amiDescription" --no-reboot

我們可以把這個shell script存成/root/createAMI.sh
然後執行 chmod 755 /root/createAMI.sh
接著新增一筆排程，就可以自動進行AMI的備份

四月
23
2014

AWS // 雲端運算 // 電腦網路

MySQL使用AWS SSD效能測試

AWS某些instance有提供SSD，下面是使用m3.medium，並且將MySQL安裝在SSD上面的測試數據

[[email protected] ssd]# time sysbench --test=oltp --mysql-table-engine=innodb --mysql-user=$dbUser --mysql-password=$dbPassword --db-driver=mysql --mysql-db=test --oltp-table-size=1000000 --oltp-table-name=t1 --oltp-nontrx-mode=insert --mysql-socket=/mnt/ssd/mysql/mysql.sock run
sysbench 0.4.12: multi-threaded system evaluation benchmark

Running the test with following options:
Number of threads: 1

Doing OLTP test.
Running mixed OLTP test
Using Special distribution (12 iterations, 1 pct of values are returned in 75 pct cases)
Using "BEGIN" for starting transactions
Using auto_inc on the id column
Maximum number of requests for OLTP test is limited to 10000
Threads started!
Done.

OLTP test statistics:
queries performed:
read: 140000
write: 50000
other: 20000
total: 210000
transactions: 10000 (169.49 per sec.)
deadlocks: 0 (0.00 per sec.)
read/write requests: 190000 (3220.29 per sec.)
other operations: 20000 (338.98 per sec.)

Test execution summary:
total time: 59.0009s
total number of events: 10000
total time taken by event execution: 58.8980
per-request statistics:
min: 2.65ms
avg: 5.89ms
max: 111.90ms
approx. 95 percentile: 15.02ms

Threads fairness:
events (avg/stddev): 10000.0000/0.00
execution time (avg/stddev): 58.8980/0.00

real 0m59.107s
user 0m4.027s
sys 0m9.246s

四月
18
2014

AWS // 雲端資安 // 雲端運算 // 電腦網路

AWS推出30天免費雲端資安軟體試用，加碼送$1050 Credit大獎

awscloud

AWS推出30天免費雲端資安軟體試用，總共有六項雲端資安產品可以試用，相關資訊網址在Security Software Free Trials，這裡幫大家整理一下這次試用的重點

活動內容

活動期間: 2014年4月15日到2014年5月15日
活動期間可以免費使用活動頁面上的六款雲端資安軟體

活動加碼內容與限制條件

2014年4月15日到2014年6月14日，每項試用軟體試用滿120小時，可以獲得美金175的credit，每人最多可以獲得美金1050的credit($175×6)
必須透過AWS Marketplace安裝活動的六款雲端資安軟體，並且在這次活動之前沒有安裝使用過這六項產品，也沒有參與過這六項產品的免費試用活動
活動期間帳戶的信用卡必須是有效的
當收到credit之後，必須在2014年7月31日兌換，並且不論是否有剩餘的餘額，此次活動的credit會在2014年10月31日失效歸零
參與這次免費雲端資安軟體試用所衍生出的AWS服務費用，依然必須支付，免費的項目僅限於活動指定的六款雲端資安軟體費用
參與活動所收到的credit只能用於http://aws.amazon.com/awscredits/這個頁面上所列的服務

本文章內容若與活動網站 Security Software Free Trials 有出入，一切以活動網站為主。僅提供部分活動內容的中文翻譯，衍生的相關費用，與本人無關。

四月
16
2014

AWS // 雲端運算 // 電腦網路

AWS typo or new t1.micro super powerful spec?

難得看到的AWS錯誤，AWS的t1.micro規格變得爆威，r3.large都快要被巴假的了 (應該是資料誤植)，不知道政府會不會要AWS出來說明??

頁次：12 3 »