Tạo S3 bactch job để replicate existing objects

Mở đầu

Cũng lâu rồi mình mới quay lại với serie SAA Hands-on Labs, nếu như lần gần nhất trong bài hướng dẫn S3 repication , mình chỉ dừng ở bước cấu hình cơ bản (chỉ repicate những object được tạo ra sau khi thiết lập S3 replication rule thành công), thì trong bài viết lần này mình sẽ hướng dẫn các bạn cách để replicate tất cả file đã tồn tại trong bucket trước thời điểm tạo replication rule.

Lab steps

Task 1: Tạo S3 Source Bucket và S3 Target Bucket

1. Ở phần đầu tiên này anh em sẽ phải tạo hai Bucket khác nhau, có thể cùng hoặc khác region đều được (phải enable versioning trên cả 2 bucket). Ví dụ trong nội dung bài viết này mình sẽ tạo 2 bucket cùng region như sau:

Source Bucket:hiepsharing-b-1707 (ap-southeast-1)
Target Bucket: hiepsharing-b-1707-repl (ap-southeast-1)

Do hiện tại đã là bài lab thứ 6 về S3 rồi nên mình sẽ bỏ qua chi tiết các bước để khởi tạo và bật versioning trên S3 Bucket.

2. Sau khi khởi tạo thành công, anh em quay lại giao diện Amazon S3 > Buckets sẽ thấy 2 bucket khác region tương tự minh họa bên dưới:

3. Upload một vài file lên source bucket hiepsharing-b-1707

Task 2: Bật tính năng Replication trên Source Bucket và tạo rule

1. Chọn vào Source Bucket (hiepsharing-b-1707) từ danh sách, chuyển sang tab Management. Kéo xuống dưới, tìm và nhấn vào Create replication rule

2. Lần lượt điền vào Replication rule name và giữ nguyên Status Enabled như mặc định (anh em có thể tham khảo lại bài hướng dẫn S3 repication, mình đã hướng dẫn rất chi tiết).

3. Anh em xem lại 1 lượt các nội dung đã thiết lập rồi nhấn Save. Trên pop-up Replicate existing objects vừa xuất hiện, chọn Yes, replicate existing objects và nhấn Submit.

Task 3: Tạo batch job để replicate các object cũ.

1. Tại giao diện “Create Batch Operations job”, anh em lần lần lượt chọn và điền các giá trị như bên dưới:

2. Xem lại 1 lượt các nội dung đã thiết lập rồi nhấn Save để tạo job.

Lưu ý: Ở mục Permissions, nếu chọn giá trị “Create new role” thì AWS sẽ tự động tạo mới IAM role (bao gồm tạo policy) và gán cho Batch Job này. Hoặc anh em có thể tự tạo role trước rồi gán ở bước này cũng được.

3. Sau khi quá trình tạo Batch job hoàn tất, cần một khoản thời gian nhất định để job thực thi (tùy thuộc vào số lượng và dung lượng data hiện hữu trên source bucket).

4. Nếu job hiển thị status Completed như trên, bạn có thể nhấn vào để xem chi tiết:

Với kết quả như trên đồng nghĩa job đã chạy đúng kỳ vọng ban đầu, replicate được tất cả các object cũ sang target bucket.

Task 4: Kiểm tra hoạt động của Cross Region Replication

1. Anh em quay lai danh sách bucket, truy cập vào target bucket hiepsharing-b-1707-repl để xác nhận lại tất cả object đã được replicate sang.

2. Các bạn có thể thấy nào data cần thiết, trên bucket này còn có thêm thư mục repl-report – đây chính là thư mục chứa các file report chi tiết của bactch job đã thực thi. Anh em có thể tải về xem cho biết 😛