Browsing Category

AWS

amazon web services category

AWS

[AWS] 수명 주기 관리자를 활용한 스냅샷 백업 (Lifecycle Manager)

안녕하세요. ManVSCloud 김수현입니다.

오늘은 오랜만에 AWS에 관련된 포스팅을 작성해보려 하는데
수명 주기 관리자를 이용하여 스냅샷을 관리하는 방법을 알아보도록 하겠습니다.


수명 주기 관리자 (LIFECYCLE MANAGER)

수명 주기 관리자를 이용하면 Snapshot이나 AMI를 생성하고 이를 원하는 기간을 설정하여 보유 및 삭제 할 수 있습니다. 또한 교차 계정 복사를 이용하여 다른 AWS 계정으로 정기적인 공유가 가능하며 교차 리전 복사를 통해 DR 구성도 쉽게 설정할 수 있습니다.

설정 방법은 간단합니다. [EC]-[Elastic Block Store]에서 “수명주기 관리자”를 찾을 수 있습니다.

“수명 주기 정책 생성” 시 아래와 같이 화면이 나타납니다.

여기서 원하는 정책 유형을 선택해주면 되는데 오늘은 EBS 스냅샷 정책으로 진행하였습니다.

대상 리소스 유형은 볼륨과 인스턴스 유형으로 나뉘어 선택할 수 있습니다.
“볼륨”은 개별 볼륨의 스냅샷을 생성하고 “인스턴스”는 인스턴스에 연결된 모든 볼륨을 스냅샷 생성을 진행합니다.

스냅샷 정책에서는 볼륨, 스냅샷을 선택할 수 있으나 AMI의 경우 당연히 인스턴스만 대상으로 지정할 수 있습니다.
우선 저는 인스턴스 단위 선택하였습니다.

간단하게 정책에 대한 설명을 기입해주고 IAM 역할을 선택하는 곳입니다.
기본적으로 기본 역할을 선택할 경우 모든 필수 권한으로 자동 생성이 되나 IAM을 직접 생성하여 특정 사용자에 대해서 권한을 줄 수 있으며 이후 스냅샷 볼륨이 암호화되는 경우 KMS 키를 사용할 권한을 주어야합니다.

위 첨부된 사진에서는 크게 참고할 것이 없습니다.
정책 상태는 생성하는 이 정책을 활성화 할 것인가, 비활성화 할 것인가 선택하는 것이며
파라미터 부분에서 [루트 볼륨 제외]를 선택할 경우 루트 볼륨은 제외하고 스냅샷이 생성됩니다.

이제 가장 중요한 생성 주기를 지정하는 “일정 세부 정보”란입니다.

빈도는 일별, 주별, 월별, 연별로도 가능하며 cron을 이용하여 사용자 지정 표현이 가능합니다.
보존 유형은 개수와 경과 시간으로 설정할 수도 있습니다.

참고로 이런 질문이 있었습니다.
“저는 30분마다 스냅샷을 생성하고 싶은데 불가능한 가요?”

일별로 매 (1,2,3,4,6,8,12,24) 시간마다 설정이 있는데 이는 다 이유가 있습니다…
cron 표현식을 이용하여 30분마다 스냅샷을 생성하도록 설정해두면 아래와 같이 에러가 발생합니다.

“허용되는 최소 예약 빈도는 1시간입니다.” 라고 알려줍니다.
수명 주기 관리자는 1시간 단위로만 가능합니다.

또한 수명 주기 관리자를 써보시면 알겠지만 이게 UTC 09:00에 시작하라고 설정을 해둬도
09:00 시간에 딱 맞춰서 실행되지 않습니다.

UTC 09:00 ~ 09:59 사이에 랜덤으로 실행됩니다.

설정 이후 태그를 지정해줍니다.

정책 생성 마지막에 빠른 스냅샷 복원, 교차 리전 복사, 교차 계정 공유도 선택할 수 있습니다.
오늘은 교차 리전 복사까지만 한 번 해보도록 하겠습니다.

DR(Disaster Recovery)을 위해 이 교차 리전 복사를 이용하여 백업을 하시는 분들이 있습니다.
이 역시 방법이 크게 어렵지 않습니다.

대상 리전을 선택해주고 생성 후 언제 만료되게 할 것인가에 대해 설정해주면 끝!

다만 스냅샷 복사본 암호화 활성화를 하게 될 경우 이제 암호화 키에 대한 권한을 고려해봐야할 것입니다.


Personal Comments

지금까지 수명 주기 관리자 사용법에 대해서 간단하게 알아보았습니다.

위에서 언급했듯 수명 주기 관리자는 1시간 단위로만 가능한데 이를 30분 단위로하는 방법은 전혀 없는 것일까요?

그렇지는 않습니다. Lambda를 이용한다면 충분히 가능합니다.
Lambda를 이용하는 방법이 아닌 또 다른 방법이 있으시다면 공유 부탁드립니다.

긴 글 읽어주셔서 감사합니다.

AWS

[AWS] RDS Log Generation (General, slow query, audit logs)

안녕하세요. ManVSCloud 김수현입니다.

오늘은 오랜만에 AWS에 대한 포스팅입니다.
최근 ISMS-P를 준비가 필요하여 RDS에서 로그를 남기는 방법에 대한 질문을 받은 적이 있어 이를 블로그로도 공유하고자 올립니다.


RDS Log

RDS 생성 또는 수정시 체크할 수 있는 로그 내보내기 옵션입니다.
생각보다 이 기능이 로그를 생성하는 옵션인 것으로 아시는 분들이 있었습니다.
위 내보내기를 전부 체크하여도 에러 로그만 생성되고 나머지 로그가 생성이 되지 않는 것을 확인할 수 있습니다. (에러 로그는 Default가 생성이라 따로 설정하지 않아도 생성됩니다.)

이 기능은 말 그대로 로그를 CloudWatch Logs로 게시할 수 있도록 내보내는 옵션이며
로그를 생성하는 옵션은 따로 존재합니다.

일반 로그와 느린 쿼리 로그를 생성하기 위해서는 아래 첨부된 이미지와 같이 파라미터 그룹 수정이 필요합니다.

일반 로그는 general_log를 검색하면 나오고 슬로우 쿼리는 slow_query_log라고 검색하면 나옵니다.

두 값을 1로 변경 해줍시다. (1로 설정해야 로그가 생성됩니다.)

현재 운영중인 RDS 인스턴스의 파라미터 그룹이 default 파라미터로 설정되어 있다면 사용자 지정 파라미터 그룹을 생성하여 파라미터 수정 및 파라미터 그룹 수정을 진행합니다.
(RDS 인스턴스 [수정]을 이용하여 파라미터 그룹을 변경할 수 있습니다.)

여기서 중요한 점은 또 Down Time의 여부겠죠.
파라미터 그룹을 변경하게 될 경우 또는 파라미터 값을 수정하게 될 경우 재부팅이 필요하여 Down Time이 발생하게 될까요?

정답은 아래와 같습니다.

그렇다면 동적 파라미터와 정적 파라미터를 어떻게 구분하느냐?

파라미터 그룹 내에 파라미터들을 보면 [적용 유형]이 있습니다.
Dynamic이 동적 파라미터, Static이 정적 파라미터로 수정이 필요한 파라미터를 검색하여
해당하는 파라미터의 값이 수정될 경우 재부팅이 필요한가?를 알 수 있으니 이를 확인하여 적절한 시간에 작업을 진행할 수 있습니다.


RDS Audit Log

파라미터 그룹까지 설정하였습니다. 하지만 파라미터 그룹에서 감사 로그는 찾을 수 없습니다. 그 이유로 감사 로그는 파라미터 그룹이 아닌 옵션 그룹에서 설정이 필요하기 때문입니다.

옵션 그룹에서 감사 로그를 설정 해주려면 default 옵션 그룹에서 새로 생성한 옵션 그룹으로 변경이 필요합니다.

새로 생성한 옵션 그룹에서 위와 같이 MARIADB_AUDIT_PLUGIN 옵션을 추가하여 설정할 수 있습니다. 크게 사용하실만한 옵션에 대해서만 간단하게 설명하자면 다음과 같습니다.

  • SERVER_AUDIT_FILE_ROTATE_SIZE : 로그 파일 용량 크기를 제한합니다. (1–1000000000)
    최대 1GB까지 설정 가능하며 Default 값은 1000000 입니다.
  • SERVER_AUDIT_FILE_ROTATIONS : 로그 파일의 로테이션 수를 설정합니다. (0-100)
    최대 100개의 파일까지 생성가능하며 Default값은 9입니다.
  • SERVER_AUDIT_EVENTS : 특정 이벤트 유형으로 제한하여 로그를 남깁니다.
    이를 설정하지 않을 경우 모든 이벤트 유형을 남기게 됩니다.
    Default 값은 CONNECT, QUERY 입니다.
  • SERVER_AUDIT_INCL_USERS : SERVER_AUDIT_EXCL_USERS보다 우선 순위가 높으며 기록할 사용자를 추가합니다. 또한 값이 없을 경우 로깅에 모든 사용자를 로깅합니다.(SERVER_AUDIT_INCL_USERS 값에 admin을 추가하고 SERVER_AUDIT_EXCL_USERS 값이 비어있다면 admin 계정에 대한 로그만 남깁니다.)
  • SERVER_AUDIT_EXCL_USERS : 값에 사용자를 추가할 경우 해당 사용자를 로그에 기록이 남지않습니다. (로그 예외 처리 계정 추가라고 보면 이해가 쉽습니다.)
    값이 없을 경우 로깅에 예외 처리할 사용자가 없다라는 의미가 됩니다.
  • SERVER_AUDIT_QUERY_LOG_LIMIT : 쿼리 문자열 길이를 제한합니다. (0–2147483647)
    Default값은 1024입니다.

옵션 변경 및 옵션 그룹 변경이 완료되었다면 RDS 로그에서 아래 이미지와 같이 Audit.log가 생성되는 것을 확인할 수 있습니다.

Cloudwatch logs로 내보내기 설정을 하게될 경우 CloudWatch 로그 이벤트에서도 로그를 자세히 확인할 수 있습니다.
DB에서 show databases 및 show tables를 입력해보았는데 Audit 로그에 그대로 남았습니다.


Aurora DB, Using advanced auditing

Aurora MySQL에서는 RDS MySQL과 다르게 고급 감사를 사용할 수 있습니다.
설정 방법은 크게 어렵지 않아 어떠한 고급 감사 기능이 있는지 링크만 남겨두도록 하겠습니다.


Personal Comments

오늘은 오랜만에 AWS의 RDS 로그 생성 방법에 대해 알아보았습니다.

아무래도 감사 로그를 남기는 부분은 ISMS-P를 준비하실 때 필요한 부분이니 이 부분은 어느정도 도움이 되시리라 생각합니다.

긴 글 읽어주셔서 감사합니다.

AWS

[AWS] image resizing failure, trouble shooting

안녕하세요. ManVSCloud 김수현입니다.

오늘은 이전에 실패했던 image resizing 실패 원인을 확인 후
정상적으로 resizing 성공 후기를 남겨보려고 합니다.


First Cause

첫번째 원인을 찾았습니다.
CloudFront 트리거 구성 시 Origin Response가 되어야하는데 Request로 설정을 해두었던 것!

Lambda에서 변경 시 위에서 오리진 응답으로 변경하면 됩니다.

만약 Cloudfront에서 변경을 하실 경우 연결된 cloudfront에서 [Behaviors]-[경로 선택 및 Edit] 후 아래 CloudFront Event에서 Origin Response로 변경해줄 수 있습니다.

이 부분은 리눅서님의 도움을 받았습니다.
해당 부분이 Response가 되어야하는 이유는 인지하고 있었는데 다시 한번 포인트를 잡아주시고 놓치고 지나친 부분 찾아주신 리눅서님에게 감사의 인사 올립니다.


Find hints

위 첫번째 원인을 해결하고도 정상적으로 이미지 리사이징이 되지 않았습니다.
그래서 현재 이미지 리사이징이 어떻게 동작하고있고 특정 오류가 발생하는가 확인해보기로 했습니다.


우선 CloudFront의 Cache statistics와 Monitoring을 체크해보았고
각 오류 코드 및 Header값을 확인해보았습니다.

3xx의 정체는 301, 2xx는 200, 4xx는 403으로 보입니다.

http://주소/경로/tom.png?w=110&h=60&f=webp&q=90 [Viewer Request]
Status Code 로301 Move Permanently를 받으며 리다이렉트 되었습니다.
X-Cache : Redirect from cloudfront

https로 리다이렉트 되고 Status Code로 200을 받았습니다.
x-cache : Miss from cloudfront 엣지 로케이션 캐시에 tom.png?w=110&h=60&f=webp&q=90가 없어 Origin에 요청합니다. 여기서 Origin은 tom.png 이미지가 있는 S3 버킷!
이미지도 잘 데려왔습니다.

그런데 이미지 리사이징이 되지않은 상태로 넘어왔습니다.
User가 Cloudfront로 “Viewer request” 했고 (1. User → Cloudfront)
Miss from cloudfront라 Cloudfront가 Origin에게 “Origin request” 하고 (2. Cloudfront → Origin)
Origin으로부터 “Origin reponse” 후 (3. Origin → Cloudfront)
Cloudfront가 다시 User에게 “Viewer response” (4. Cloudfront → User) 되어
이미지를 받았다라고 했을 때 [1], [2], [4] 과정은 문제가 없었을 것이라 생각됩니다.

[1],[4] 요청과 응답에 대한 통신은 정상적으로 되었으며 Miss from cloudfront 응답에
[2] CloudFront는 Origin에게 요청을 했을 것입니다.

그렇다면 [3] 과정에서 정상적으로 동작하지 않는 것이 있다는 것인데?

Cloudfront 설정은 몇번을 반복하여 보아도 더 이상 잘못 설정한 것이 없었습니다.
그래서 Lambda 설정을 조금 더 검토해보기로 했습니다.

Second Cause

원인을 전혀 못찾다가 사내 상사의 도움으로 “Node.js 버전에 맞는 소스 코드를 사용했는가? 소스 코드가 버전에 맞지않아서 그럴 수 있다”라는 힌트를 얻게 되었습니다.

그런데 아무리 생각해봐도 다른 설정은 잘 되어있고 정말 소스 코드쪽이 크게 의심되어 바로 버전과 소스 코드 변경을 진행하였습니다.

Node.js 버전은 12.x 버전으로 변경하였고 소스 코드는 아래와 같이 수정하였습니다.

'use strict';

const querystring = require('querystring'); // Don't install.
const AWS = require('aws-sdk'); // Don't install.
const Sharp = require('sharp');

const S3 = new AWS.S3({
  region: 'ap-northeast-2'
});
const BUCKET = 'mybucket';

exports.handler = async (event, context, callback) => {
  const { request, response } = event.Records[0].cf;
  // Parameters are w, h, f, q and indicate width, height, format and quality.
  const params = querystring.parse(request.querystring);

  // Required width or height value.
  if (!params.w && !params.h) {
    return callback(null, response);
  }

  // Extract name and format.
  const { uri } = request;
  const [, imageName, extension] = uri.match(/\/?(.*)\.(.*)/);

  // Init variables
  let width;
  let height;
  let format;
  let quality; // Sharp는 이미지 포맷에 따라서 품질(quality)의 기본값이 다릅니다.
  let s3Object;
  let resizedImage;

  // Init sizes.
  width = parseInt(params.w, 10) ? parseInt(params.w, 10) : null;
  height = parseInt(params.h, 10) ? parseInt(params.h, 10) : null;

  // Init quality.
  if (parseInt(params.q, 10)) {
    quality = parseInt(params.q, 10);
  }

  // Init format.
  format = params.f ? params.f : extension;
  format = format === 'jpg' ? 'jpeg' : format;

  // For AWS CloudWatch.
  console.log(`parmas: ${JSON.stringify(params)}`); // Cannot convert object to primitive value.
  console.log(`name: ${imageName}.${extension}`); // Favicon error, if name is `favicon.ico`.

  try {
    s3Object = await S3.getObject({
      Bucket: BUCKET,
      Key: decodeURI(imageName + '.' + extension)
    }).promise();
  } catch (error) {
    console.log('S3.getObject: ', error);
    return callback(error);
  }

  try {
    resizedImage = await Sharp(s3Object.Body)
      .resize(width, height)
      .toFormat(format, {
        quality
      })
      .toBuffer();
  } catch (error) {
    console.log('Sharp: ', error);
    return callback(error);
  }

  const resizedImageByteLength = Buffer.byteLength(resizedImage, 'base64');
  console.log('byteLength: ', resizedImageByteLength);

  // `response.body`가 변경된 경우 1MB까지만 허용됩니다.
  if (resizedImageByteLength >= 1 * 1024 * 1024) {
    return callback(null, response);
  }

  response.status = 200;
  response.body = resizedImage.toString('base64');
  response.bodyEncoding = 'base64';
  response.headers['content-type'] = [
    {
      key: 'Content-Type',
      value: `image/${format}`
    }
  ];
  return callback(null, response);
};

개발쪽은 아직 미숙하여 소스 코드는 아래 링크를 참고하였습니다.

소스 코드 변환 후 lambda 재배포하여 다시 한 번 리사이징 테스트를 해보았습니다.


Success

이미지 리사이징이 정상적으로 완료되었습니다!
Node.js 버전과 소스 코드 변경 후 정상적으로 리사이징이 되네요

이번 이미지 리사이징을 계기로 개발쪽 공부도 해야겠다는 생각이 드는데 바쁜 일정으로 올해는 무리입니다…

그래도 이미지 리사이징 성공할 수 있어서 뿌듯합니다.

긴 글 읽어주셔서 감사합니다.

AWS

[AWS] CloudFront 캐시 적중률 늘리기 (cache hit ratio)

안녕하세요. ManVSCloud 김수현입니다.

오늘은 ANOS 2기 스터디 후 6주차 CloudFront 과정을 마친 후 예정되어 있던 포스팅으로
CloudFront 캐시 적중률 늘리기에 대한 주제로 글을 써보려합니다.

이 포스팅을 준비하기 위해 생각보다 많은 공부를 하게되어 생각보다 시간이 소요되었지만 평소한 것들보다 만족스럽다는 생각이 들었습니다.

그럼 [AWS] CLOUDFRONT 캐시 적중률 늘리기 (CACHE HIT RATIO)에 대해 알아보겠습니다.


What is Cache?

캐시 메모리, 캐시 저장소, 캐시 서버 등 캐시는 무엇을 말하는 것일까요?
캐시는 쉽게 말하면 임시로 저장해두는 장소라고 말할 수 있겠습니다.

이 캐시로 인해 우리는 평소보다 조금 더 빠르게 접근이 가능하게되는데
Cache Hit 상태라면 우리가 원하는 것을 Cache가 가지고 있는 것이며
Cache Miss는 Cache가 아직 그것을 가지고 있지 않는 상태입니다.

Cache에 대해서는 이 정도로만 간단히 설명하고 다음으로 넘어가겠습니다.


What is CloudFront?

Fast or Slow 사이트에서 제 테스트 웹 페이지 하나에 대해 속도 측정을 해보았습니다.
(위 링크에서 여러분들의 웹 사이트를 속도 측정 할 수 있습니다. (해외 차단 시 불가))

출발한 패킷이 해외 지역에 도달하는데에 걸리는 시간이 각각 다른 것을 알 수 있습니다.
우리는 이 시간을 Latency라고 부르며 출발지와 거리가 멀 수록 Latency가 크게 발생하게 됩니다.

아프리카와 유럽쪽의 응답시간이 다른 지역에 비해 더 늦다는 것을 확인할 수 있습니다.
반면 한국과 가까운 일본이나 홍콩은 다른 지역보다 빠릅니다.

그렇다면 해외 서비스를 운영할 때 발생하는 컨텐츠의 느린 응답 속도를 해결할 수 있는 방법은 없는 것일까요?

그렇지 않습니다. 이를 해결하기 위해 Contents Delivery Network(CDN)을 이용한다면
지리적 또는 물리적으로 떨어진 대상에게 컨텐츠를 빠르게 제공이 가능해집니다.

CDN 사이트 테스트 시 이전 사이트의 Latency에 비해 비교적으로 낮아진 값을 확인할 수 있었습니다.
또한 CDN 업체의 각 CDN Node로 인해 보다 빠른 통신이 가능하다는 것을 알 수 있었습니다.

CDN을 사용한다면 해외 사용자가 컨텐츠를 다운로드 할 때 Origin에서 직접 컨텐츠를 가져오지 않고 주변 CDN 서버에서 컨텐츠를 가져오므로 속도 보장은 물론 국제 회선으로 발생하는 비용 역시 절감할 수 있게 됩니다.

CloudFront는 CDN 서비스를 제공합니다. 또한 CloudFront는 엣지 로케이션 215개 이상, 리전별 중간 티어 캐시 12개의 글로벌 네트워크를 사용하여 캐싱을 통해 짧은 지연 시간과 높은 처리량 및 안정적인 네트워크 연결(부하 분산)이 제공됩니다.

이런 CDN에 대해 관심이 많으시다면 GSLB 기술에 대해 한 번 알아보는 것도 나쁘지 않을 것같아 링크 추가해봅니다.

세계 지도 png에서 kor.pngtree.com

Cloudfront의 전체를 그림 하나로 표현하기에 부족하겠지만 한 번 만들어보았습니다.

캐싱 데이터가 생성된 Edge로 인해 안전성, 비용, 속도를 보장 받을 수 있으니 Cloudfront는 무조건 사용해야한다?, Cloudfront만 사용하면 무조건 빠르다? 는 정답이 될 수 없습니다.

무조건 사용하지 않습니다. 잘 사용해야합니다.
또한 서비스의 속도는 오직 캐싱만으로 결정되지 않습니다.
Rendering, 압축, 개발 소스 등 역시 속도의 원인이 될 수 있으며 최신화를 위해 정적/동적 데이터 구분하여 설정 및 캐싱 예외 처리, TTL 등 고려해야할 사항이 많습니다.

하지만 이 포스팅의 주제는 Cloudfront의 캐시 적중률을 어떻게하면 높일 수 있을까에 대한 주제이므로 캐시 적중률을 높일 수 있는 방법에 대한 내용을 중점으로 다루겠습니다.


How can CloudFront cache hit rate be increased?

CloudFront의 캐시 적중룔, 어떻게하면 높일 수 있을까요?

AWS 가이드에서는 총 7가지가 있다고 합니다.

CloudFront에서 객체를 캐시하는 기간 지정
Origin Shield 사용
쿼리 문자열 매개 변수를 기반으로 한 캐싱
쿠키 값에 따른 캐싱
요청 헤더 기반 캐싱
압축이 필요하지 않은 경우 Accept-Encoding 헤더 제거
HTTP를 사용하여 미디어 콘텐츠 제공

7가지 중 3가지 정도만 자세히 알아보도록 하겠습니다.
(다소 양이 방대하기때문에 나머지는 최하단 Docs 링크 추가해두었으니 참고 부탁드립니다.)


▶ CloudFront에서 객체를 캐시하는 기간 지정

첫번째 방법으로 CloudFront에서 객체를 캐시하는 기간을 지정해주는 것입니다.
Cache-Control max-age의 수치가 길면 길수록 캐시 적중률이 높아집니다.
다만 오리진이 아닌 캐시된 파일을 불러오기에 객체 최신화에 문제가 있습니다.
그렇다면 Cache-Control max-age 수치를 어떻게 주면 좋을까요?

우선 TTL과 Cache-Control에 대해서 알아봅시다.

브라우저 캐시 TTL은 최종 사용자 브라우저가 리소스를 캐시하는 시간입니다.
이 리소스의 경우 TTL이 만료 될 때까지 브라우저 로컬 캐시에서 제공하며 만료 시 브라우저가 재요청을 하게됩니다. 이때 TTL은 해당 컨텐츠가 있는 원본 서버의 Cache-Control을 참고하게 됩니다. 예를들어 원본 서버에서 Cache-Control 설정이 public; max-age=60로 설정되어있을 경우 60초의 시간 동안 브라우저 로컬 캐시에 저장됩니다.

Cache-Control은 응답을 캐시할 수 있는 사용자와 해당 조건 그리고 기간을 제어하는데
즉, 웹 컨텐츠 캐시 정책을 컨트롤 하는 지시문이라 볼 수 있습니다.

Cache-Crontrol에 대한 링크를 추가하였으니 참고하시면 좋을듯합니다.

Cache-Control 설정은 웹 사이트 성능 최적화에 중요한 역할을 합니다.
Cache-Control은 컨텐츠 유형별로 다른 설정을 해준다면 웹 사이트 성능 최적화에 좋은 결과를 기대할 수 있을 것입니다.

컨텐츠 유형은 크게 정적 컨텐츠(Static Contents)와 동적 컨텐츠(Dynamic Contents)로 나뉩니다.

정적 컨텐츠는 css, js, png, jpg, html 파일 등이 대표적이며, 동적 컨텐츠는 업데이트가 잦아 항상 최신화가 필요하거나 요청마다 다른 응답을 주어야하는 리소스들이 되겠습니다.

정적 컨텐츠는 제가 포스팅 시 업로드한 이미지,영상 파일들이나 우리가 흔히 게임을 하기위해 다운로드를 받는 소프트웨어의 경우 TTL이 높아도 상관이 없습니다.
다만 우리가 보는 뉴스 기사들은 TTL이 높을 경우 빠르게 최신 뉴스를 볼 수 없게 될 것입니다. 그러므로 각 컨텐츠 별로 다르게 설정적 컨텐츠는 제가 포스팅 시 업로드한 이미지,영상 파일들이나 우리가 흔히 게임을 하기위해 다운로드를 받는 소프트웨어의 경우 TTL이 높아도 상관이 없습니다.다만 우리가 보는 뉴스 기사들은 TTL이 높을 경우 빠르게 최신 뉴스를 볼 수 없게 될 것입니다. 그러므로 같은 정적 컨텐츠라도 다르게 설정해줄 필요가 있겠습니다.

제 블로그에 올라간 이미지 파일들은 이미지가 변경되어야 할 이유가 크게 없습니다.
이 경우 아래와 같은 예시로 Cache-Control을 사용할 수 있겠습니다.
예시) max-age = 31536000;(브라우저) 또는 s-maxage=86400(프록시와 같은 공유 캐시에만 적용)
max-age의 최대치는 31536000 입니다.

날씨와 같이 1분 주기로 최신화를 하고 싶다면 아래와 같이 할 수 있겠습니다.
예시) public; max-age=60 또는 no-cache; max-age=60 등의 방법

동적 컨텐츠는 항상 최신화가 필요할 것입니다.
항상 최신화를 위해 아래 예시의 방법이 있습니다.
예시) no-cache, max-age=0 또는 private, no-store 등의 방법

제 블로그 역시 Cache-Control이 적용되어있습니다.

Apache를 이용하여 Cache-Control 헤더를 사용한다면 .htaccess를 이용하여
아래와 같은 방법을 사용할 수 있습니다.

<filesMatch ".(ico|jpg|jpeg|png|gif)$">
 Header set Cache-Control "max-age=2592000, public"
</filesMatch>

<filesMatch ".(css|js)$">
 Header set Cache-Control "max-age=86400, public"
</filesMatch>

제 블로그의 이미지 파일들은 AWS S3에 있습니다.
그렇다면 이 S3에 있는 이미지 파일들에게 Cache-Control 설정은 해줄 수 없을까요?

가능합니다.
우선 S3의 해당 버킷을 선택한 뒤Cache-Control을 설정할 파일 또는 디렉토리를 선택합니다.
그리고 [작업]-[작업 편집]-[메타데이터 편집]을 선택 클릭하면 메타데이터 편집을 통해
Cache-Control을 수정 및 설정할 수 있습니다.

자 그럼 이제 CloudFront에서 객체를 캐시하는 기간을 설정하는 방법에 대해 알아 보겠습니다.

Cloudfront의 [Behaviors]에서 설정할 수 있습니다.

또한 아래 사진처럼 Create Behavior로 Path Pattern을 나누어 우선 순위를 설정한 뒤 각 경로나 파일마다 다르게 설정할 수도 있습니다.

수정이 필요한 Behavior를 선택 후 [Edit]을 누르면 아래와 같은 창으로 이동합니다.
Cache and origin request settings을 선택해줄텐데 직접 수정하려면 아래
[Use legacy cache settings]를 선택해주어야합니다.

[Use a cache policy and origin request policy]를 선택하여 Managed-CachingOptimized를 사용할 경우 관리형 캐시 정책에 대한 아래 Docs를 참고하면 되겠습니다.

legacy cache settings를 선택할 경우 아래 추가로 입력할 수 있는 창이 생깁니다.
Object Caching을 Customize로 체크해줄 경우 아래 TTL 값을 원하는 값으로 수정이 가능하게됩니다.

* [참고] Cache Based on Selected Request Header가 요청 헤더 기반 컨텐츠 캐싱을 지정해주는 것이고 Query String Forwarding and Caching은 쿼리 문자열 매개 변수를 기반으로 한 캐싱, Forward Cookies가 쿠키 값에 따른 캐싱에 해당됩니다. 아래에서 Query String Forwarding and Caching에 대해 추가로 다룰 예정입니다.

지금까지 위에서 다룬 TTL 값을 변경하는 방법을 알아보았습니다.
다만 다음과 같은 특이 케이스가 있을 것입니다.

??? : ” 정적 컨텐츠였는데 지금 이미지 하나를 급하게 최신화 해야합니다. 하지만 Cloudfront에 기존 TTL 값이 너무 높게 설정이 되어있습니다. 어떻게 방법이 없을까요? “

있습니다. [Invalidation]을 사용한다면 캐시가 만료되기 전에 파일의 내용을 갱신할 수 있습니다. 이는 캐시 무효화 기능인데 CloudFront Edge 로케이션에 저장된 캐시를 삭제해줍니다.

여기까지 CloudFront에서 객체를 캐시하는 기간을 지정하여 캐시 히트율을 높이는 첫번째 방법에 대해 알아보았습니다.


▶ Origin Shield 사용

두번째 방법으로는 Origin Shield를 사용하는 방법이 있겠습니다.
Origin shield는 CloudFront 캐싱 인프라의 추가 계층으로 Origin 앞에 추가적인 캐싱 계층을 제공해줍니다. 모든 캐싱 계층에서 Origin에 대한 모든 요청이 Origin shield를 통과하기에 CloudFront 배포의 캐시 적중률을 개선하는데 큰 도움이됩니다.

또한 Origin의 부하를 최소화하며 가용성을 높여 운영 비용을 줄이는 데에 큰 도움이 됩니다.
캐시에 없는 컨텐츠에 대한 요청은 동일한 객체에 대한 다른 요청과 통합되어 Origin으로 가는 요청이 하나만 발생하게 되는데 이로 인해 동시 요청 수를 줄일 수 있으며 최대 로드, 트래픽 급증 중에 Origin의 가용성을 유지할 수 있고 동적 패키징, 이미지 변환 및 데이터 전송과 같은 비용을 줄일 수 있습니다.

Feb 20, Origin Shield 사용 전 (21일에 적용)
Feb 23, Origin Shield 사용 2일 후 (21일에 적용)

(포스팅 당일은 캐싱되지 않은 새로운 컨텐츠가 존재하여 cf-cache-status : MISS가 발생할 수 있습니다.)

제 블로그에 적용 당시 Origin shield입니다.
적용 후 그래프의 캐시 적중률(Hits)이 상승한 것을 볼 수 있습니다.

Origin Shield 설정 – 1
Origin Shield 설정 – 2

위와 같은 방법으로 Origin Shield 설정이 가능합니다.

그외에도 Origin Shield는 CloudFront의 리전 엣지 캐시를 활용하며 CloudFront 위치에서 Origin Shield 로 연결할 때 각 요청에 대해 활성 오류 추적을 사용하여 Default Origin Shield 를 사용할 수없는 경우 요청을 보조 Origin Shield 위치로 자동 라우팅하므로 고 가용성까지 갖췄습니다.


▶ 요청 헤더 기반 캐싱

마지막으로 요청 헤더 기반 캐싱에 대해 알아보겠습니다.

위에서 언급했듯 요청 헤더 기반 캐싱은 Behavior을 [Edit] 시Query String Forwarding and Caching를 선택할 수 있습니다.

이는 Query String을 캐시 구분자로 사용할지 물어보는 것입니다.

# None(캐시 향상) : 이를 선택할 경우 모든 쿼리스트링에 대해 캐시합니다.
# Forward all, cache based on whitelist : whitelist를 선택하여 값을 입력할 경우 whitelist에 입력된 쿼리스트링에 대해서만 캐시가 되지 않고 나머지는 캐시가 됩니다.
# Forward all, cache based on all : all을 선택하게 되면 캐시를 하지 않게됩니다.

None과 all은 캐시 된다/안된다이니 whitelist를 잘 써야봐야겠습니다.
아래 사진으로 예를 들어보겠습니다.

제 블로그는 도메인명 뒤에 ?p가 붙습니다.
ex)https://manvscloud.com/?p=612

만약 제가 포스팅되는 글들은 캐시되지 않고 오리진에서 최신화하여 불러왔으면 좋겠다고 했을 때 위와 같이 설정해줄 수 있습니다.
whitelist에 p를 넣어주면 https://manvscloud.com/? 뒤에 p의 쿼리스트링에 대해서 캐시하지 않고 항상 최신화하게 됩니다.

그렇다면 이 쿼리스트링을 여러개 사용해야한다면 어떤 방법이 있을까요?
예를 들어 이미지가 요청할 때마다 항상 다른 사이즈로 리사이징되어야 하는 경우입니다.

첫 요청 시 /?w=200&h=150&f=webp&q=90 으로 요청했는데
이후 /?w=100&h=300&f=webp&q=90으로 요청이 올 경우 바로 리사이징 된 이미지를 보여주어야합니다.

위와 같은 방법을 사용할 수 있습니다.
각 w,h,f,q 쿼리스트링에 대한 whitelist를 입력하여 해당 쿼리스트링 요청 시 캐싱되지 않고 오리진에서 불러올 수 있도록하는 것입니다.

이 방법을 사용한다면 원하는 것만 최신화 하고 나머지는 항상 캐싱되니
캐시를 잘 사용한다고 볼 수 있겠습니다.

캐시 적중률이 높다는 것은 hit율만 높고 최신화가 되지 않는 것을 말하는 것이 아닙니다.
최신화 되어야할 부분은 최신화 되면서 캐싱이 되어야 비로소 캐시가 잘 적중했다라고 생각됩니다.

지금까지 캐시 적중률을 높이는 3가지 방법에 대해 자세히 알아보았습니다.
이 외에도 나머지 4가지 방법이 더 있습니다.
제일 하단 링크에 추가된 링크를 통해 나머지 4가지 방법도 찾아보시길 바랍니다.


Opinion

검색 엔진 최적화(SEO)에는 웹 사이트 속도와 상관 관계가 있다고 합니다.
조사에 따르면 웹 페이지가 출력되는데에 4초 이상이 소요될 경우 75%의 사람들은 이미 해당 웹 사이트를 종료한다고 합니다.

캐시 적중률을 높여 웹 페이지의 속도를 빠르게 해보시는 것은 어떠신가요?
많은 분들에게 도움되는 포스팅이 되었길 바랍니다.

(원래 추가로 Cloudfront + Lambda@Edge를 활용한 Image Resizing에 대한 포스팅도 첨부하여 이미지 리사이징을 통해 SEO 최적화하는 방법을 더하려 했으나… 왜 안되는지 잘 모르겠습니다?… )

CloudFront의 캐시 적중률을 높여보자는 게 그만 내용이 꽤 길어졌습니다.
처음에 작성하려 했던 양보다 훨씬 많아졌네요…
7가지 중에 3가지만 했는데도 이 정도 양이니…
나머지 4개는 제가 여러분들에게 드리는 숙제인걸로…!
찾아보면서 공부하는 재미가 있더라구요😋 홧팅!!

다음 AWS 공부는 Elasticache나 Elastic Beanstalk을 생각하고 있지만 곧 NCP 시험과 Kubernetes 일정으로 인해 다음 AWS 포스팅까지는 다소 시간이 걸릴듯합니다.

긴 글 읽어주셔서 감사합니다.


References

AWS

AWS Network online study 11주차까지 마무리하며… [3/3]

안녕하세요. ManVSCloud 김수현입니다.

2021-01-10 ~ 2021-03-28 설 휴일을 제외한 약 11주차 과정이 마무리되었습니다.

생각보다 빠르게 11주차가 와서 아쉬우면서도 제가 11주차를 하루도 빠짐없이 다 해냈다는 것을 생각하면 또 한 편으로 보람차고 잘 했다는 생각이 들었습니다.

ANOS를 시작하기 전과 지금의 저를 비교해본다면 스스로가 Level UP 한 것같고 경험치를 상당히 얻은 기분입니다.
물론 ANOS를 마쳤다고 하여 AWS Network를 마무리할 생각은 없습니다.
아직 한 두번 해봤을 뿐 누군가에게 설명할 수 있을 정도는 아니기에 추가적인 복습을 통해 더 공부할 생각입니다.


가장 흥미로웠던 주제 3가지를 뽑자면?

  • CloudFront

물론 1주차부터 11주차까지 모두 재밌는 시간들이었지만 그 중에 굳이 3가지를 뽑자면Cloudfront와 WAF, TGW & R53 Resolver가 될 것같습니다. 특히 CloudFront의 경우 워낙 관심이 많았던 상태였기에 스터디가 마무리된 지금도 더 깊이 알고싶은 서비스 중에 하나입니다.

ANOS 스터디에서는 CloudFront에 대한 내용만 다룰 뿐만 아니라 CloudFront를 배우기 앞서 HTTP Cache와 CDN 기술에 대한 기본적인 지식까지 얻을 수 있으며 왜 CloudFront를 써야하는지 정확하게 알 수 있었던 시간이었습니다.

스터디를 시작하기 전에도 물론 제 블로그는 Cloudfront를 이용하여 정적이미지 파일들을 불러오고 있었지만 다소 정확히 알지 못하는 상태에서 사용 중이었고 Origin Shield가 없어 Hits율이 낮은 상태였습니다.

ANOS를 통해서 CloudFront를 정확히 이해하고 사용할 수 있게되었고 캐싱률도 상승하였으며 조금 더 깊이있게 공부하고 싶어질만큼 흥미로운 6주차 주제 CloudFront였습니다.

  • WAF 웹방화벽

두번째로 흥미로웠던 주제는 WAF입니다.
이 주제는 Legend 급으로 재밌었던… 8주차였습니다.

이 날 이후 제 블로그에는 AWS WAF 기능이 추가됩니다…🙄

제가 대학 전공을 보안학 전공을 하다보니 과거에 해킹과 보안에 관심이 많은 편이었습니다.
WAF를 배우며 오랜만에 공격 테스트도 해보고 방화벽을 통해 탐지/차단까지 실습해보니 재미가 없을 수가 없었습니다!

가끔 제가 설정해둔 WAF의 Sampled requests를 보는 편인데 생각보다 AnonymousIpList(익명 IP) 접속으로 차단되는 게 많은 편이었습니다.

이날 이후로 WAF 잘 쓰고 있어서 웹 공격으로부터 보안이 튼튼한 블로그가 된 것같아 기분이 좋네요.

  • TGW & R53 Resolver

마지막으로 TGW & R53 Resolver입니다. 특히 TGW!!

TGW는 해보면 와… 내가 정말 네트워크를 하고있구나라는 생각이 듭니다.

다소 난이도가 있으나 이거 하나 배워두면 아키텍처의 범위가 상당히 넓어지는 기분입니다.
아직 네트워크 쪽은 다양한 경험을 해보지 못했지만 지금까지의 제가 느낀바로 TGW는 AWS Network의 꽃이 아닐까…생각됩니다.

앞으로 TGW를 이용하여 리전 간 테스트를 종종 할 생각입니다.


ANOS 2기 MEMBER BLOG


마무리

11주라는 시간동안 고생해주신 CloudNet@ 팀, 운영진님들에게 다시 한 번 감사의 인사 드립니다. 아직 현업에서 아직 사용해보지 못한 기능들이 많았었는데 좋은 기회를 얻게 되어 다양한 서비스 실습을 할 수 있어 정말 많이 배웠습니다.

마지막 11주차까지 완주에 성공하신 ANOS 2기 멤버님들도 모두 축하드립니다.

다음 포스팅은 AI 전시회와 NCP DevOps, Kubernetes의 포스팅으로 찾아뵙겠습니다.
긴 글 읽어주셔서 감사합니다.

AWS

AWS NETWORK ONLINE STUDY 6-10주차 [2/3]

안녕하세요. ManVSCloud 김수현입니다.

벌써 3월이 마무리되어갑니다.
이번주 일요일은 AWS NETWORK ONLINE STUDY의 마지막 11주차 스터디가 있는 날입니다. 11주차라는 시간이 벌써 끝나간다는 아쉬움과 함께 하루도 빠짐없이 잘 해냈다는 보람도 있습니다.

오늘은 ANOS 6-10주차 후기 포스팅을 써보려합니다.
6-10주차는 크게 5가지 주제로 나뉘었습니다.

벌써 3월이 마무리되어갑니다.
이번주 일요일은 AWS NETWORK ONLINE STUDY의 마지막 11주차 스터디가 있는 날입니다. 11주차라는 시간이 벌써 끝나간다는 아쉬움과 함께 하루도 빠짐없이 잘 해냈다는 보람도 있습니다.

오늘은 ANOS 6-10주차 후기 포스팅을 써보려합니다.
6-10주차는 크게 5가지 주제로 나뉘었습니다.

# CloudFront
# Security Group & Network ACL
# WAF

# Global Accelerator & VPN
# TGW & R53 Resolver

이번 6-10 주차는 정말 1-5주차보다 더욱 알차고 배울 것이 많은 시간들을 보냈습니다.

CloudFront의 경우 CloudFront에 대해서만 배우는 것이 아니라 Cache에 대해서 배워 왜 CloudFront를 사용해야하고 정적 캐싱과 동적 캐싱에 대해서도 알아보는 시간을 가질 수 있었습니다.

제가 스터디 이후에도 CloudFront 스터디가 끝난 이후에도 해당 주제에 대해서는 추가적인 공부를 더 하였는데 블로그 포스팅으로 하려했으나 바쁜 일정에 아직도 임시글로 머물러있는 상태입니다…

Naver Cloud Platform DevOps 교육과 AI 전시회 참가로 인해 포스팅 거리가 최대 6개까지 늘어버렸군요…
최대한 시간나는대로 전부 포스팅할 예정입니다.

그리고 6-10주차 과정 중 가장 재밌었던 8주차의 WAF는 스터디에서 끝나지 않고 제 블로그에 도입되었습니다?!
아래 링크 참고하시면 WAF 기능 추가 내용 뿐만 아니라 제 블로그 구성도까지 볼 수 있습니다.

나머지 주차의 스터디도 전부 재밌었지만 이후 각각의 주제마다 느껴진 색다른 재미들이 있었다? 가 맞는 것같습니다.

스터디가 11주차까지 마무리되면 Global Accelerator & VPN과 TGW & R53 Resolver는 추가적인 복습을 할 예정입니다.
지금까지 제가 해본 적없던 것이기도 하고 아직 기초 네트워크에 대한 지식이 부족하여 조금 더 넓게 공부하고 싶은 생각이 있기때문입니다.

이번 ANOS를 통해서 매주 일요일마다 꾸준하게 공부할 수 있게 되었습니다.
이후 3기 참가하시는 분들에게 조언을 드리자면! 녹화보다는 생방송 참가 적극 권장드립니다.
일단 생방송으로 함께하는 것이 조금 더 집중에 도움되었습니다.

아마 이번 ANOS 스터디 일정이 마무리되면 NCP 시험과 계획되어 있던 Kubernetes의 CKA 자격증 공부에 집중하게 될 것같습니다.

밀린 포스팅을 업로드 한 뒤 Kubernetes의 내용이 다수 포스팅 될 예정입니다.
이만 글을 마무리하며 마지막 ANOS 11주차 포스팅으로 찾아뵙겠습니다.

CloudNet@ 팀에 다시 한 번 감사의 인사올리며
AWS NETWORK ONLINE STUDY 6-10주차 [2/3] 포스팅을 마무리 하도록 하겠습니다.

긴 글 읽어주셔서 감사합니다.

AWS

[AWS] Configuration of ManVSCloud Blog (with AWS WAF)

안녕하세요. ManVSCloud 김수현입니다.

최근 AWS Network Online Study 2기에서 AWS의 WAF에 대한 스터디가 진행되었습니다.
스터디 후 제 블로그에도 AWS WAF 기능을 도입하기로 결정하였습니다.

그리하여 오늘은 WAF 설정을 어떻게 했는지와 WAF 기능이 도입된 현재의 제 블로그가 어떻게 구성되어 있는지에 대해 포스팅 해보려합니다.


AWS WAF

사진 출처 : Anlab

우선 WAF란 Web Application Firewall, 웹 어플리케이션에 특화된 방화벽이라 볼 수 있습니다.
2019년 Anlab 자료에 따르면 웹/어플리케이션의 취약점을 이용한 공격이 상당히 많은 비중을 차지하고 있으며 다양한 방법의 공격이 존재합니다.

제 블로그도 AWS의 Security Group에서 80,443 포트는 0.0.0.0/0으로 OPEN 되어 있었기에
어떻게 웹 공격을 최소화 할 수 있을지 많은 고민을 하였습니다.

특히 해외 지역에서 공격성 접근이 많이 존재한다는 것을 알고 있어 해외쪽을 우선 차단하려 했습니다.
EC2 내에서 Apache의 Geoip를 이용하거나 iptables Geoip 등 다른 방법도 존재했지만
해당 인스턴스까지 접근하는 것자체가 조금 찝찝한 부분이 있어 WAF를 도입하기 전까지
제 블로그는 Route53의 지역 기반 라우팅을 이용하여 국내에서만 접근이 가능하도록 설정해둔 상태였었습니다.

현재는 WAF를 설정하였고 Route53의 지역 기반 라우팅을 이용하여 중국만 차단해두고 나머지 나라에서도 접근이 가능하도록 설정해둔 상태입니다.

제 블로그에서는 AWS WAF를 아래와 같이 설정하였습니다.

Associated AWS resouces : Application Load Balancer
Associated AWS resouces : ManVSCloud-Web-ALB-01 (Application Load Balancer)

Rule은 최대 100개까지 생성이 가능하고 Managed Rule Groups과 Own Rule and Rule Groups을 이용하여 추가가 가능합니다.
managed rule groups에는 다양한 보안 업체의 rule groups이 존재했는데 제 WAF에는 “AWS managed rule groups”을 적용했습니다.

AWS managed rule groups

AWS managed rule groups을 펼쳐보니… 아주 많이 있네요…
저는 Anonymous IP list, Core rule set, WordPress application 3개를 추가해둔 상태입니다.
(참고로 선택하실 때에 Capacity가 1500이 넘지 않도록 선택해주세요.)
(WCUs가 1500이 넘어야할 경우 Amazon에 문의하셔야합니다.)

  • Admin protection
    노출된 관리 페이지에 대한 외부 액세스를 차단할 수있는 규칙이 포함되어 있습니다.
    이는 타사 소프트웨어를 실행 중이거나 악의적인 행위자가 애플리케이션에 대한 관리 액세스 권한을 얻을 위험을 줄이려는 경우 유용 할 수 있습니다.
  • Amazon IP reputation list
    이 그룹에는 Amazon 위협 인텔리전스를 기반으로하는 규칙이 포함됩니다. 이는 봇 또는 기타 위협과 관련된 소스를 차단하려는 경우 유용합니다.
  • Anonymous IP list
    이 그룹에는 뷰어 ID의 난독화를 허용하는 서비스의 요청을 차단할 수있는 규칙이 포함되어 있습니다. 여기에는 VPN, 프록시, Tor 노드 및 호스팅 공급자에서 시작된 요청이 포함될 수 있습니다. 이는 애플리케이션에서 신원을 숨기려고 할 수있는 뷰어를 필터링하려는 경우에 유용합니다.
  • Core rule set
    일반적으로 웹 응용 프로그램에 적용되는 규칙을 포함합니다. 이를 통해 OWASP 출판물에 설명된 것과 같은 광범위한 취약성에 대한 공격으로부터 보호할 수 있습니다.
  • Known bad inputs
    잘못된 것으로 알려져 있고 취약성의 악용 또는 발견과 관련된 요청 패턴을 차단할 수있는 규칙을 포함합니다. 이를 통해 악의적 인 공격자가 취약한 애플리케이션을 발견할 위험을 줄일 수 있습니다.
  • Linux operating system
    LFI 공격을 포함하여 Linux에 특정한 취약성 악용과 관련된 요청 패턴을 차단하는 규칙을 포함합니다. 이렇게하면 파일 콘텐츠를 노출하거나 공격자가 액세스 할 수없는 코드를 실행하는 공격을 방지 할 수 있습니다.
  • PHP application
    안전하지 않은 PHP 함수 삽입을 포함하여 PHP 사용과 관련된 취약점 악용과 관련된 요청 패턴을 차단하는 규칙을 포함합니다. 이를 사용하면 공격자가 코드나 명령을 원격으로 실행할 수있는 악용을 방지 할 수 있습니다.
  • POSIX operating system
    LFI 공격을 포함하여 POSIX / POSIX-like OS에 특정한 취약성을 악용하는 것과 관련된 요청 패턴을 차단하는 규칙을 포함합니다. 이렇게하면 파일 콘텐츠를 노출하거나 액세스가 허용되지 않아야하는 코드를 실행하는 공격을 방지 할 수 있습니다.
  • SQL database
    SQL injection 공격과 같은 SQL 데이터베이스 악용과 관련된 요청 패턴을 차단할 수있는 규칙을 포함합니다. 이를 사용하면 권한 없는 쿼리의 원격 주입을 방지 할 수 있습니다.
  • Windows operating system
    Windows와 관련된 취약점 (예 : PowerShell 명령) 악용과 관련된 요청 패턴을 차단하는 규칙을 포함합니다. 이를 통해 공격자가 무단 명령을 실행하거나 악성 코드를 실행할 수있는 익스플로잇을 방지 할 수 있습니다.
  • WordPress application
    WordPress 애플리케이션 그룹에는 WordPress 사이트와 관련된 취약성 악용과 관련된 요청 패턴을 차단하는 규칙이 포함되어 있습니다.

우선 WAF를 적용하고 Anonymous IP list를 제외한 나머지 Action을 Count로 적용해두었습니다. Count 모드로 탐지하여 운영상 문제가 있을 부분이 잡히는지 확인 후에 Block되도록 변경 예정입니다.

그러고보니 Anonymous IP list에 BLOCK된 로그가 있었는데 사진이 어디론가 사라지고 말았습니다. 따로 추가적인 모니터링 구성을 해주지 않으면 샘플 로그가 3시간까지밖에 남지않아 아쉽네요… 그래도 AWS WAF는 참 마음에 드는 기능인 듯합니다. (비용이 괜찮거든요…)


ManVSCloud

자, 그럼 이제 ManVSCloud 블로그가 어떻게 만들어져있고 어떻게 구성되어 있는지 알아보겠습니다.

아시다시피 제 블로그는 Amazon Web Services (AWS)를 이용하여 만들어졌습니다.
Apache + PHP + MariaDB와 WordPress로 웹 서비스를 운영 중입니다.

OS : Amazon Linux 2 x86_64
Apache : 2.4.46
PHP : 7.3.23
MariaDB : 10.4.13
(DB는 RDS 이용중입니다.)

아래 그림을 참고하여 조금 더 자세히 알아보도록 하겠습니다.

ManVSCloud Blog Architecture
(우클릭 후 ‘새 탭에서 이미지 열기’를 이용하면 이미지를 크게 볼 수 있습니다.)

아키텍처를 직접 그려보는 일이 없어 잘 그린 게 맞나싶네요…
일단 WAF를 제외하고 프리 티어를 최대한 활용하려 노력했습니다.
(물론 가용성은 조금 떨어집니다… )

Route53에 manvscloud.com 도메인을 등록하여 GEO Restriction을 이용해 중국에서는 제 블로그로 접속을 할 수 없지만 중국을 제외한 나머지 지역에서는 A레코드 별칭으로 저의 Application Load Balancer로 향하게 됩니다.

ALB 상단에서 WAF가 등록된 Rule에 따라 ALLOW/BLOCK 합니다.
허용된 접속자만 저의 블로그로 접속할 수 있게됩니다.
(참고로 ALB 쪽에서 ACM을 추가하여 SSL 인증서가 적용되도록 해두었습니다.)

ALB-보안그룹

무조건 ALB를 통해서만 접속이 가능하며 EC2 인스턴스로 80/443 접속이 불가능합니다.
현재 제 EC2 인스턴스에는 IAM 역할 하나와 2개의 보안그룹이 연결되어 있습니다.

보안그룹은 접속용 Admin 보안그룹(ssh, ftp 등)과 web 서버용 보안그룹(http,https)으로
나누어두었습니다.

인스턴스의 80,443는 Application Load Balancer만 연결되어있어 ALB를 제외한 다른 곳에서는 직접적인 접근이 접근이 불가능합니다.

그리고 연결되어 있는 IAM은 아래와 같이 되어있습니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "cloudwatch:PutMetricData",
                "ec2:DescribeTags",
                "cloudwatch:GetMetricStatistics",
                "cloudwatch:ListMetrics",
                "s3:*"
            ],
            "Resource": "*"
        }
    ]
}

CloudWatch가 EC2로 부터 Metric을 수집하여 대시보드로 추가적인 Report를 확인하였으며
경보를 추가하여 SNS에 등록된 구독자에게 E-mail로 알림을 보낼 수 있도록 설정 해둔 상태입니다.
제가 E-mail이 아닌 텔레그램을 이용하여 모바일로 알림을 받도록 설정하려 했는데 일정이 너무 빠듯하여 계속 미뤄지고 있네요…

S3도 추가해두었는데 이는 현재 진행중인 작업으로 mysqldump 와 특정 log 파일들을 S3로 백업하여 아카이브로 저장할 예정입니다.

마지막으로 블로그에 업로드되는 이미지들은 S3에 저장되고 해당 정적 이미지들은 Cloudfront를 이용하여 배포됩니다.

개발자 모드에서 확인해보시면 cdn.manvscloud.com 도메인으로 따로 이미지를 불러오고 있는 것을 알 수 있습니다.
ex) https://cdn.manvscloud.com/wp-content/uploads/2021/03/06075013/ncp-manvscloud-1024×562.png

최근 cloudfront에 Origin Shield를 적용하고 Hit가 상당히 많아졌습니다.
캐시를 이용하여 웹이 조금 더 빨라져 상당히 기분이 좋습니다.

현재 캐시 적중률 늘리기에 대해서도 포스팅 중인데 먼저 해결하려 했던
“Cloudfront + Lambda@Edge를 활용한 Image Resizing” 포스팅이 아직 잘 해결되지 않고 있어 늦춰지고 있습니다.

빠른 시일내에 포스팅 할 수 있도록 해보겠습니다.


Thanks to everyone

이번에 제 블로그 아키텍처를 그리며 참 많은 생각이 들었습니다.
AWS를 시작한지 1년이라는 시간이 지났습니다.

클라우드에 대해 궁금했고 AWS를 배워보고자 한 카카오톡 오픈채팅방에 들리게 되었습니다. 클라우드를 시작하기에 조금의 기반도 갖춰지지 않은 상태에서
“아마존 웹 서비스 AWS Discovery Book” 책을 하나 구매한 채 하나씩 따라해보았고
어느 날 “AWSKRUG – AWS 한국사용자모임 – 강남 비기너”에서 AWS 네트워크에 관련된 내용으로 스터디가 있어 참가하게 되었습니다.

당시 Master Seo님께서 많은 것을 알려주셨습니다.
많은 사람들 앞에서 그렇게 알려주시는 모습이 진짜 너무 멋있었습니다.
아마 그때부터 정말 열심히 해보자는 마음이 들게 되었던 것같습니다.

물론 당시 제 노트북의 OS가 한창 리눅스를 연습하고 싶어 리눅스를 설치해둔 상태라
ssh 접속하는 방법도 모르던 때다보니 제대로 따라가지 못한 것이 생각나네요.

이후 Master Seo님이 운영하시는 Brunch 블로그 URL을 외워가서 몇 번이고 다시 해보았었습니다. 정말 제가 클라우드를 시작할 때 많은 영향을 주신 분입니다.

그리고 또 한 번의 기회가 생깁니다.

제 스승님… 리눅서님이 우리 사당스터디를 모집하셨습니다.
이 스터디에서 참 많은 걸 배우게 됐습니다. 정말 많이요.
스터디원 모두에게 늘 감사하는 마음을 갖고있습니다.

여기서 첫 클라우드 자격증 SAA를 얻게되었으며 이후 참 많은 자격증을 따며 공부하였습니다. NCA, AZ-300, AZ-301, CLF, DBS…

블로그 아키텍처를 그려나가는데 문득 내가 언제 이런걸 할 수 있게 된거지?…라고 생각이 들며 조금 가슴이 뭉클해졌습니다.
1년이라는 시간동안 저를 어디까지 성장을 시켜주신 건지… 😦

그리고 제가 요즘 많이 배우고 있는 AWS Network Online Study!!
제 매주 일요일의 행복입니다.

특히 가시다님의 8주차 WAF 강의는 정말 재밌으면서도 많은 도움되었던 강의 중에 하나입니다! 덕분에 블로그에 WAF를 추가할 수 있게 되었습니다.
벌써 8주차가 끝나버렸습니다.
11주차가 끝나버리면 이젠 매주 일요일 뭐할지 걱정되네요.

이상으로 제가 성장할 수 있도록 가르침을 주신 모든 분들께 감사의 인사올립니다.

긴 글 읽어주셔서 감사합니다.

AWS

[AWS] Cloudfront + Lambda@Edge를 활용한 Image Resizing

안녕하세요. ManVSCloud 김수현입니다.

오늘은 CloudFront와 Lambda@Edge를 활용하여 이미지 리사이징을 해보려합니다.
이전부터 해봐야겠다고 생각은 했으나 저는 무언가를 시작할 때 왜 이것을 해야 하는지,
이것을 함으로써 어떤 장점을 얻을 수 있는지를 먼저 알지 못하면 시작하지 못하는 편입니다.

이미지 리사이징는 왜 사용해야할까요?

최근에 나오는 휴대 전화와 디지털 카메라는 고화질로 촬영할 수있는 스펙을 가지고있어
웹 사이트에 업로드하기 적합하지 않을 때가 있습니다.

또한 여러 사용자들의 디바이스에서 요구하는 해상도가 달라 고정된 해상도의 이미지 파일 하나를 업로드 해둘 경우 최적화된 서비스를 할 수 없거나 여러 해상도마다의 이미지를 스토리지 서버에 올려두어 용량 낭비를 하게 될 수도 있습니다.

이런 케이스마다 이미지를 리사이징 해주는 기능이 있다면 좋을 것같습니다.
게다가 이미지 리사이징은 SEO(Search Engine Optimization)에도 큰 도움이 됩니다.
* SEO(Search Engine Optimization) : 검색 엔진 최적화

하지만 이미지 리사이징은 생각보다 간단하지 않습니다.
이미지의 크기를 변경한다는 것은 이미지의 품질이 손상 될 수 있지 않을까라는 고민을 하게 만들기도 합니다.

실습을 통해 이미지 리사이징이 어떻게 되는지 원리에 대해 알아보고
품질에 영향이 클지 등을 알아보도록 하겠습니다.
(실습의 결론부터 말하자면 잘 되지않았습니다…😥)


Principles of Image Resizing

<이미지 리사이징의 원리>

① URI에 원하는 해상도의 이미지를 요청합니다.
ex) https://img.manvscloud.com/image/tom.png?w=200&h=150&f=webp&q=90

② 캐시 서버(CloudFront/Edge Location)에서 캐싱된 이미지가 있으면 이미지를 전송하지만 캐시된 이미지가 없을 경우 이미지 리사이징 서버(Lambda@Edge)에 API 또는 SDK를 이용한 리사이징된 이미지를 요청합니다.

③ 이미지 리사이징 서버(Lambda@Edge)는 API나 SDK를 통해 이미지가 존재하는 스토리지 서버(S3)에 원본 이미지를 요청하게 됩니다.

④ 스토리지 서버(S3)가 이미지 리사이징 서버(Lambda@Edge)로 이미지를 전송합니다.

⑤ 이미지 리사이징 서버(Lambda@Edge)는 스토리지 서버(S3)에게 이미지를 받은 후 요청한 URI를 해석한 뒤 원하는 이미지로 리사이징하여 캐시 서버(CloudFront/Edge Location)로 전송합니다.

⑥ 요청한 해상도의 이미지를 GET 합니다.

원리는 대략 이런 식이라고 볼 수 있습니다.
그럼 이제 실습하여 실제로 이미지 리사이징이 잘 되는지 확인해보도록 하겠습니다.


IAM – Policy & Role

우선 IAM을 만들어보겠습니다.
Lambda를 Cloudfront 배포하고 연결하기 위한 IAM 권한 설정이 필요합니다.

💡 정책 생성

[IAM] – [액세스 관리] – [정책] – [정책 생성]

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "iam:CreateServiceLinkedRole",
                "lambda:GetFunction",
                "lambda:EnableReplication",
                "cloudfront:UpdateDistribution",
                "s3:GetObject",
                "logs:CreateLogGroup",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:DescribeLogStreams"
            ],
            "Resource": "*"
        }
    ]
}
💡 역할 생성

[IAM] – [액세스 관리] – [역할] – [역할 만들기]
→ 사용할 서비스 : Lambda
→ 위에서 생성한 정책을 추가합니다.
→ 역할 만들기

역할 생성 후 생성된 역할의 신뢰 관계가 아래 그림과 같이 설정되어 있는지 확인합니다.

신뢰할 수 있는 개체가 그림과 같이 설정되어있지 않다면 [신뢰 관계 편집]을 이용하여
수정 후 업데이트 해줍니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "edgelambda.amazonaws.com",
          "lambda.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

S3 & CloudFront

💡 S3 버킷 생성

[Amazon S3] – [버킷 만들기]

S3 버킷 생성
image 라는 이름의 폴더를 생성하였습니다.

이후 image/에 tom.png 파일을 업로드 해두도록 하겠습니다.

💡 CloudFront 생성

[CloudFront] – [Create Distribution] – [Get Started]

Origin Domain Name에 위에서 생성한 S3를 선택해줍니다.

Enable Origin Shield는 이번 포스팅에서 다루지 않겠습니다.
이후 포스팅 될 “CloudFront Cache Hit Ratio” 를 참고해주세요.

Restrict Bucket Access를 “Yes”로 체크해주게 되면 버킷의 접근 제한을 활성화 하겠다는 의미입니다.
Origin Access Identity는 신규로 생성하여 사용하겠습니다.
Grant Read Permisstions on Bucket은 해당 S3 버킷 정책에 읽기 권한을 Update할거야? 하고 묻는겁니다.

Query String Forwading and Caching 설정이 Forward all, cache based on whitelist으로 되었다면
Query String whitelist에 쿼리 스트링 키를 지정해줄 수 있게 됩니다.

예를 들어 쿼리 스트링 키로 img를 주고 싶다면 Query String whitelist에 img를 입력하시면 됩니다.

오리진 서버에서 하나 이상의 쿼리 문자열 파라미터를 기준으로 다른 버전의 객체를 반환할 경우 필요합니다. (쿼리 문자열을 이용하여 캐시 우회 가능)

SSL Certificate를 Default로 하는 경우 CNAMEs 을 사용할 수 없습니다.
또한 Default는 보안 TLS 버전을 선택할 수 없습니다.

버지니아 북부 리전에서 ACM을 생성하여 Cloudfront의 Custom SSL Certificate를 선택할 수 있으니 이 방법을 적극 권장드립니다.

생성된 Cloudfront에서 Behaviors를 이용하면 S3 버킷내에 디렉토리 별로 옵션 설정이 가능합니다.

설정 이후 cloudfront를 이용하여 S3 버컷에 올려둔 이미지 파일이 보이는지 확인해보도록 하겠습니다.


Lambda@Edge (with Cloud9)

💡 Create Lambda

[버지니아 북부 리전] – [AWS Lambda] – [함수 생성] – [새로 작성]
(Lambda@Edge는 미국 동부(버지니아 북부)(us-east-1)만 허용됩니다.)

위 그림과 동일하게 이름/버전/역할을 정해준 뒤 [함수 생성]을 클릭해줍시다.
(역할은 위 <IAM – Policy & Role>에서 생성한 역할로 선택해줍니다. )

Entity오리진 요청 및 응답 이벤트 제한최종 사용자 요청 및 응답 이벤트 제한
함수 리소스 할당Lambda 제한과 동일128MB
함수 제한 시간30초5초
헤더 및 본문을 포함하여 Lambda 함수에서 생성되는 응답의 크기1MB40KB
Lambda 함수 및 포함된 라이브러리의 최대 압축 크기50MB1MB
💡 Cloud9

[AWS Cloud9] – [Create environment]

[Next step] – [Create environment]

잠시 후 Cloud9이 생성됩니다.

좌측 AWS 마크를 누른 후 AWS:Explorer에서 Show region in the Explorer를 클릭하여
Lambda가 있는 리전을 선택해주도록 합시다.

Lambda 함수를 생성 했던 US East (N. Virginia) 버지니아 북부 리전을 선택해줍니다.

좌측 버지니아 북부 Lambda에서 생성한 ImageResize 함수를 가져옵니다

위 사진에 이어 명령어를 입력하여 npm초기화와 설치를 진행해줍니다.

cd ImageResize  (디렉토리 이동)
npm init -y
npm install sharp 
npm install aws-sdk
'use strict';

const querystring = require('querystring'); // Don't install.
const AWS = require('aws-sdk'); // Don't install.

// http://sharp.pixelplumbing.com/en/stable/api-resize/
const Sharp = require('sharp');

const S3 = new AWS.S3({
  signatureVersion: 'v4',
  region: 'ap-northeast-2'  // 버킷을 생성한 리전 입력
});

const BUCKET = '[mybucket]' // Input your bucket

// Image types that can be handled by Sharp
const supportImageTypes = ['jpg', 'jpeg', 'png', 'gif', 'webp', 'svg', 'tiff'];

exports.handler = async(event, context, callback) => {
  const { request, response } = event.Records[0].cf;
  
  // Parameters are w, h, f, q and indicate width, height, format and quality.
  const { uri } = request;
  const ObjectKey = decodeURIComponent(uri).substring(1);
  const params = querystring.parse(request.querystring);
  const { w, h, q, f } = params
  
  /**
   * ex) https://dilgv5hokpawv.cloudfront.net/dev/thumbnail.png?w=200&h=150&f=webp&q=90
   * - ObjectKey: 'dev/thumbnail.png'
   * - w: '200'
   * - h: '150'
   * - f: 'webp'
   * - q: '90'
   */
  
  // 크기 조절이 없는 경우 원본 반환.
  if (!(w || h)) {
    return callback(null, response);
  }

  
  const extension = uri.match(/\/?(.*)\.(.*)/)[2].toLowerCase();
  const width = parseInt(w, 10) || null;
  const height = parseInt(h, 10) || null;
  const quality = parseInt(q, 10) || 100; // Sharp는 이미지 포맷에 따라서 품질(quality)의 기본값이 다릅니다.
  let format = (f || extension).toLowerCase();
  let s3Object;
  let resizedImage;

  // 포맷 변환이 없는 GIF 포맷 요청은 원본 반환.
  if (extension === 'gif' && !f) {
    return callback(null, response);
  }

  // Init format.
  format = format === 'jpg' ? 'jpeg' : format;

  if (!supportImageTypes.some(type => type === extension )) {
    responseHandler(
      403,
      'Forbidden',
      'Unsupported image type', [{
        key: 'Content-Type',
        value: 'text/plain'
      }],
    );

    return callback(null, response);
  }


  // Verify For AWS CloudWatch.
  console.log(`parmas: ${JSON.stringify(params)}`); // Cannot convert object to primitive value.\
  console.log('S3 Object key:', ObjectKey)

  try {
    s3Object = await S3.getObject({
      Bucket: BUCKET,
      Key: ObjectKey
    }).promise();

    console.log('S3 Object:', s3Object);
  }
  catch (error) {
    responseHandler(
      404,
      'Not Found',
      'The image does not exist.', [{ key: 'Content-Type', value: 'text/plain' }],
    );
    return callback(null, response);
  }

  try {
    resizedImage = await Sharp(s3Object.Body)
      .resize(width, height)
      .withMetadata()
      .toFormat(format, {
        quality
      })
      .toBuffer();
  }
  catch (error) {
    responseHandler(
      500,
      'Internal Server Error',
      'Fail to resize image.', [{
        key: 'Content-Type',
        value: 'text/plain'
      }],
    );
    return callback(null, response);
  }
  
  // 응답 이미지 용량이 1MB 이상일 경우 원본 반환.
  if (Buffer.byteLength(resizedImage, 'base64') >= 1048576) {
    return callback(null, response);
  }

  responseHandler(
    200,
    'OK',
    resizedImage.toString('base64'), [{
      key: 'Content-Type',
      value: `image/${format}`
    }],
    'base64'
  );

  /**
   * @summary response 객체 수정을 위한 wrapping 함수
   */
  function responseHandler(status, statusDescription, body, contentHeader, bodyEncoding) {
    response.status = status;
    response.statusDescription = statusDescription;
    response.body = body;
    response.headers['content-type'] = contentHeader;
    if (bodyEncoding) {
      response.bodyEncoding = bodyEncoding;
    }
  }
  
  console.log('Success resizing image');

  return callback(null, response);
};

코드는 아래 github 페이지를 참고하였습니다.

마지막으로 코드를 Lambda로 업로드합니다.

💡 Lambda@Edge

[AWS Lambda] – [생성했던 함수] – [작업] – [Lambda@Edge 배포]

https://도메인/image/tom.png?w=200&h=150&f=webp&q=90

가로 200px, 세로 150px, 품질 90% 이미지 출력을 요청하였지만 변하는게 없네요…
뭔가 잘 안된 것같습니다.

이후 다시 해보고 성공하는대로 해당 포스팅을 성공 후기를 추가하여 수정할 예정입니다.


Reference

위 사이트는 Lambda Tutorial 사이트 입니다.
괜찮아보여서 추가해두었습니다.

비록 오늘 실습은 실패하였지만 이후 다시 도전했을 때 성공하기를 바랍니다.
곧 성공한 포스팅으로 변경하여 돌아오겠습니다.

긴 글 읽어주셔서 감사합니다.

AWS

[AWS] RDS Aurora – FAILOVER와 우선 순위(tier)

안녕하세요. ManVSCloud 김수현입니다.

오늘은 긴 시간 미뤄왔던 AWS AURORA의 FAILOVER에 대한 포스팅을 해보려합니다.
이 포스팅에서는 인스턴스 생성 과정 및 보안그룹 설정과 같은 간단한 작업은 생략하였습니다.

AWS 콘솔에서 [장애조치]를 하여 장애조치 과정을 1초마다 확인할 수 있도록 쉘 스크립트를 생성하여 EC2에서 장애조치에 소요되는 시간과 어떻게 변화가 이루어 지는지 확인해볼 것입니다.

그럼 DB 생성부터 시작하도록 하겠습니다.


AURORA DB 생성

버전은 Aurora (MYSQL 5.7) 2.07.2로 하였으며 DB 생성은 위와 같이 생성하였습니다.

생성하는 부분은 간단하니 추가적인 설명없이 이미지만 첨부하도록 하겠습니다.
이미지가 잘 보이지않을 경우 새 탭을 이용하여 크게 볼 수 있습니다.


EC2 생성

AURORA DB 생성 후 테스트용 EC2를 추가로 생성하였습니다.
해당 EC2로 FAILOVER가 되는 과정을 확인해보려 합니다.

EC2 생성 후 해당 EC2로 접근하여 FAILOVER를 스크립트로 확인하기 위해 date를 국내 시간으로 맞춰주고 mysql client를 설치해주었습니다.


Shell Script 생성과 FAILOVER 테스트

기본적인 준비가 완료되었다면 FAILOVER가 진행되는 과정을 볼 수 있는 스크립트를 만들어보겠습니다.

cd
vi failover.sh

#!/bin/bash

while true
do

DATE=$(date +"%Y년%m월%d일 %H시%M분%S초")
AZ2A=$(echo "show variables like '%innodb_read_only%';" | mysql -u'manvscloud' -p'PW' -h manvsaurora-instance-1.cewyawynarwh.ap-northeast-2.rds.amazonaws.com | grep read | awk '{print $2}')
AZ2C=$(echo "show variables like '%innodb_read_only%';" | mysql -u'manvscloud' -p'PW' -h manvsaurora-instance-1-ap-northeast-2c.cewyawynarwh.ap-northeast-2.rds.amazonaws.com | grep read | awk '{print $2}')

WRITE=$(echo OFF)
READ=$(echo ON)

echo "#########$DATE#########"

if [ $AZ2A == $WRITE ]; then
 echo "manvsaurora-instance-1_2A [쓰기]"

elif [ $AZ2A == $READ ]; then
 echo "manvsaurora-instance-1_2A [읽기]"

else
 echo "FAILOVER 진행중"

fi


if [ $AZ2C == $WRITE ]; then
 echo "manvsaurora-instance-1-ap-northeast-2c_2C [쓰기]"

elif [ $AZ2C == $READ ]; then
 echo "manvsaurora-instance-1-ap-northeast-2c_2C [읽기]"

else
 echo "FAILOVER 진행중"

fi


sleep 1

done

FAILOVER가 되는 과정을 쓰기와 읽기가 바뀌는 것을 이용하여 확인해볼 것입니다.
아래 사진과 같이 show variables like ‘%innodb_read_only%’; 를 이용하여 인스턴스의 읽기/쓰기 상태를 확인합니다.

만들어진 스크립트를 실행할 수 있도록 권한을 변경해주고 아래 명령어를 이용하여 FAILOVER를 진행 상태를 확인해보도록 하겠습니다.

chmod 755 failover.sh
/root/failover.sh 2> /dev/null

백그라운드로 실행하여 텍스트파일로 저장하고 싶으신 경우 위 사진처럼
/root/failover.sh 2> /dev/null > failover.txt & 를 실행하면 failover.txt 파일로 생성되며 데이터가 쌓이게됩니다.

그만 쌓이게 하려면 실행된 프로세스를 kill 하시면됩니다. 위 사진을 예로 kill -9 9402 입니다.
또는 ps 명령어를 이용하여 실행되고 있는 프로세스 PID 를 확인해보시기 바랍니다.

AWS 콘솔로 돌아가 AURORA DB 장애조치를 시작해보겠습니다.
쓰기 인스턴스에 장애조치를 실행해보겠습니다.

-. 현재 상태

ap-northeast-2a : [쓰기]
ap-northeast-2c : [읽기]

1초마다 인스턴스의 읽기/쓰기 상태가 나오고 있습니다.
[장애조치]를 실행하고 얼마지나지않아 ‘FAILOVER 진행중’ 상태로 변하게됩니다.

두 인스턴스 모두 정상으로 돌아오기까지 약 7~8초가 소요되었습니다.
또한 사진을 보시다시피 2C 가용 영역의 인스턴스가 FAILOVER가 진행되고 얼마 지나지 않아 [쓰기] 상태로 변하고 2A 가용 영역의 인스턴스가 FAILOVER 상태가 되며 [읽기] 상태로 변하게 된 것을 확인할 수 있었습니다.


우선 순위

AURORA DB가 FAILOVER 될 때 먼저 FAILOVER 되는 우선 순위가 있습니다.
장애 복구 시 가장 우선 순위의 티어를 우선적으로 장애 복구를 시작하고
2개 이상의 읽기 복제본이 같은 우선 순위일때는 이전 기본 인스턴스와 같은 용량을 우선 선택하여 장애 복구됩니다.
(동일한 크기의 인스턴스를 FAILOVER 하는 것이 장애 복구 지연 시간을 최소화 할 수 있습니다.)

또한 둘 이상의 Aurora 복제본이 동일한 우선 순위와 크기를 공유하고 있을 경우 동일한 프로모션 계층에서 임의의 복제본을 장애 복구하며, 둘 이상의 Aurora 복제본이 동일한 우선 순위를 공유하는 경우 크기가 가장 큰 복제본을 우선 장애 복구하게 됩니다.

그렇다면 장애 조치 우선 순위는 어떻게 설정하는가?

우선 순위를 변경할 인스턴스를 클릭 후 [수정]을 선택하여 아래 그림과 같이
장애 조치 우선 순위를 변경합니다.

인스턴스가 여러개일 경우 우선 순위 설정을 이용하여 우선 장애조치 순위를 설정하도록 합시다.

추가로 RDS Proxy를 이용하면 장애 조치 시간을 Aurora DB의 경우 최대 79% 일반 RDS 데이터베이스는 최대 32%까지 단축할 수 있다고 합니다.

이것 역시 테스트 해봤는데  생성은 잘 됐는데 아래와 같이 핸드쉐이크 에러가 발생하며 접속이 되지않아 포기했습니당…

ERROR 2013 (HY000): Lost connection to MySQL server at ‘handshake: reading initial communication packet’, system error: 11

프록시 엔드포인트로 붙지않네요…
이건 다음에 시간나면 추가 테스트를 진행해보아야겠습니다.

이상 AWS Aurora의 FAILOVER 와 우선 순위에 대해 알아보았습니다.

긴 글 읽어주셔서 감사합니다.

AWS

AWS Network online study 1-5주차 [1/3]

안녕하세요. ManVSCloud 김수현입니다.

2020년 1월 23일 이후 Covid-19로 인해 많은 오프라인 문화가 사라지고 온라인 문화가 자리잡고 있습니다. 1년이 지난 지금까지 Covid-19 문제를 겪고 있는 현재 온라인으로 할 수 있는 것들이 더욱 발전할 전망입니다.

오늘은 제가 요즘 가장 즐겁게 활동하고 있는 온라인 스터디가 있어 스터디 후기를 써보려합니다.

CloudNet@ 에서 주최한 AWS NETWORK ONLINE STUDY(ANOS) 2기에 지원하여 AWS의 개인 역량을 키워가고 있습니다.
우선 긴 글을 이어가기 전에 이 스터디를 준비해주시고 기회를 주신 CloudNet@ 팀과 매끄러운 스터디 운영을 위해 도움주고 계시는 ANOS 매니저님들에게 감사의 인사 올립니다.

ANOS의 교과서는 “따라하며 배우는 AWS 네트워크 입문”이라는 서적입니다.
AWS에서의 네트워크를 알차게 배울 수 있을만큼 내용이 좋으며 이론 뿐만이 아니라 실습 과정이 있어 실제로 따라해보며 AWS 네트워크를 맛볼 수 있습니다.

ANOS에서는 위 서적의 내용뿐만 아니라 심화 과정까지 배울 수 있었습니다.
1~5주차에는 AWS Global Infra, VPC, VPCE, NAT, ELB, ROUTE53, VPC Peering을 공부했습니다.
AWS를 공부한지 이제 약 1년이 되었지만 레이턴시에 대해 깊게까지 생각해본 적도 없었으며 Cloud Formation은 사용할 이유가 없었기에 지금까지 사용해본 적이 없었기에 1주차 스터디의 내용부터 매우 흥미로웠습니다.

1주차 이후 레이턴시를 빠르게 확인할 수 있을만한 방법을 알아보았으며
2가지 사이트를 찾게되었습니다.

-. https://www.cloudping.info/
사용자의 브라우저에서 AWS의 각 리전까지의 레이턴시를 확인할 수 있는 사이트입니다.

-. https://www.cloudping.co/grid
각 리전 간 레이턴시를 확인할 수 있는 사이트입니다.

스터디 중 VPC, VPC Endpoint, NAT 등 실습 과정이 있었으며 AWS를 처음 접하시는 분들의 경우 리소스 삭제를 잊어 이상 요금이 발생하는 케이스가 있었습니다.
요금이 발생하는 것을 알림 받기위해 아래와 같은 과정을 추가 포스팅합니다.

CloudWatch+SNS를 이용하여 일정 이상의 요금이 발생하면 알림을 주도록 구성하는 방법입니다. CloudWatch에서 경보를 생성하고 SNS에 등록된 구독자에게 알림을 전송하는 방식입니다.

아래 CloudWatch 등록 전 위 결제 대시보드결제 기본 설정에서 결제 알람 받기를 클릭 후 저장합니다.

[CloudWatch]로 들어가서 <경보>에서 “결제”부분을 클릭합니다. (리전 : 버지니아 북부)
(결제 지표 데이터는 버지니아 북부에 저장됩니다.)

[경보 생성]을 클릭한 후 원하시는 기간, 요금 등을 원하시는 값에 맞게 변경해줍니다.

저의 경우 30USD 즉, 30달러 이상 비용이 발생하면 알람이 발생하여 제 이메일로 30달러 이상 비용이 발생했다고 알려주도록 설정해두었습니다.
평소에 테스트를 많이 하는 편이라 월 한화 2~3만원 사이로 비용이 발생하기때문입니다…

<알림> 부분에서 새 주제 또는 기존 SNS 주제를 선택하여 해당 알람을 수신할 주제를 선택해줍니다. 참고로 수신할 이메일을 새로 등록하셨다면 등록한 메일에 접속하여 구독 확인을 해주셔야합니다. “AWS Notification – Subscription Confirmation”라는 메일이 와있을 것입니다.

Q : 이메일이 아닌 SMS 문자로 받을 수는 없나요?
A : 현재 제가 아는 지식으로 위 방법만 이용하여 서울 리전에서 SMS 문자로 받는 방법은 없는 것으로 압니다.

도쿄 등 다른 리전에서는 SMS 문자로 받으실 수 있습니다.
SNS 구독 생성 시 프로토콜 부분에 문자를 지원하는 리전에서는 SMS 가 추가되어 있습니다.

현재 서울 리전에서는 SMS 문자를 받을 수 없다보니 많은 분들이 Telegram, Slack 등을 이용하여 모바일 알람을 받는 방법을 많이 해보신 것으로 압니다.

저 역시 Telegram을 이용하여 모바일 알람을 받으려고 생각한지 꽤 많은 시간이 지났으나 할 것이 너무 많아 아직 미뤄지고 있는 부분입니다😭

이어서 ANOS 2기에서는 현업에서 일하고 있는 시스템/네트워크 엔지니어, 개발자, 보안 전문가 등이 모여 하는 스터디로 다양한 전문가분들과 교류할 수 있고 제 입장에서는 시스템 엔지니어로서 따로 시간내서 공부하지 않으면 배우지 못할 네트워크/개발/보안 부분의 지식을 더욱 얻어갈 수 있어 좋았습니다.

스터디 내용 중 어려운 부분이 있다면 역시 심화 과정 부분입니다.
저는 제 분야가 아님에도 심화 과정을 전부 참여하는 편입니다.
(물론 2월 8일 ~ 4월 2일까지는 야간 당직 기간이라 심화 과정을 못 듣게되는 날이 자주 있을 것 같습니다ㅠㅠ)
심화 과정의 내용은 상당히 깊이 있는 내용이 다루어지므로 난이도가 어렵습니다.
하지만 흥미롭고 조금 더 넓고 깊게 볼 수 있는 시야를 키우는 데에 좋은 영향을 주는 것같습니다. 심화 과정을 이해하기 위해서는 스터디가 끝나도 추가적인 학습이 필요했습니다.

오늘 5주차 ROUTE53 & VPC Peering을 마쳤습니다.

혼자서 공부한 AWS는 깊이가 있지않았고 늘 손대본 것들만 많았던 것같습니다.

1년이라는 시간동안 AWS를 공부했지만 한정적인 서비스와 기능만 사용했던 부분에 대해 반성하며 더욱 열심히 공부해야겠다는 생각이 들었습니다.

ANOS 3기는 대학생들을 대상으로 진행한다고 합니다.
많은 학생들이 이 스터디에 지원하여 도움이 되었으면 좋겠습니다.
코로나 때문에 하지못한 것이 아니라 코로나라서 무언가를 했다면 정말 보람있는 시간을 보냈을 것이라 생각됩니다.

ANOS 남은 6~11주차가 기대됩니다.

CloudNet@ 팀에 다시 한 번 감사의 인사올리며
AWS NETWORK ONLINE STUDY 1-5주차 [1/3] 포스팅을 마무리 하도록 하겠습니다.

긴 글 읽어주셔서 감사합니다.