Kinesis Firehose를 이용해서 S3에 Parquet확장자로 파일 저장하기

Kinesis Firehgose는 Stream에서 받은 데이터를 S3로 저장할려고 하면

확장자가 없는 파일로 저장되게 됩니다.

 

 

Glue를 이용한 "레코드 형식 변환"으로 파일에 확장자를 설정해주겠습니다.

Glue에서 테이블을 "parquet"형식으로 생성하고 넘어가주세요

 

 

 

Firehose를 생성하고

"구성" - "변형 및 레코드 변환" - "레코드 형식 변환"을 활성화 해줍니다.

"출력 형식"은 Apache parquet로 선택하고

리전, 데이터베이스, 테이블을 추가하고 저장해줍니다.

 

이제 KinesisStream에 데이터를 전송하면 S3에 parquert파일로 저장됩니다.