Aws
Kinesis Firehose를 이용해서 S3에 Parquet확장자로 파일 저장하기
wngnl05
2024. 12. 24. 13:34
Kinesis Firehgose는 Stream에서 받은 데이터를 S3로 저장할려고 하면
확장자가 없는 파일로 저장되게 됩니다.
Glue를 이용한 "레코드 형식 변환"으로 파일에 확장자를 설정해주겠습니다.
Glue에서 테이블을 "parquet"형식으로 생성하고 넘어가주세요
Firehose를 생성하고
"구성" - "변형 및 레코드 변환" - "레코드 형식 변환"을 활성화 해줍니다.
"출력 형식"은 Apache parquet로 선택하고
리전, 데이터베이스, 테이블을 추가하고 저장해줍니다.
이제 KinesisStream에 데이터를 전송하면 S3에 parquert파일로 저장됩니다.