2021년 10월 04일 TIL

오늘은 Kafka Topic을 Confluent hdfs3 Sink Connecter를 통해 hdfs로 빼내는 작업을 했다.

순조롭게 작업은 마쳤지만, 남은 개발 기간이 너무 짧아 하둡 데이터로부터 추출하여 가공하는 작업을 하기에는 조금 무리일듯했다. 하여 하둡은 데이터저장소로의 용도로만 활용하고,

카프카 스트림즈로 처리하는 작업으로 마무리될 것 같다. 이래저래 조금 아쉬운 프로젝트다. 카프카를 공부하는 시간은 무척이나 즐거웠지만, 누군가에게 묻기에도, 참고할만한 레퍼런스도 많지 않은 상황에서

진행하다보니 너무 우당탕탕으로 진행된 경향이 있었다.

그럼에도 LINE의 기술블로그에서 본 https://engineering.linecorp.com/ko/blog/how-to-use-kafka-in-line-1/

이 글에서 시작된 내 카프카 학습용 프로젝트는 이정도로 마무리 지어야할 듯 하다. 추후 조금 더 제대로 카프카를 다루는 프로젝트를 진행해보고 싶다!