2021년 08월 26일 TIL

오늘은 특화프로젝트에 대비해 하둡에 대해 공부했다.

SSAFY에서 제공해주는 사전학습과 T아카데미의 하둡 강좌를 참조했는데, 사전학습의 경우에는 뭔가 크게 이해가 가는 내용은 아니었다. 맵 리듀스를 구현하는 기반 알고리즘에 대해

여러가지로 심층적인 알고리즘을 소개해주었는데, 대략적인 이해는 했지만 그것을 어떻게 활용해야할지에 대해서 의문이 가는 내용이었다.

그러나 T아카데미의 강좌는 굉장히 유익했다고 생각한다. HDFS의 기본 개념과 구조, 일반적으로 많이 사용하는 아키텍처, 그리고 각 구성요소들의 역할에 대해 자세하게 설명해준 점이 좋았다.

그렇지만 여전히 하둡에 대해 제대로 이해했냐고 물어보면, 당연히 아니다. 빅데이터라는 분야 자체가 워낙 깊이 있는 분야이고, 사실 이렇게 가볍게 공부해볼만한 주제는 결코 아니라고 생각한다.

이번 도메인을 통해 빅데이터를 경험해보았다고 하기도 민망하고, 나는 그냥 빅데이터처리를 어떤 구조로 하는지 대략적으로 개괄을 이해하고, 그 기저에 어떤 알고리즘들이 사용되는지 정도를 파악하려고 한다.

흐름을 파악하는 것은 언제나 중요한 일이고, 언젠가 이 공부가 다른 문제를 해결하는데에도 모종의 영감을 줄 수도 있다고 생각한다.