데이터 관련 직무 총정리(DA, DE, DS, DBA, DA)
2024/05/21: 초안 작성
※ 내용에 오류가 있을 수 있습니다.
※ 내용을 계속 추가, 수정, 보완하고 있습니다.
목차
- 데이터 엔지니어 Data Engineer, DE
- 데이터 분석가 Data Analyst, DA or Business Analyst, BA
- 데이터 사이언티스트 Data Scientist
- 리서치 사이언티스트 Research Scientist
- 머신러닝 엔지니어 Machine Learning Engineer
- 응용 사이언티스트 Applied Engineer
데이터 엔지니어 Data Engineer, DE
- Backend Engineer로 통칭되기도 하고, 백엔드 엔지니어가 해당 직무를 담당할 수도 있음.
데이터 아키텍처 설계 및 구축: 데이터 저장, 처리, 액세스를 위한 시스템을 설계하고 구축
데이터 파이프라인 개발: 다양한 소스 데이터 수집, 변환 자동화 데이터 파이프라인 개발
데이터 저장 및 관리: DB 관리, DW(데이터 웨어하우스), 빅데이터 플랫폼 운영
성능 최적화: 데이터 처리 속도와 효율성을 높이기 위해 시스템을 최적화
데이터 지원: 데이터 과학자, 데이터 분석가, IT팀의 데이터 관련 요구사항 지원
데이터 분석가 Data Analyst, DA or Business Analyst, BA
실리콘 기반 디바이스
필요 데이터 수집 요청: 고객과 비즈니스 분석을 위해 필요한 데이터 수집 요청
데이터 처리: 수집한 데이터를 정제, 변환
데이터 분석: 통계적 방법 등을 사용하여 데이터 분석
결과 해석: 분석 결과를 이해하고, 의미 있는 인사이트 제공
보고서 작성: 분석 결과를 보고서나 대시보드 형태로 정리하여 제공
의사결정 지원: 분석을 통해 얻은 통찰력을 바탕으로 비즈니스 의사결정 지원
데이터 사이언티스트 Data Scientist
통계 쪽 베이스거나 지표로부터 현황 파악, 메시지, 인사이트 얻어내는 작업 많이 하는 것 같다. *MLE와 동일한 업무를 하기도 함. 개인적으론 큰 차이를 못 느낀다.
데이터 모델링: 통계적, 기계학습, 또는 다른 수학적 방법을 사용하여 데이터 모델링
머신러닝 알고리즘 개발
인공지능 모델 개발
데이터 기반 서비스 개발: 추천 시스템, 강화 학습 시스템 등 데이터 모델 기반 서비스 개발
리서치 사이언티스트 Research Scientist
- 페이퍼 작업할 수 있는 분들이 많이 담당. 논문 잘 쓰는 뛰어난 석사, 박사들이 꽤 있다. 박사가 대부분. 대학원의 연장선상인 느낌.
머신러닝 엔지니어 Machine Learning Engineer
- 리서치 사이언티스트들이 연구한 많은 모델들을 실무에 적용하는 업무들 + 연구, 엔지니어링하는 중간 포지션
인공지능 모델을 만들고 서비스에 적용하는 개발자(데이터 전처리-모델링-배포)
회사 by 회사. 데이터 수집, 전처리도 ML engineer가 할 수도 있다. 이미 정제된 데이터로 피처만 진행해도 될 수도 있다.
주로 하는 것이 모델링 - 파라미터 튜닝, 모델 여러 개 중 모델 선택을 주로 하지만 데이터 전처리, 배포도 다루기도 한다.
어떤 회사는 모델을 그냥 넘겨줘야 해서 서비스해주는 팀이 따로 있어서. 서버에 직접 배포, DB에 batch로 주기적으로 업데이트. 서비스에 따라 다르다.
리서치 사이언티스트를 꿈꾸다가 MLE로 전향한 케이스가 꽤 많다. MLE가 좀 더 범용적인 기술 스택인 것 같다. 엔지니어링도 있기 때문에. 성향에 따라서 뭐가 더 좋은지는 다르다. 개발 자체를 좋아하는 분들이 MLE로 많이 가는 것 같다. 전체적으로 박사보다 석사가 많으니까 리서치 하다가 MLE로 가는 케이스 꽤 많다.
응용 사이언티스트 Applied Engineer
ML 연구 + ML, 데이터 엔지니어링 둘 다 잘하는 슈퍼맨 존재
[참고자료]
[YouTube] [1편] 머신러닝 엔지니어 소개 | Machine Learning Engineer가 하는일?
https://www.youtube.com/watch?v=UlEY6pwIjbI, daychallenge, 2023년 2월 28일
[YouTube] 데이터, AI 커리어 + 최신 데이터 전과정 공부순서 완벽 가이드 (혼자서도 익힐 수 있는 데이터 분석가, 데이터 과학자도 가능한 최신 데이터 분석/과학 로드맵)
https://www.youtube.com/watch?v=vsoAyh4D-zw, 잔재미코딩(DaveLee), 2024년 1월 10일