[상위1% 빅데이터 ] 기업이 주목하는 Hadoop 제대로 배우기 2024
-
비환급(상시)과정이란 지원/환급금 없이 수강생 본인이 수강료를 전액 부담하는 학습유형
-
수강생이 국가지원제도 및 회사의 지원을 받지 않고 자기개발 및 스스로의 직무능력 향상을 위해서 100% 자비부담금으로 수강신청을하는 과정
-
안전보건교육 평가별 이수조건은 각 차시평가별 평가 80%, 학습진도율 20%로 하여 총 득점의 70점이 넘어야 평가이수가 가능합니다.
-
모든 차시평가가 이수가되어야 수료조건에 충족이됩니다.
-
차시별 평가의 각 평가별 응시횟수는 6회(재응시 5회)이며 재응시 3회차에는 해당 차시 진도를 재수강해야 재응시가 가능합니다.
과정 소개 |
IT 대기업, 소셜 미디어 서비스 등에서 빅데이터 분석 및 처리에 하둡(Apache Hadoop)을 앞다투어 사용하고 있습니다. 하둡은 대량의 자료를 적은 비용으로 수집 및 가공처리할 수 있도록 만들어진 자바(Java) 언어 기반의 프레임워크로, 대규모 데이터 세트를 분산 저장하고 처리해 줍니다. 기업들은 데이터 분석을 통해 새로운 시장을 개척하고 희소성있는 가치를 부여하며, 소비자들에게 필요한 정보를 적기에 제공할 수 있게 될 겁니다. 중소기업 또한 빅데이터는 꼭 다뤄야 할 필수 사항인 만큼, 빅데이터 관련 직무로 취업/이직을 꿈꾸는 분들께는 희소식이 아닐 수 없습니다. |
학습 대상 |
하둡 프로그래밍를 처음 접하시는 학습자 학습내용의 용어, 수행방법 등에 대한 기본기를 탄탄히 다지고 싶으신 학습자 이론 내용을 실무와 함께 습득하고 싶으신 학습자 |
학습 목표 |
빅데이터 용어에 대한 이해를 시작으로 HDFS, YARN 을 통한 하둡(Hadoop)의 Map Reduce 연산의 구현으로 빅 데이터를 다루는 과정을 직접 체험한다. 빅데이터 테크놀로지 (Big Data Technology) 중 데이터 수집/가공분야를 이해하게 되며, 이 과정이 결국은 빅데이터 분석가가 될 수 있다. |
교수 소개 |
배종혁 광운대학교 정보통신대학원 정보통신학과 서울과학기술대학교 전자계산학과 ㈜비트컴퓨터 비트교육센터 |
학습내용
차시 |
내용 |
1차시 |
Hadoop, HDFS 그리고 YARN |
2차시 |
Linux 설치 및 환경설정 |
3차시 |
Hadoop 설치 |
4차시 |
Hadoop 실행 및 HDFS 명령어 |
5차시 |
Map Reduce를 이용한 Word count 구현 1 |
6차시 |
Map Reduce를 이용한 Word count 구현 2 |
7차시 |
CDC COVID-19 데이터를 이용한 월별 확진자 통계 1 |
8차시 |
CDC COVID-19 데이터를 이용한 월별 확진자 통계 2 |
9차시 |
CDC COVID-19 데이터를 이용한 연령별 확진자 통계 |
10차시 |
사용자 정의 옵션 사용 1 |
11차시 |
사용자 정의 옵션 사용 2 |
12차시 |
사용자 정의 카운터 구현 1 |
13차시 |
사용자 정의 카운터 구현 2 |
14차시 |
MultipleOutputs 구현 |
15차시 |
사용자 정렬 구현 1 |
16차시 |
사용자 정렬 구현 2 |
17차시 |
HIve 소개 및 설치 |
18차시 |
HiveQL을 이용한 Map Reduce 연산 1 |
19차시 |
HiveQL을 이용한 Map Reduce 연산 2 |
20차시 |
Hive Java Client |
|
학습내용
차시 |
내용 |
1차시 |
Hadoop, HDFS 그리고 YARN |
2차시 |
Linux 설치 및 환경설정 |
3차시 |
Hadoop 설치 |
4차시 |
Hadoop 실행 및 HDFS 명령어 |
5차시 |
Map Reduce를 이용한 Word count 구현 1 |
6차시 |
Map Reduce를 이용한 Word count 구현 2 |
7차시 |
CDC COVID-19 데이터를 이용한 월별 확진자 통계 1 |
8차시 |
CDC COVID-19 데이터를 이용한 월별 확진자 통계 2 |
9차시 |
CDC COVID-19 데이터를 이용한 연령별 확진자 통계 |
10차시 |
사용자 정의 옵션 사용 1 |
11차시 |
사용자 정의 옵션 사용 2 |
12차시 |
사용자 정의 카운터 구현 1 |
13차시 |
사용자 정의 카운터 구현 2 |
14차시 |
MultipleOutputs 구현 |
15차시 |
사용자 정렬 구현 1 |
16차시 |
사용자 정렬 구현 2 |
17차시 |
HIve 소개 및 설치 |
18차시 |
HiveQL을 이용한 Map Reduce 연산 1 |
19차시 |
HiveQL을 이용한 Map Reduce 연산 2 |
20차시 |
Hive Java Client |
|
평가기준
평가항목 |
진도율 |
시험 |
과제 |
진행단계평가 |
수료기준 |
평가비율 |
- |
80% |
20% |
0% |
- |
수료조건 |
80% 이상 |
0점 이상 |
0점 이상 |
0점 이상 |
40점 이상 |
|