본문 바로가기

sean.log

검색하기
sean.log
프로필사진 sean.k

  • 분류 전체보기 (7)
    • 코딩테스트 (1)
    • 네트워크 (1)
    • 데이터베이스 (0)
    • 분산 시스템 (3)
    • Airflow (2)
Guestbook
Notice
Recent Posts
Recent Comments
Link
«   2026/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30
Tags
  • 소수
  • Rest
  • spark
  • transaction
  • 분산 시스템
  • dataframe
  • 코딩테스트
  • hdfs
  • airflow
  • gRPC
  • DataSet
  • mapreduce
  • RPC
  • lazy evaluation
  • 에라토스테네스의 체
  • hadoop
  • action
  • RDD
  • yarn
  • 네트워크
  • cap
  • API
more
Archives
Today
Total
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록mapreduce (1)

sean.log

Hadoop 이론

Hadoop이란?Hadoop: 대규모 데이터 처리를 위한 분산처리 오픈소스 프레임워크고가의 고성능 컴퓨터 1대 대신 저렴한 범용 컴퓨터 여러대를 클러스터로 구성하고, 큰 크기의 데이터를 나누어 병렬 처리함으로써 처리 속도를 높일 수 있다⇒ Hadoop의 핵심 키워드: HDFS, MapReduce, YARN 예: Hadoop을 택배 시스템으로 설명한다면?HDFS = 물류 창고 (데이터 저장소)MapReduce = 택배 포장 & 배송 작업 (데이터 처리)YARN = 물류 센터 관리자 (리소스 관리 및 배분) HDFS (Hadoop Distributed File System)HDFS: 대용량 데이터를 작게 잘라 분산 저장하는 스토리지- HDFS는 하나의 큰 파일을 작은 조각으로 나누어 저장하는데, 이 조각을..

분산 시스템 2026. 2. 4. 21:35
이전 Prev 1 Next 다음

Blog is powered by AXZ / Designed by Tistory

티스토리툴바