본문 바로가기

sean.log

검색하기
sean.log
프로필사진 sean.k

  • 분류 전체보기 (7)
    • 코딩테스트 (1)
    • 네트워크 (1)
    • 데이터베이스 (0)
    • 분산 시스템 (3)
    • Airflow (2)
Guestbook
Notice
Recent Posts
Recent Comments
Link
«   2026/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30
Tags
  • Rest
  • mapreduce
  • transaction
  • 분산 시스템
  • yarn
  • action
  • lazy evaluation
  • 소수
  • RDD
  • airflow
  • dataframe
  • 코딩테스트
  • DataSet
  • API
  • 에라토스테네스의 체
  • cap
  • RPC
  • spark
  • hdfs
  • gRPC
  • 네트워크
  • hadoop
more
Archives
Today
Total
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록airflow (1)

sean.log

Airflow Architecture (구성 요소 및 작동 방식)

본 게시글은 Airflow 2.10.x 버전을 기준으로 작성하였습니다1. DAG (Directed Acyclic Graph)DAG는 워크플로우 또는 데이터 파이프라인을 정의하는 기본 개념으로, Task라는 기본적인 작업 단위를 연결한 집합이다.DAG는 지도와 같으며, 실제로 이 DAG를 실행하면 인스턴스가 만들어진다. 이때 특정 시점에 실행되는 DAG의 인스턴스를 DAG run이라고 한다. DAG는 여러 개의 Task로 구성되어 있는데, 이때 DAG가 실행될 때(DAG run이 생성될 때) DAG 내의 각 Task는 하나의 Task instance로 구체화되어 실행된다. 즉, Task instance는 특정 시점에 실행되는 Task의 인스턴스이다.2. ArchitectureWebserverAirflow에..

Airflow 2025. 12. 12. 20:41
이전 Prev 1 Next 다음

Blog is powered by AXZ / Designed by Tistory

티스토리툴바