Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
Apache Airflow
Yaşarcan YılmazBig Data Engineer @ VNGRS
Akış• Neden bir akış yöneticisine ihtiyaç duyarız?
• Tarihçe
• Güncel Durum
• İç İşleyişi ve Çalışma Sistemi
• Bileşenleri
• Örnek İş Akışı
Neden bir akış yöneticisine ihtiyaç duyarız?
• Çok farklı kaynaklardan veri okuyup işliyoruz.
• Data Lake kavramı hayatımıza tam olarak girdi.
• Birden fazla işin sonucunu kullanan başka işler mevcut.
• Bazı işlerin çalıştığından ve sorunsuz bittiğinden emin olmak, aksi durumda sorunun ne olduğundan haberdar olmak isteriz.
Tarihçe
• Ekim 2014’te Airbnb’de geliştirilmeye başlandı.
• Haziran 2015’te duyuruldu.
• Mart 2016’da Apache Software Foundation Incubating Program’ına katıldı.
• Aktif geliştirme süreci devam ediyor.
Güncel Durum
• Birleştirilmiş 3348 PR (Birleştirme İsteği (?))
İç İşleyişi ve Çalışma Sistemi
• Workers
• Web UI
• Scheduler/Executor
• Webserver
• Database
Bileşenleri• DAG, Sub Dags
• Operator
• Bash Operator
• Python Operator
• Email Operator
• MySQL Operator, Sqlite Operator, Postgres Operator, OracleOperator, JDBC Operator
• Hooks
• Connection
• Branching
• SLA
• Trigger Rule
Örnek İş Akışı