DAGs. Airflow-ում DAG-ը կամ Ուղղորդված ացիկլիկ գրաֆիկ-ը բոլոր առաջադրանքների հավաքածուն է, որը դուք ցանկանում եք կատարել՝ կազմակերպված այնպես, որ արտացոլի նրանց հարաբերություններն ու կախվածությունները:
Ինչպե՞ս եք պատրաստում DAG-ներ Airflow-ում:
Airflow-ում DAG ստեղծելու համար դուք միշտ պետք է ներմուծեք DAG դասը DAG դասից հետո գալիս են Օպերատորների ներմուծումները: Հիմնականում յուրաքանչյուր Օպերատորի համար, որը ցանկանում եք օգտագործել, պետք է կատարեք համապատասխան ներմուծում։ Օրինակ, դուք ցանկանում եք կատարել Python ֆունկցիա, դուք պետք է ներմուծեք PythonOperator:
Որտե՞ղ է օդային հոսքը փնտրում DAG-ները:
Օդային հոսքը փնտրում է ձեր DAGS_FOLDER մոդուլները, որոնք պարունակում են DAG օբյեկտներ իրենց գլոբալ անվանատարածքում և ավելացնում այն օբյեկտները, որոնք գտնում է DagBag-ում:
Ինչպե՞ս է Airflow-ը պահում DAG-ները:
Apache Airflow Մետատվյալների Տվյալների բազա.
Մետատվյալների բազան պահպանում է կոնֆիգուրացիաները, , ինչպիսիք են փոփոխականները և կապերը Այն նաև պահպանում է օգտատերերի տեղեկությունները, դերերը և քաղաքականությունը: Վերջապես, Scheduler-ը վերլուծում է բոլոր DAG-ները և պահպանում համապատասխան մետատվյալները, ինչպիսիք են ժամանակացույցի ընդմիջումները, յուրաքանչյուր գործարկման վիճակագրությունը և դրանց առաջադրանքները:
Արդյո՞ք Airflow-ը ETL գործիք է:
Օդային հոսքը ինքնին ETL գործիք չէ: Բայց այն կառավարում, կառուցում և կազմակերպում է ETL խողովակաշարերը՝ օգտագործելով մի բան, որը կոչվում է Ուղղորդված ացիկլիկ գրաֆիկներ (DAGs): … Մետատվյալների բազան պահպանում է աշխատանքային հոսքերը/առաջադրանքները (DAG):
