Logo hy.boatexistence.com

Ինչպե՞ս են աշխատում քարտեզագրողները և կրճատողները:

Բովանդակություն:

Ինչպե՞ս են աշխատում քարտեզագրողները և կրճատողները:
Ինչպե՞ս են աշխատում քարտեզագրողները և կրճատողները:

Video: Ինչպե՞ս են աշխատում քարտեզագրողները և կրճատողները:

Video: Ինչպե՞ս են աշխատում քարտեզագրողները և կրճատողները:
Video: Understanding Microsoft’s Network Stack with Hyper-V 2024, Հուլիսի
Anonim

Mapper-ի կամ քարտեզի աշխատանքի արդյունքը (բանալին-արժեք զույգեր) մուտքագրվում է Reducer Կրճատիչը ստանում է բանալին-արժեք զույգը բազմաթիվ քարտեզի աշխատանքներից: Այնուհետև ռեդուկտորը միավորում է այդ միջանկյալ տվյալների բլոկները (միջանկյալ բանալի-արժեք զույգ) ավելի փոքր բազմությունների կամ բանալի-արժեք զույգերի մեջ, որը վերջնական արդյունքն է:

Ի՞նչ են անում քարտեզագրողները և կրճատողները:

Hadoop Mapper-ը ֆունկցիա կամ առաջադրանք է, որն օգտագործվում է ֆայլից բոլոր մուտքային գրառումները մշակելու և ելք ստեղծելու համար, որը գործում է որպես Reducer Այն արտադրում է ելք՝ վերադարձնելով նորը: բանալի-արժեք զույգեր. … Քարտեզագրիչը նաև ստեղծում է տվյալների մի քանի փոքր բլոկներ՝ մշակելով մուտքային գրառումները որպես բանալի-արժեք զույգ:

Ո՞րն է տարբերությունը քարտեզագրողի և ռեդուկտորի միջև:

Ո՞րն է հիմնական տարբերությունը Mapper-ի և Reducer-ի միջև: Mapper առաջադրանքը մշակման առաջին փուլն է, որը մշակում է յուրաքանչյուր մուտքային գրառում (RecordReader-ից) և ստեղծում միջանկյալ բանալի-արժեք զույգ: Կրճատման մեթոդը կանչվում է առանձին՝ յուրաքանչյուր բանալին/արժեքների ցանկի զույգի համար:

Ինչպե՞ս եք հաշվարկում քարտեզագրողների և կրճատողների թիվը:

Կախված է նրանից, թե քանի միջուկ և որքան հիշողություն ունեք յուրաքանչյուր ստրուկի վրա: Ընդհանրապես, մեկ քարտեզագրողը պետք է ստանա 1-ից 1,5 միջուկ պրոցեսոր Այսպիսով, եթե ունեք 15 միջուկ, ապա յուրաքանչյուր հանգույցում կարելի է գործարկել 10 Mappers: Այսպիսով, եթե Hadoop Cluster-ում ունեք 100 տվյալների հանգույց, ապա կլաստերում կարելի է գործարկել 1000 Mappers:

Ինչպե՞ս է աշխատում Mapper ֆունկցիան:

Mapper-ը ֆունկցիա է, որը մշակում է մուտքային տվյալները Քարտեզագրողը մշակում է տվյալները և ստեղծում տվյալների մի քանի փոքր կտորներ: Mapper ֆունկցիայի մուտքագրումը (բանալին, արժեք) զույգերի ձևով է, թեև MapReduce ծրագրի մուտքագրումը ֆայլ կամ գրացուցակ է (որը պահվում է HDFS-ում):

Խորհուրդ ենք տալիս: