Kaip nustatyti aukštą Namenode prieinamumą – 5 dalis

Hadoop turi du pagrindinius komponentus: HDFS ir YARN. HDFS skirta Duomenims saugoti, YARN skirta Duomenims apdoroti. HDFS yra Hadoop paskirstyta failų sistema, joje yra Namenode kaip Master Service ir Datanode kaip Slave Service.

Namenode yra svarbiausias Hadoop komponentas, kuris saugo HDFS saugomų duomenų metaduomenis. Jei Namenode sumažės, visas klasteris nebus pasiekiamas, tai yra vienintelis gedimo taškas (SPOF). Taigi, gamybos aplinka turės Namenode High Availability, kad būtų išvengta gamybos nutraukimo, jei vienas Namenode sugestų dėl įvairių priežasčių, pvz., mašinos gedimo, planuojamos priežiūros veiklos ir pan.

Hadoop 2.x suteikia galimybę turėti du Namenode, vienas bus Active Namenode, o kitas bus Parengties režimo Namenode<.

• Active Namenode – jis valdo visas kliento operacijas.
• Parengties režimo vardų mazgas – jis yra perteklinis Active Namenode. Jei Active NN neveikia, Budėjimo NN prisiims visą atsakomybę už Active NN.

Įgalinant Namenode High Availability, reikalingas Zookeeper, kuris yra privalomas automatiniam perkėlimui. ZKFC (Zookeeper Failover Controller) yra Zookeeper klientas, naudojamas Namenode būsenai palaikyti.

Reikalavimai

• Geriausia „Hadoop“ serverio diegimo „CentOS/RHEL 7“ praktika – 1 dalis
• „Hadoop“ išankstinių sąlygų nustatymas ir saugumo stiprinimas – 2 dalis
• Kaip įdiegti ir konfigūruoti „Cloudera Manager“ „CentOS/RHEL 7“ – 3 dalis
• Kaip įdiegti CDH ir konfigūruoti paslaugų vietas CentOS/RHEL 7 – 4 dalis

Šiame straipsnyje Cloudera Manager įgalinsime Namenode High Availability.

1 veiksmas: Zookeeper įdiegimas

1. Prisijunkite prie Cloudera Manager.

http://Your-IP:7180/cmf/home

2. Veiksmų raginime Cluster (tecmint) pasirinkite Pridėti paslaugą.

3. Pasirinkite paslaugą „Zookeeper“.

4. Pasirinkite serverius, kuriuose turėsime įdiegti Zookeeper.

5. Turėsime 3 zoologijos sodo prižiūrėtojus, kad sudarytume zoologijos sodo prižiūrėtojų kvorumą. Pasirinkite serverius, kaip nurodyta toliau.

6. Sukonfigūruokite Zookeeper ypatybes, čia pateikiamos numatytosios. Realiuoju laiku turite turėti atskirus katalogus/prijungimo taškus Zookeeper duomenims saugoti. 1 dalyje paaiškinome apie kiekvienos paslaugos saugyklos konfigūraciją. Norėdami tęsti, spustelėkite tęsti.

7. Diegimas prasidės, kai bus įdiegta programa Zookeeper. Fonines operacijas galite peržiūrėti čia.

8. Sėkmingai atlikus aukščiau nurodytą veiksmą, būsena bus Baigta.

9. Dabar Zookeeper sėkmingai įdiegtas ir sukonfigūruotas. Spustelėkite Baigti.

10. Paslaugą Zookeeper galite peržiūrėti Cloudera Manager informacijos suvestinėje.

2 veiksmas: „Namenode High Availability“ įgalinimas

11. Eikite į Cloudera Manager –> HDFS –> Actions –> Enable High Availability.

12. Įveskite Vardų paslaugos pavadinimą kaip „nameservice1“ – tai bendra aktyviojo ir budėjimo režimo Namenode vardų erdvė.

13. Pasirinkite Antrojo pavadinimo mazgą, kuriame turėsime budėjimo režimą Namenode.

14. Čia mes pasirenkame master2.linux-console.net budėjimo režimui Namenode.

15. Pasirinkite mazgus Žurnalas. Tai yra privalomos paslaugos, skirtos sinchronizuoti Aktyvųjį ir budėjimo režimą Namenode.

16. Kuriame Kvorumo žurnalą, įdėdami mazgą Žurnalas į 3 serverius, kaip nurodyta toliau. Pasirinkite 3 serverius ir spustelėkite „Gerai“.

17. Norėdami tęsti, spustelėkite Tęsti.

18. Įveskite Žurnalo mazgo katalogo kelią. Tiesiog turime paminėti kelią diegiant šį katalogą automatiškai sukurs pati paslauga. Mes minime kaip „/jn“. Norėdami tęsti, spustelėkite Tęsti.

19. Bus pradėtas įgalinti Aukštas prieinamumas.

20. Atlikę visus foninius procesus, gausime būseną Baigta.

21. Galiausiai gausime pranešimą „Aukštas pasiekiamumas sėkmingai įgalintas“. Spustelėkite Baigti.

22. Patvirtinkite Aktyvų ir Parengties režimo pavadinimo mazgą apsilankę Cloudera Manager –> HDFS > –> Pavyzdžiai.

23. Čia galite naudoti du Namenodes: vienas bus aktyvus, o kitas - budėjimo režimu “ būsena.

Išvada

Šiame straipsnyje nuosekliai išnagrinėjome procesą, kad įgalintume Namenode High Availability. Labai rekomenduojama turėti Namenode High Availability visose grupėse realiojo laiko aplinkoje. Jei atlikdami šį procesą susiduriate su kokia nors klaida, išsakykite savo abejones. Kitame straipsnyje pamatysime Išteklių tvarkytuvės aukštą prieinamumą.