Kaip įdiegti CDH ir konfigūruoti paslaugų vietas CentOS/RHEL 7 – 4 dalis
Ankstesniame straipsnyje paaiškinome, kaip įdiegti „Cloudera Manager“, o šiame straipsnyje sužinosite, kaip įdiegti ir konfigūruoti CDH (Cloudera Distribution Hadoop) RHEL/CentOS 7.
Diegdami CDH siuntinį turime užtikrinti Cloudera Manager ir CDH suderinamumą. Cloudera versiją sudaro 3 dalys –
Pavyzdžiui, naudojame Cloudera Manager 6.3.1 ir CDH 6.3.2. Čia 6 yra pagrindinė, o 3 yra mažoji versija. Pagrindinis ir Mažasis turi būti vienodi, kad būtų išvengta suderinamumo problemų.
Reikalavimai
- Geriausia „Hadoop“ serverio diegimo „CentOS/RHEL 7“ praktika – 1 dalis
- „Hadoop“ išankstinių sąlygų nustatymas ir saugumo stiprinimas – 2 dalis
- Kaip įdiegti ir konfigūruoti „Cloudera Manager“ „CentOS/RHEL 7“ – 3 dalis
CDH diegimui paimsime toliau nurodytus 2 mazgus. Jau įdiegėme „Cloudera Manager“ master1, taip pat naudojame master1 kaip atpirkimo serverį.
master1.linux-console.net
worker1.linux-console.net
1 veiksmas: atsisiųskite CDH siuntinius iš pagrindinio serverio
1. Pirmiausia prisijunkite prie master1 serverio ir atsisiųskite CDH siuntinių failus iš /var/www/html/cloudera-repos/ cdh katalogas . Turime atsisiųsti toliau nurodytus 3 failus, kurie turėtų būti suderinami su RHEL/CentOS 7.
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Prieš atsisiųsdami šiuos failus, /var/www/html/cloudera-repos/ vietoje būtinai sukurkite cdh katalogą.
cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh
3. Tada atsisiųskite pirmiau minėtus 3 failus naudodami šią komandą wget.
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
2 veiksmas: nustatykite „Cloudera Manager Repo“ darbuotojo klientams
4. Dabar prisijunkite prie darbuotojo serverių ir nukopijuokite atpirkimo failą (cloudera-manager.repo) iš atpirkimo serverio (master1<)) visam likusiam darbuotojo serveriui. Šis atpirkimo failas užtikrina, kad visi reikalingi siuntiniai ir RPM bus atsisiųsti iš atpirkimo serverio diegiant.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Pridėję saugyklą, išvardykite įgalintas saugyklas, kad įsitikintumėte, jog įgalintas cloudera-manager repo.
yum repolist
3 veiksmas: įdiekite „Cloudera Manager“ demonus ir agentą darbuotojų serveriuose
6. Dabar visuose likusiuose serveriuose turime įdiegti cloudera-manager-daemons ir cloudera-manager-agent.
sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. Tada turite sukonfigūruoti Cloudera Manager agentą, kad praneštumėte apie Cloudera Manager serverį.
sudo vi /etc/cloudera-scm-agent/config.ini
Pakeiskite localhost į Cloudera Manager serverio IP adresą.
8. Paleiskite Cloudera Manager agentą ir patikrinkite būseną.
sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent
4 veiksmas: įdiekite ir nustatykite CDH
Turime CDH siuntinius master1 – repo serveryje. Įsitikinkite, kad visuose serveriuose yra „Cloudera Manager“ atpirkimo failas, esantis /etc/yum.repos.d/, jei vykdote automatinį diegimą naudodami Cloudera Manager.
9. Prisijunkite prie „Cloudera Manager“ naudodami toliau pateiktą URL adresu 7180 ir naudokite numatytąjį Cloudera Manager naudotojo vardą ir slaptažodį.
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Kai prisijungsite, būsite pasveikinti su pasveikinimo puslapiu. Čia galite rasti leidimo pastabas, naujas „Cloudera Manager“ funkcijas.
11. Sutikite su licencija ir tęskite.
12. Pasirinkite leidimą. Bandomoji versija pasirinkta pagal numatytuosius nustatymus, galime tęsti.
13. Dabar atlikite grupės diegimo veiksmus. Tęskite sveikinimo puslapį.
14. Pavadinkite grupę ir tęskite, pavadinome kaip „tecmint“. Galite apibrėžti 2 tipų klasterius. Tęsiame įprastą grupę.
- Įprastas klasteris: sudarys iš saugojimo mazgų, skaičiavimo mazgų ir kitų būtinų paslaugų.
- Apskaičiavimo klasteris: sudarys tik skaičiavimo mazgai. Duomenims saugoti galima naudoti išorinę saugyklą.
15. Visuose serveriuose jau įdiegėme Cloudera Manager Agents. Šiuos serverius galite rasti skiltyje Šiuo metu valdomos prieglobos. Norėdami įdiegti automatiškai, turite įvesti serverių FQDN arba IP parinktyje „New Hosts“ ir ieškoti. „Cloudera Manager“ automatiškai aptiks pagrindinius kompiuterius, kuriuose turime įdiegti CDH.
Čia spustelėkite Šiuo metu valdomos prieglobos, pasirinkite visus pagrindinius kompiuterius pasirinkdami Prieglobos serverio pavadinimas ir tęskite.
16. Pasirinkite saugyklą – rekomenduojama naudoti Siuntinį. Spustelėkite Daugiau parinkčių, kad sukonfigūruotumėte saugyklą.
17. Įveskite vietinės saugyklos URL, kaip nurodyta toliau. Pašalinkite visas likusias viešąsias saugyklas, kurios nukreipia žiniatinklį (Cloudera saugyklos).
Tai yra CDH vietinės saugyklos URL, kurį turime master1.
http://104.211.95.96/cloudera-repos/cdh/
18. Įvedus saugyklos URL, šiame puslapyje bus rodomi tik galimi siuntiniai. Tęskite šį žingsnį.
19. Dabar siuntiniai atsisiunčiami, platinami, išpakuojami ir aktyvuojami visuose galimuose serveriuose.
20. Suaktyvinę CDH siuntinius patikrinkite klasterį. Šis veiksmas atliks klasterio sveikatos patikrinimą. Čia mes praleidžiame ir tęsiame.
5 veiksmas: klasterio konfigūracija
21. Čia turime pasirinkti Paslaugas, kurios bus įdiegtos Grupėje. Kai kurie supakuoti deriniai bus pasiekiami pagal numatytuosius nustatymus, mes pasirinksime Custom Services.
22. Naudodami Custom Services diegiame tik pagrindinius komponentus (HDFS ir YARN >>) šiam demonstraciniam tikslui.
23. Priskirkite vaidmenis serveriui. Galime pritaikyti pagal mūsų reikalavimus. Raskite toliau pateiktą diagramą, kurioje aprašomas rekomenduojamas Vaidmenų pasiskirstymas pagrindiniam mažam klasteriui su 5–20 mazgų ir aukšto pasiekiamumo.
24. Pasirinkite duomenų bazės tipą, pagrindinio kompiuterio pavadinimą, DB pavadinimą, naudotojo vardą ir slaptažodį. Kadangi mes naudojame Embedded PostgreSQL, jis bus pasirinktas pagal numatytuosius nustatymus. Išbandykite ryšį, jis turėtų būti sėkmingas.
25. Šiame puslapyje bus rodomi numatytieji HDFS ir Yarn konfigūracijos parametrai, įskaitant duomenų katalogus. Peržiūrėkite visą konfigūracijos informaciją ir, jei reikia, galite atlikti pakeitimus. Tada Tęskite tai.
26. Šiame puslapyje bus rodoma komandos „Pirmas paleidimas“ informacija. Galite jį išplėsti, kad pamatytumėte išsamią informaciją apie vykdomas komandas. Jei klasteryje yra kokių nors tinklo ar leidimo problemų, šis veiksmas nepavyks. Paprastai šis žingsnis lemia sklandų klasterio pastato įrengimą.
27. Atlikę aukščiau nurodytą veiksmą, spustelėkite Baigti, kad užbaigtumėte diegimą. Tai yra „Cloudera Manager“ prietaisų skydelis įdiegus CDH.
http://104.211.95.96:7180/cmf/home
Išvada
Sėkmingai įdiegėme Cloudera Manager ir CDH. Cloudera Manager informacijos suvestinėje galite rasti iš anksto apibrėžtą diagramų rinkinį, kuriame galite stebėti grupės procesorių, disko IO ir tt Galime valdyti visą grupę naudodami šią Cloudera Manager. >. Visas administracines operacijas pamatysime būsimuose straipsniuose.