Geriausia „Hadoop“ serverio diegimo „CentOS/RHEL 7“ praktika – 1 dalis

Šioje straipsnių serijoje apžvelgsime visą Cloudera Hadoop Cluster Building pastatą, pateikdami Pardavėjo ir Pramonės rekomenduojamą geriausią praktiką.

OS diegimas ir OS lygio atlikimas Būtinos sąlygos yra pirmieji žingsniai kuriant Hadoop klasterį. Hadoop gali veikti įvairiose Linux platformose: CentOS, RedHat, Ubuntu, Debian<, SUSE ir kt. Gaminant realiuoju laiku dauguma Hadoop klasterių yra sukurti ant RHEL/CentOS, mes Šioje mokymo priemonių serijoje demonstravimui naudos CentOS 7.

Organizacijoje OS galima įdiegti naudojant kickstart. Jei tai yra 3–4 mazgų klasteris, galimas rankinis diegimas, bet jei kuriame didelį klasterį su daugiau nei 10 mazgų, OS diegti po vieną yra nuobodu. Šiame scenarijuje į paveikslėlį patenka „Kickstart“ metodas, mes galime tęsti masinį diegimą naudodami „kickstart“.

Geras našumas naudojant Hadoop aplinką priklauso nuo tinkamos aparatinės ir programinės įrangos. Taigi, kuriant gamybinį Hadoop klasterį, reikia daug apsvarstyti aparatinę ir programinę įrangą.

Šiame straipsnyje apžvelgsime įvairius OS diegimo gaires ir kai kuriuos geriausios praktikos pavyzdžius, kaip diegti Cloudera Hadoop Cluster Server sistemoje CentOS/RHEL 7.

Svarbi pastaba ir geriausia „Hadoop“ serverio diegimo praktika

Toliau pateikiama geriausia praktika, kaip įdiegti Cloudera Hadoop Cluster Server sistemoje CentOS/RHEL 7.

  • „Hadoop“ serveriams nereikia standartinių įmonės serverių, kad būtų sukurtas klasteris, tam reikalinga pagrindinė aparatinė įranga.
  • Gamybos klasteryje rekomenduojama turėti nuo 8 iki 12 duomenų diskų. Atsižvelgdami į darbo krūvio pobūdį, turime tai nuspręsti. Jei klasteris skirtas daug skaičiavimo reikalaujančioms programoms, geriausia praktika yra turėti 4–6 diskus, kad būtų išvengta įvesties/išvesties problemų.
  • Duomenų diskai turėtų būti skaidomi atskirai, pavyzdžiui, pradedant nuo /data01 iki /data10.
  • RAID konfigūracija nerekomenduojama darbuotojų mazgams, nes pati „Hadoop“ užtikrina duomenų atsparumą gedimams, pagal numatytuosius nustatymus pakartodama blokus į 3. Taigi JBOD geriausiai tinka darbuotojų mazgams.
  • Pagrindiniams serveriams RAID 1 yra geriausia praktika.
  • Numatytoji failų sistema CentOS/RHEL 7.x yra XFS. „Hadoop“ palaiko XFS, ext3 ir ext4. Rekomenduojama failų sistema yra ext3, nes patikrinama, ar ji veikia gerai.
  • Visi serveriai turi turėti tą pačią OS versiją, bent jau tą pačią nedidelę versiją.
  • Geriausia praktika yra turėti homogeninę aparatinę įrangą (visi darbuotojų mazgai turi turėti tokias pačias techninės įrangos charakteristikas (RAM, disko vieta ir branduolys ir tt).
  • Priklausomai nuo klasterio darbo krūvio (subalansuotas darbo krūvis, intensyvus skaičiavimas, intensyvus I/O) ir dydis, skirsis išteklių (RAM, procesoriaus) planavimas vienam serveriui.

Raskite toliau pateiktą 24 TB saugyklos serverių disko skaidymo pavyzdį.

„CentOS 7“ diegimas, skirtas „Hadoop“ serverio diegimui

Ką reikia žinoti prieš diegiant CentOS 7 serverį Hadoop Server.

  • Hadoop serveriams (darbo mazgams) pakanka minimalaus diegimo, kai kuriais atvejais GUI galima įdiegti tik pagrindiniuose serveriuose arba valdymo serveriuose, kuriuose galime naudoti naršykles žiniatinklio vartotojo sąsajoms Valdymo įrankiai.
  • Konfigūruoti tinklus, pagrindinio kompiuterio pavadinimą ir kitus su OS susijusius nustatymus galima atlikti įdiegus OS.
  • Realiuoju laiku serverių pardavėjai turės savo konsolę, kad galėtų bendrauti ir valdyti serverius, pvz., „Dell“ serveriai turi iDRAC, kuris yra įrenginys, integruotas su serveriais. Naudodami tą iDRAC sąsają galime įdiegti OS su OS atvaizdu mūsų vietinėje sistemoje.

Šiame straipsnyje įdiegėme OS (CentOS 7) VMware virtualioje mašinoje. Čia neturėsime kelių diskų skaidiniams atlikti. „CentOS“ yra panaši į RHEL (ta pati funkcija), todėl pamatysime CentOS diegimo veiksmus.

1. Pradėkite atsisiųsdami CentOS 7.x ISO atvaizdą vietinėje „Windows“ sistemoje ir pasirinkite jį paleisdami virtualią mašiną. Pasirinkite Įdiegti CentOS 7, kaip parodyta.

2. Pasirinkite Kalbą, numatytoji bus anglų kalba ir spustelėkite tęsti.

3. Programinės įrangos pasirinkimas – pasirinkite „Minimalus diegimas“ ir spustelėkite „Atlikta“.

4. Nustatykite root slaptažodį, nes jis paragins mus nustatyti.

5. Įdiegimo tikslas – tai svarbus žingsnis, kurį reikia atlikti atsargiai. Turime pasirinkti diską, kuriame turi būti įdiegta OS, OS turėtų būti pasirinktas dedikuotas diskas. Spustelėkite „Įdiegimo tikslas“ ir pasirinkite diską, realiuoju laiku ten bus keli diskai, turime pasirinkti, pageidautina „sda“.

6. Kitos saugyklos parinktys – pasirinkite antrąją parinktį (konfigūruosiu skaidymą), kad sukonfigūruotumėte su OS susijusį skaidymą, pvz., /var, / var/log, /home, /tmp, /opt, /swap.

7. Baigę pradėkite diegti.

8. Baigę diegti, iš naujo paleiskite serverį.

9. Prisijunkite prie serverio ir nustatykite pagrindinio kompiuterio pavadinimą.

hostnamectl status
hostnamectl set-hostname tecmint
hostnamectl status

Santrauka

Šiame straipsnyje apžvelgėme OS diegimo veiksmus ir geriausią failų sistemos skaidymo praktiką. Visa tai yra bendrosios gairės, atsižvelgiant į darbo krūvio pobūdį, norint pasiekti geriausią klasterio našumą, gali tekti sutelkti dėmesį į daugiau niuansų. Grupės planavimas yra menas Hadoop administratoriui. Kitame straipsnyje mes išsamiai pasinersime į OS lygio išankstines sąlygas ir saugos grūdinimą.