E gata! High Availability, politica de backup globala… shared storage, “vmotion”… totul in 30Wh intr-o stare de aproape idle. Proxmox Cluster în Sfârșit: 3 Noduri, NFS și Consumul de Curent “Eco-Friendly”

După lungi aventuri și cafele încărcate cu speranță, am reușit: am un cluster Proxmox funcțional!

Hardware-ul

“Clusterul” e compus din trei noduri, cu nume de scenă pve00, pve01 și pve02. Iată rolurile fiecăruia:

  • pve00: E ca acel coleg care nu face prea multe, dar e indispensabil. Acesta va fi nodul martor (“witness”) și va oferi storage shared pe NFS pentru câteva VM-uri.
  • pve01 și pve02: Adevărații clusterului, gazduind VM-uri și containere LXC.

Toate acestea rulează pe trei mini PC-uri Lenovo Tiny (m710q și m715q), care sunt ca niște chihuahua hiperactive: mici, dar cu o energie neașteptată. 4CPU si 32GB ram fiecare. Pare putin dar este suficient pentru laboratorare.

cluster

Consumul de energie

Cu tot clusterul „aproape idle”, consumul total de curent este de doar 28-32W. Aproape că te aștepți să vezi un LED aprins și să îți spui: „Esti sigur că merge totul? Nu e doar screensaver-ul?”.

Funcționalitate

Am testat aproape toate funcțiile basic pe care le-am folosit anterior în VMware. Rezultatul? Totul functioneaza ca uns, ca in oil overload. Nu ma asteptam sa fie asa de bine pus la punct… Singurul regret? Ceph. Ar fi fost interesant, dar sunt limitat de un număr insuficient de discuri. (Așa-i când visezi la mamaliga, dar nu ai malai.)

Migrarile de pe un host pe altul: cand VM-ul nu este pe shared storage va fi copiat disk-ul pe storage-ul vecin si memory state. 1-2 pinguri se pierd. Cand este pe shared storage se copiaza doar ram-ul… cand este protejat de HA doar mentioneaza ca migreaza prin HA si nu mai arata altceva.

HA – la fel ca Vmware, se restarteaza vm-ul pe unu din serverele care mai exista si se pune in fencing pe cel care e mort in papushoi.

Hotplug: CPU, RAM, DISK, USB… Network. Cam tot de ce ai nevoie.

Shared storage

Merge cam orice ai: NFS, CIFS, ISCSI, SCSI, FC, GlusterFS, Ceph, ZFS, etc. Am testat cu NFS si CIFS.

Storage pe NFS

Pentru storage-ul shared, am configurat un VM cu NFS pe pve00. Deși nu e cea mai rapidă soluție, și-a făcut treaba impecabil pentru nevoile noastre. VM-urile și containerele sunt mulțumite si am putut porni High Availability.

Am testat OpenMediaVault (OMV) ca soluție de storage, dar mi s-a părut lent comparativ cu așteptările. Ma asteptam sa umplu gigabitul ala dar testele erau undeva intre 78-89 MB/s, TrueNAS cu aceleasi disk-uri este constant, undeva peste 110MB/s. Se poate sa fie nevoie de tuning suplimentar pe OMV.

Tot pe NFS am configurat si Backup-urile VM-urilor mai importante, aici fiind avantajos ca avem o politica globala.

Ce urmează?

Anunț oficial „Next Episode”: TrueNAS – Virtualizare pe Proxmox? Stay tuned!

Până atunci, rămâneți curioși, caffeinați și gata de experimente. Mai avem multe de descoperit în lumea homelab-ului!

De cateva luni m-am apucat sa invat Kubernetes, Docker. Am avut nevoie de un sandbox, ceva mai sofisticat decat statia mea cu windows 11, care ar fi ajuns bine-mersi ca resurse. Ideea mea era un HomeLab setup care sa aiba un pic de redundanta, sa stea in priza 24/7, sa consume decent si sa pot sa imi ridic 10-20-30 vm-uri cu linux pe care sa incerc sa invat K8S. Sa pot sa sterg tot si sa o iau de la inceput.

proxmox

Am inceput cu un Lenovo M715q. Am pus pe el proxmox. Puteam rula VM-uri si LXC-uri iar sistemul atata vreme cat nu trageam de el era destul de silentios. Cu cateva VM-uri pornite (un ubuntu cu apache/php/mysql, un HomeAssistant os, 2 windows 2022) manca in idle cam 7W. 7W si puteai sa dormi langa el.

Cred ca postul asta este mai mult despre ProxMox… Am descoperit ca are backups, folosind politici, out of the box. Great! Puteam scrie backup-urile dupa un schedule, automat, intr-un disk de backup. Super tare, ESXi nu avea asta. ill.ro sta pe proxmox si are si backup-uri, plus homeassistant, care are si el backup-uri. Minunat!

Daca pana acum foloseai VMware ESXi pentru homelab sfatul meu este sa incerci proxmox. Folosesc vmware din 2008 si am fost certificat VCP de la versiunea 4.5 la 6.5, am ceva background pe VMware dar e clar ca Proxmox PVE este excelent, si cred ca este indeajuns de bun sa il pun si pe un mediu de productie. Are cam tot ce avea ESXi si inca niste plusuri, nici nu mai mentionez costul care este mult mai mic!

Pasii urmatori: cluster si shared storage.

Dupa toate mutarile idioate din tabara Broadcom, dupa ce au cumparat Vmware spunem Bye VMware – welcome Proxmox. Folosesc VMware cam de prin 2008. Prima oara am auzit de el de la un coleg prea entuziast, care spunea atunci ca asta este viitorul. Nu o sa mai avem datacentere pline de servere fizice, sau na, vor mai fi dar cam de 30 de ori mai eficiente dpdv al energiei electrice, al spatiului, al cooling-ului. O sa virtualizam datacentere intregi! Tu iti dai seama? Serveru e un fisier acum, il poti muta cum vrei, ii faci backup usor, exista snapshot si daca strici ceva, pac, revii la snapshot. Cam de atunci, din 2008 cam asta a fost jobul meu. Administrator de sisteme, cu vmware, cu storage, cu fiberchannel, cu virtualizare de storage, cam tot tacamul. Ce a fost in jurul lui Vmware probabil am testat si administrat. Mi-a placut foarte mult, am inteles cum functioneaza, am construit si la joburi ulterioare, in fine… super. Vmware a fost cumparat de EMC, am lucrat si cu solutii din portofoliul lor, i-a cumparat Dell, povestea a continuat, am descoperit prin 2017 Compellent, PowerProtect… iar acum dupa 17 ani de munca in zona asta imi dau seama ce dinozauristica este tehnologia pe care o cunosc si am promovat-o atata vreme cu entuziasm. Vmware a fost vandut catre Broadcom. Bye VMware – Welcome Proxmox. Aici incep sa se schimbe un pic lucrurile. Versiunea gratuita dispare, se trece la alt model de subscriptie care face Vmware sa fie mai scump, echipele de suport si toate procedurile se muta la Broadcom. Peste VMware apare “by Broadcom”. Clientii vechi deja cauta alternative sau deja se muta pe alte tehnologii, alti vendori deja au track-uri de migrare de la VMware. Foloseam VMware vsphere acasa pentru laboratoare / sandbox-uri. Imi parea asa de simplu incat nu am cautat nimic care probabil era mai ok pentru use-case-urile mele. Acum nu ca n-as fi putut sa iau “de pe torente” un esxi si sa-l folosesc in continuare, am preferat sa caut… Am vorbit cu niste colegi (mai demult) de Proxmox, ca pare misto, ca e free… pentru o companie care nu foloseste toate tool-urile vmware sau incepe sa isi faca o infrastructura, pare alegerea ideala… Nu l-am testat. Welcome Proxmox VE. VM-uri, Containere… poate! As vrea sa il pun si intr-o infrastructura mai “enterprise” cu un shared storage, sau chiar sa folosesc Ceph (in loc de vmware vsan)… si sa vad si cum e… in real life, in productie :D. Pana acum mi-a placut ca poti sa faci backup unui VM fara software aditional (este in interfata), poti sa muti masina de colo colo printre noduri, imi place UI-ul, imi place! Bye VMware – Welcome Proxmox! Acum dinozaurul s-a pus pe invatat si alte lucruri, ca nu-l mai angajeaza nimeni daca stie bine de tot vmware. Era la moda devops, acum vad ca se cauta SRE, care e urmatorul trend? Toti vor in cloud?

VMware ESXi vs Proxmox VE — comparație directă

După 17 ani cu VMware și câteva luni bune cu Proxmox în producție, pot face o comparație cinstită:

Feature VMware ESXi (gratuit) VMware vSphere (plătit) Proxmox VE
Cost Gratuit (eliminat 2024) Abonament Broadcom Gratuit / suport plătit opțional
Interfață web Limitată vSphere Client complet Completă, inclusiv pentru free
Backup integrat ❌ Nu Necesită vDP/Veeam ✅ Da, out of the box
Clustere HA ❌ Nu ✅ Da ✅ Da
Live migration ❌ Nu ✅ vMotion ✅ Da
Containere LXC ❌ Nu ❌ Nu ✅ Da
DRS automat ❌ Nu ✅ Da ❌ Nu (manual)
Ceph storage ❌ Nu ❌ Separat (vSAN) ✅ Integrat
Suport comunitate Slab post-Broadcom Enterprise cu SLA Forum activ, documentație bună
Licență Closed source Closed source Open source (AGPL)

Concluzia scurtă: dacă foloseai ESXi gratuit pentru homelab sau sandbox — Proxmox îl bate la aproape toate capitolele. Dacă foloseai vSphere Enterprise cu DRS, vRealize și NSX — migrarea e mai complexă și lipsurile se simt.

Ce îmi lipsește: DRS-ul

Singurul lucru pe care îl simt absent zilnic este DRS — Distributed Resource Scheduler. În vSphere, DRS muta automat VM-urile între noduri în funcție de încărcarea CPU și RAM, fără intervenție manuală. Proxmox nu are asta — migrarea între noduri e manuală, sau poți automatiza cu scripturi, dar nu e același lucru.

Pentru homelab nu contează prea mult — ai 3 noduri, știi tu ce rulează unde. Dar dacă ai 20+ noduri și sute de VM-uri în producție, lipsa DRS-ului e primul argument serios împotriva Proxmox la nivel enterprise.

Restul — NSX, vRealize Operations, integrările native cu storage-uri enterprise — lipsesc și ele, dar astea erau oricum tool-uri din ecosistemul vSphere plătit. Nimeni nu le folosea cu ESXi gratuit.

Cum am migrat și un an în producție

Cum am migrat: de la zero, nu conversie

Am ales să refac VM-urile de la zero pe Proxmox în loc să export/import OVA. Motivul e simplu: VM-urile din homelab nu aveau date critice care să nu existe în altă parte — ill.ro mergea din backup, Home Assistant din snapshot, restul erau sandbox-uri. Un import OVA ar fi adus și toate problemele vechi cu el.

Pe un mediu de producție real, conversia e posibilă — Proxmox acceptă import de VM-uri din format OVA cu qm importovf, sau poți folosi tool-uri precum virt-v2v pentru conversii mai complexe. Dar dacă ai ocazia să o iei de la zero, merită.

Un an de Proxmox în producție — surprinzător de bun

Sincer, mă așteptam la mai multe bătăi de cap. Un an mai târziu, Proxmox rulează ill.ro, Home Assistant, un cluster Kubernetes cu 3 noduri, ArgoCD, Uptime Kuma și vreo 15 containere LXC — totul pe 3 noduri Lenovo M710q/M715q în ~30W consum în idle.

Nu a crăpat nimic grav. Clusterul a rămas stabil, backup-urile automate și-au făcut treaba de fiecare dată, și niciodată nu m-am trezit că nu pot accesa interfața sau că un nod a ieșit din cluster fără motiv.

Singurul moment de tensiune a fost când am testat TrueNAS ca VM pentru shared storage — nu a mers cum trebuia, dar asta e o altă poveste (am scris despre ea aici).

Dacă ești sysadmin cu background VMware și eziti să treci la Proxmox — nu mai ezita. Curba de învățare e mică dacă știi deja ce e un hypervisor, documentația e bună, comunitatea e activă și costul zero. Broadcom a făcut involuntar cel mai bun marketing pentru Proxmox.

SSD kaput! Back dupa mult downtime, dar cine mai numara? Ce s-a intamplat? Ei bine aveam – cum este cazul si acum – blogul hostat acasa, pentru ca imi mai place sa am proiecte personale, cum este si cu gradinaritul… mai fumezi o tigara, mai dai drumu la aspersoare… dar mai faci si ceva pe server, iti pui ups, mai faci un laborator…

SSD kaput. Bug de firmware. Nu mai vroia sa se initializeze firmware-ul si cu asta basta! Cred ca am pierdut si cateva posturi, nu stiu cate, ca am descoperit tarziu ca site-ul e down si intamplator chiar. Noroc ca nu mai scriam mult si nu tineam asa tare la ce am scris dupa Covid.

2020-2024 am tinut hard disk-ul la naftalina, de 2-3 ori am incercat sa-l resuscitez (de hobby asa) iar recent, am dat drumu la un liliput server pentru a testa proxmox asadar am luat ultimul backup valid si s-am urcat, updatat… e voilla!

Probabil ca o sa pice iar si iar si tot nu o sa ma duc in amazon ca am contract cu hidroelectrica!