Hoe om Groot Lêers Vinnig Tussen Twee Bedieners te Verskuif met rsync oor SSH

Die rsync-opdrag oor SSH is een van die mees effektiewe Linux-metodes om groot lêers vinnig, veilig en foutbestendig tussen twee bedieners oor te dra. Veral wanneer webwerf-lêers van honderde GB, rugsteunargiewe, media-gidse of toepassingsdata verskuif word, bied rsync 'n beduidende spoedvoordeel bo tradisionele kopieermetodes omdat dit slegs die veranderde blokke oordra. Die basiese konsep is eenvoudig: lêers op die bronbediener word oor 'n SSH-tonnel na die teikenbediener gesinkroniseer met enkripsie; as die verbinding verbreek, kan die proses vanaf dieselfde plek hervat word.

By bedienersverskuiwings, gasheerverbeterings, datacentrumverskuiwings of rugsteunoperasies is nie net spoed belangrik nie, maar ook data-integriteit. Om 'n groot argief in een stuk af te laai en weer te laai, is tydrowend en kan lei tot herbegin as die verbinding daal. rsync kan lêertydsmerke, toestemmings, eienaarskap en gidsstrukture behou. Daarom verkies Linux-stelselsadministrateurs, DevOps-spanne en webhosting-spesialiste dit gereeld in hul daaglikse werk.

In hierdie gids neem ons die proses om groot lêers tussen twee Linux-bedieners met rsync oor SSH oor te dra stap-vir-stap deur, met praktiese opdragvoorbeelde. Ons bespreek ook prestasieverbeteringsparameters, sekuriteitskontroles, foutscenario’s, toetsoorplasingsmetodes en wat om in gedagte te hou voor jy na ‘n produksie-omgewing oorgaan. As jy beplan om na ‘n nuwe VPS of gasheerdienste oor te skakel, maak seker daar is genoeg skyfspasie, SSH-toegang en korrekte gebruikersregte op bron- en teikenbedieners. Vir infrastruktuurkeuses kan jy kyk na Hostragons VPS Bediening oplossings en Linux Hosting Pakkette.

Wat is rsync en waarom is dit ideaal vir groot lêeroordragte?

rsync is ‘n kragtige opdragreël-instrument wat lêers en gidse plaaslik of oor netwerke kan sinkroniseer. Die belangrikste funksie is die delta-oordragalgoritme. Hierdie algoritme stuur nie die hele lêer elke keer nie, maar slegs die veranderde dele na die ander kant. Byvoorbeeld, as ‘n rugsteunlêer van 80 GB slegs 2 GB verander het, kan net daardie dele oorgedra word in plaas van die hele lêer weer te stuur.

SSH maak die oordrag veilig deur dit te enkripteer. Dit beteken dat rsync nie lêerinhalte as platte teks oor die netwerk stuur nie. Dit is veral belangrik vir kliëntedata, e-handelbestellings, media-argiewe, databasisrugsteun en sensitiewe toepassingslêers. Veiligheid in hosting gaan nie net oor SSL-sertifikate nie; oordrag tussen bedieners moet ook veilig wees. Terwyl jy vir webverkeer SSL sertifika gebruik, moet lêeroordragte tussen bedieners met SSH enkripsie gedoen word.

rsync is ook buigsaam in vergelyking met FTP of handmatige aflaai-oplaai metodes. Dit kan toestemmings behou, simboliese skakels oordra, verwyderde lêers by die bestemming uitvee, bandwydte beperk en oordragte vooraf toets. Hierdie vlak van beheer is ‘n groot voordeel by risiko’s soos groot lêeroordragte.

Wanneer moet jy rsync oor SSH gebruik?

Rsync oor SSH is ideaal vir groot, baie of gereeld veranderende lêers. Vir eenvoudige beelde-gidse kan handmatige SFTP volstaan, maar by duisende lêers, verskillende regte en groot argiewe is rsync die betroubaarder opsie.

• As jy ‘n webwerf van ‘n ou bediener na ‘n nuwe VPS skuif.
• As jy media-gidse met duisende lêers soos WordPress uploads oordra.
• As jy daaglikse, weeklikse of maandelikse rugsteun na ‘n ander bediener kopieer.
• As jy van datacentrum of gasheerverskaffer verander.
• As jy toepassingslêers tussen produksie- en rugsteunomgewings sinkroniseer.
• As jy lang oordragte beplan waar verbinding dalk kan verbreek.

Byvoorbeeld, om ‘n 250 GB media-gids eers na jou lessenaar af te laai en dan na ‘n nuwe bediener te laai beteken twee oordragte. Dit vertraag die proses en kan jou internetverbinding onder druk plaas. Met rsync kan jy direk van bron na teikenbediener oordra en die ekstra stap uitskakel.

Wat jy voor jy begin moet weet

Ken net die opdrag is nie genoeg vir ‘n suksesvolle rsync-operasie nie. Jy moet die toestande op bron- en teikenbedieners nagaan om risiko’s van dataverlies of onvolledige oordrag te verminder. Die volgende kontroles is veral belangrik in produksie-omgewings.

1. Bevestig SSH-toegang

Jy moet van die bronbediener suksesvol met die teikenbediener kan koppel via SSH. Die standaard toets is: ssh gebruiker@teiken-bediener-ip. As SSH op ‘n ander poort loop, toets so: ssh -p 2222 gebruiker@teiken-bediener-ip. As hierdie nie werk nie, gaan rsync ook nie werk nie. Kontroleer firewall, Fail2ban, SSH-poort, gebruikersregte en wagwoord of sleutelverifikasie.

2. Maak seker rsync is geïnstalleer

Op die meeste Linux-verspreidings is rsync reeds geïnstalleer. Jy kan dit nagaan met rsync --version. As dit nie geïnstalleer is nie, kan jy dit op Debian/Ubuntu installeer met apt install rsync, en op AlmaLinux, Rocky Linux of CentOS met dnf install rsync of yum install rsync. Op Hostragons VPS is die installasie gewoonlik vinnig.

3. Bereken skyfspasie

As daar nie genoeg spasie op die teikenbediener is nie, sal die oordrag stop. Gebruik du -sh /bron/gids om die grootte van die bron te sien, en df -h om skyfspasie op die teiken na te gaan. Jy moet nie net die lêergrootte oorweeg nie, maar ook spasie vir tydelike lêers en logs. Byvoorbeeld, vir 500 GB data beplan jy vir minstens 550-600 GB beskikbare spasie.

4. Beplan vir kritieke dienste en veranderende lêers

Op lewende webwerwe kan lêers tydens oordrag verander, soos gebruikersoplaaie, kasgidse en loglêers. Dit word aanbeveel om eers die hoofdata oor te dra, dan die webwerf in onderhoudmodus te plaas en ‘n finale rsync uit te voer. Dit beperk stilstand tot net ‘n paar minute. Vir WordPress-webwerwe kan jy byvoorbeeld gebruik maak van WordPress hosting migrasie gids om jou proses te beplan.

Basiese rsync-opdrag: lêers tussen twee bedieners verskuif

Die mees gebruikte basiese opdrag lyk so: rsync -avz /bron/gids/ gebruiker@teiken-ip:/teiken/gids/. Hier is -a vir argiefmodus wat toestemmings, tydstempels en simboliese skakels behou, -v gee gedetailleerde uitset, en -z kompressie tydens oordrag toepas. Let op die skuinsstreep aan die einde van die bronpad: met dit word die inhoud van die gids oorgedra, sonder dit word die gids self geskep op die bestemming.

Stel jou wil die 180 GB webgids /var/www/site/public_html/ vanaf jou ou bediener na dieselfde pad op die nuwe bediener oordra. Die opdrag is: rsync -avz /var/www/site/public_html/ root@203.0.113.20:/var/www/site/public_html/. Dit stuur lêers oor SSH van die bron na die teiken.

As jy nie die root-gebruiker wil gebruik nie, is dit veiliger om ‘n spesifieke gebruiker met skryfregte op die teikenbediener te hê, bv. 'deploy', en om die gidsbesitlikheid dienooreenkomstig aan te pas. Alhoewel root gebruik prakties is, word dit aanbeveel om beperkte regte te gebruik vir sekuriteit.

Aanbevole veilige en betroubare rsync-parameters

Vir groot lêeroordragte is dit nie altyd genoeg om net die basiese opdrag te gebruik nie. Jy moet ekstra parameters vir verbindingsonderbrekings, gedeeltelike lêers, verkeerde verwyderings en stadiger netwerke insluit. Die volgende opdrag is ‘n stewige beginpunt vir baie werklike situasies:

rsync -aHAXv --numeric-ids --partial --progress --append-verify -e ssh /bron/gids/ gebruiker@teiken-ip:/teiken/gids/

Hierdie parameters het die volgende funksies: -a is argiefmodus, -H behou hardlinks, -A behou ACL-toestemmings, -X behou uitgebreide eienskappe, --numeric-ids gebruik numeriese gebruikers- en groep-ID’s wat help as gebruikersname verskil, --partial hou gedeeltelike lêers, --progress wys oordragstatus, en --append-verify help om by groot lêers vanaf die laaste punt voort te gaan en te verifieer.

Nie al hierdie parameters is in elke geval nodig nie. Vir ‘n basiese webwerf is -aHAX dalk genoeg, maar vir toepassings met spesifieke toestemmings is ACL en uitgebreide eienskappe belangrik. Daarom is ‘n toetsoordrag altyd ‘n goeie idee.

Hoe werk die opdrag as jy ‘n ander SSH-poort gebruik?

Vir sekuriteit werk SSH dalk op ‘n ander poort as 22. Jy moet dan die poort in die rsync-opdrag spesifiseer. ‘n Voorbeeld:

rsync -avz -e ssh -p 2222 /bron/gids/ gebruiker@teiken-ip:/teiken/gids/

Maar die -e parameter moet saam met die poort gebruik word soos volg:

rsync -avz -e 'ssh -p 2222' /bron/gids/ gebruiker@teiken-ip:/teiken/gids/

In JSON of sekere beheerpanele kan aanhalingstekens anders werk, dus maak seker jy skryf dit korrek in die terminal. As jy met ‘n SSH-sleutel koppel, kan jy ook die -i parameter byvoeg:

rsync -avz -e 'ssh -p 2222 -i /root/.ssh/id_rsa' /bron/gids/ gebruiker@teiken-ip:/teiken/gids/

Hierdie metode is ideaal vir outomatiese en cron-gebaseerde rugsteun.

Toetsoordrag met --dry-run

Een van die beste praktyke voor groot oordragte is om die --dry-run parameter te gebruik. Dit kopieer niks werklik nie, maar wys watter lêers oorgedra gaan word. Dit help om verkeerde gidse, foute in teikenpaaie of onverwags verwyderde lêers vroeg te vang.

‘n Voorbeeldtoetsopdrag:

rsync -avz --dry-run /var/www/site/ gebruiker@teiken-ip:/var/www/site/

Die uitset toon watter lêers en gidse geskep word, sowel as ‘n opsomming. As jy die --delete parameter wil gebruik, is dry-run veral belangrik, want dit kan lêers by die bestemming verwyder as hulle nie in die bron is nie. Dit maak die bestemming ‘n perfekte spieël van die bron, maar ‘n fout kan groot dataverlies veroorsaak.

‘n Professionele proses sluit gewoonlik in: eers SSH-toets, dan skyfspasie nagaan, rsync dry-run, klein gids toets, dan hoofoordrag. Alhoewel dit ‘n paar ekstra minute neem, voorkom dit ure se herstelwerk.

Prestasie: Kompressie, Bandwydte en Enkripsie

rsync se prestasie hang nie net van lêergrootte af nie. Bedieners se CPU, skyfsoort, netwerkvertraging, bandwydte en lêeraantal speel ook ‘n rol. Baie klein lêers kan stadiger wees as ‘n enkele groot lêer weens metadata-verwerking. VPS met NVMe-skywe kan die lees- en skryfspoed aansienlik verbeter. As jy baie data wil verskuif, oorweeg NVMe VPS bediener vir beter prestasie.

-z kompressie is nuttig vir tekslêers, logs en sekere rugsteunsoorte, maar minder effektief vir reeds gekomprimeerde lêers soos zip, tar.gz, jpg, mp4 of gzip. Twee kragtige bedieners met 1 Gbps kan vinniger wees sonder -z vir groot mediabestande. Maar vir stadiger verbindings en tekslêers is -z ‘n goeie keuse.

Jy kan bandwydte beperk met --bwlimit, bv. --bwlimit=50000 om ongeveer 50 MB/s te beperk. Dit help om netwerkverkeer te balanseer en nie ‘n lewende webwerf se verkeer te versmoor nie. Dit is slim om oordragte in die nag te maak, bandwydte te beperk en load average te monitor tydens die proses.

rsync teenoor scp, SFTP en FTP

Daar is verskeie lêeroordragmetodes, elk met hul eie voor- en nadele. Die volgende tabel gee ‘n oorsig van hul toepaslikheid vir groot lêers en bedienersverskuiwings.

rsync is duidelik die beste vir herhaalde sinkronisasies en groot lêers. scp is eenvoudig maar nie so slim om veranderinge te herken nie. FTP sonder enkripsie is onveilig en moet nie gebruik word vir sensitiewe data nie. Alhoewel FTP in sommige hostingpaneel toeganklik is, moet kritieke bedienersverskuiwings met SSH-gebaseerde metodes gedoen word.

Voorbeeldwerkvloei vir ‘n Lewende Webwerf Verskuiwing

Om ‘n webwerf te verskuif behels meer as net lêers kopieer. DNS, databasis, SSL, PHP-weergawes, lêertoestemmings en e-posinstellings moet ook gekontroleer word. Hier is ‘n voorbeeld van ‘n werkvloei met min stilstand vir ‘n groot webwerf:

• Installeer webbediener, PHP, databasis en nodige modules op die nuwe bediener.
• Verlaag die DNS TTL van die domein tot sowat 300 sekondes voor die verskuiwing. Vir domeinbeheer kan jy Domein navraag en domein bestuur raadpleeg.
• Begin die eerste rsync-oordrag terwyl die webwerf aanlyn is om die meeste data oor te dra.
• Maak ‘n databasisrugsteun en verskuif dit na die nuwe bediener.
• Sit die webwerf in onderhoudmodus.
• Voer ‘n tweede rsync uit om laaste veranderinge oor te dra.
• Werk die databasis op of gebruik ‘n inkrementele strategie.
• Kontroleer lêertoestemmings, webwerffunksionering en logs op die nuwe bediener.
• Installeer of hernu die SSL-sertifikaat. Vir hulp sien SSL sertifika installasie.
• Wysig DNS rekord na die nuwe IP-adres.

Hierdie proses maak die hoof oordrag terwyl die webwerf aanlyn is, en stilstand gebeur net tydens laaste sinkronisasie en DNS-oorskakeling. Vir groot WordPress-webwerwe met media-argiewe kan stilstand van ure tot enkele minute verkort word.

Hoe om data-integriteit te kontroleer

As die oordrag klaar is, beteken dit nie net die opdrag is voltooi nie. Jy moet lêertelling, groottes en belangrike lêers nagaan. Vir ‘n eenvoudige kontrole kan jy du -sh op bron en teiken uitvoer en vergelyk, alhoewel blokverskille kan klein verskille veroorsaak. Vir meer deeglike kontrole kan jy rsync weer met dieselfde parameters hardloop; as niks nuuts oorgedra word nie, is die uitset minimaal.

Vir checksum-verifikasie kan jy die volgende gebruik:

rsync -avc --dry-run /bron/gids/ gebruiker@teiken-ip:/teiken/gids/

Hier vergelyk -c lêers met tydstempel, grootte en checksum. Dit kan baie CPU en skyfhulpbronne verg, so gebruik dit versigtig. Vir belangrike argiewe, databasisdumps en kliëntdokumente bied dit ekstra sekerheid.

As jy ‘n webwerf verskuif het, maak ook seker dat die toepassing self werk: huisblad, administrasiepaneel, beeldoplaai, betaalbladsye, kontakvorms en foutlogboeke. Vir e-handelswebwerwe is dit belangrik om betalingsintegrasies en geplande take op die nuwe bediener te toets.

Algemene foute en hul oplossings

Permission denied fout

Hierdie fout kom dikwels voor as gevolg van SSH-gebruiker se regte, teikenmap se skryfregte of sleutelverifikasieprobleme. Probeer eers ‘n gewone SSH-verbinding met dieselfde gebruiker maak. As dit werk, toets of jy lêers kan skep in die teikenmap. Stel indien nodig die besitlikheid met chown of gebruik sudo om toegang te kry.

No space left on device fout

Hierdie fout dui op onvoldoende spasie op die teikenbediener. Gebruik df -h om skyfspasie te kontroleer. Soms is die hoofskyf nie vol nie, maar /tmp of die gemounte gids is. Maak ou logs, rugsteunlêers en kasgidse skoon. Vir ‘n permanente oplossing, oorweeg om skyf te vergroot of na ‘n VPS met meer kapasiteit oor te skakel.

Connection reset of Broken pipe fout

Lang duur oordragte kan verbindings verloor. As jy --partial en --append-verify gebruik, kan jy die opdrag weer begin en dit gaan voort vanaf die laaste punt. SSH keepalive-instellings kan ook help, bv. ServerAliveInterval 60 in jou SSH-konfigurasie om inaktiviteit te voorkom.

Baie stadige oordrag

Stadigheid kan deur baie lêers, skyf-I/O, kompressie-lading of netwerkbeperkings veroorsaak word. As jy baie klein lêers het, kan jy eers ‘n tar-argief maak vir vinniger oordrag, maar dan verloor jy rsync se voordeel van delta-oordrag. Vir groot, reeds gekomprimeerde lêers probeer om -z uit te skakel. Gebruik gereedskap soos iotop, htop en iftop om te bepaal waar die bottelnek lê: CPU, skyf of netwerk.

Beste praktyke vir sekuriteit

Veiligheid moet nie verwaarloos word tydens lêeroordragte tussen bedieners nie. Spesifiek moet jy oppas met root-toegang, SSH-sleutels en rugsteunlêers. Dit word aanbeveel om wagwoordlose, maar veilige SSH-sleuteltoegang te gebruik. Hou jou sleutelregte streng, moenie privaat sleutels deel nie, en gebruik waar moontlik ‘n wagwoord vir jou sleutels.

Skep ‘n tydelike gebruiker met net die nodige regte vir die oordrag. Verwyder of beperk die gebruiker se regte na die proses. Beperk SSH-toegang tot spesifieke IP-adresse om die aanvaloppervlak te verminder. Stel firewall-reëls, gebruik Fail2ban en hou jou OpenSSH-opdaterings op datum.

As jy databasisdumps, kliëntdokumente of sensitiewe argiewe oordra, maak seker om tydelike lêers op bron en teiken skoon te maak. Moenie rugsteunlêers soos .sql, .zip of .tar in jou webwortel hou nie, want dit kan ‘n groot sekuriteitsrisiko wees. Berg dit in ‘n gids sonder webtoegang of vee dit skoon na die proses voltooi is.

rsync vir outomatiese rugsteun

rsync is nie net vir eenmalige oordragte nie, maar ook ideaal vir gereelde rugsteun. Jy kan byvoorbeeld ‘n cron-taak opstel om elke nag ‘n gids na ‘n rugsteunbediener te stuur. Dit gebruik SSH-sleutels vir wagwoordlose, veilige verbinding, stuur net veranderde lêers en kan bandwydte beperk.

‘n Voorbeeldopdrag:

rsync -a --delete --bwlimit=30000 /var/www/site/ backup@rugsteun-ip:/backup/site/

Hier word die teikengids gesinkroniseer met die bron, en --delete verwyder lêers wat nie meer in die bron is nie. Wees versigtig met --delete, want dit kan lêers verwyder as dit verkeerd gebruik word. Gebruik addisionele strategieë soos snapshot-ondersteuning, daaglikse gidse of weergawebeheer vir kritieke rugsteun.

Die 3-2-1 reël vir rugsteun is ‘n goeie riglyn: hou minstens 3 kopieë van data, op 2 verskillende media, waarvan 1 op ‘n ander plek. rsync maak die kopieë tussen bedieners maklik. Vir meer omvattende infrastruktuur kan jy Rugsteun Oplossings en korporatiewe hostingdienste raadpleeg.

Laaste kontrolelys

Voordat jy begin om groot lêers te verskuif, volg hierdie kort lys om foute te verminder. Dit behoort ‘n standaard proses in produksie-omgewings te wees.

• Is rsync op bron en teiken geïnstalleer?
• Is SSH-verbinding met die regte gebruiker en poort getoets?
• Is daar genoeg skyfspasie op die teiken?
• Is die eerste dry-run toets uitgevoer?
• Is onderhoudmodus en finale sinkronisasie beplan?
• As --delete gebruik word, is die teikenpad korrek bevestig?
• Word lêergrootte, regte en toepassings na oordrag getoets?
• Word tydelike rugsteun- en dump-lêers veilig verwyder?

Hierdie kontroles lyk eenvoudig, maar in die praktyk is die meeste foute toe te skryf aan verkeerde teikenpaaie, onvoldoende regte, gebrek aan skyfspasie en onplanne DNS-oorskakeling. ‘n Goed beplande rsync-proses bespoedig nie net die oordrag nie, maar maak dit ook makliker om terug te rol indien nodig.

Vrae wat dikwels gevra word

As die verbinding tydens rsync oor SSH verbreek, begin dit weer van vooraf?

Nee, as die regte parameters gebruik word, begin dit nie weer van voor af nie. --partial en --append-verify hou gedeeltelike lêers en laat die proses voortgaan vanaf waar dit gestaak is. Dit is egter belangrik om skyfspasie en gedeeltelike lêertoestand te kontroleer voordat jy weer begin, veral by kritieke oordragte.

Kan rsync databasis direk oordra?

rsync kopieer lêers; dit is nie geskik om ‘n lewende databasis direk oor te dra nie. Gebruik eerder mysqldump of ander fisiese rugsteuninstrumente vir MySQL/MariaDB en skuif die rugsteunlêer met rsync. Vir lewende stelsels is onderhoudmodus of replikasie nodig om data-konsistensie te verseker.

Is root-toegang nodig op albei bedieners om rsync te gebruik?

Dit is nie nodig nie. ‘n Gebruiker met skryfregte op die teikenmap is genoeg. As jy eienaarskap, stelsellêers, ACLs of spesiale toestemmings wil behou, kan hoër regte nodig wees. Vir sekuriteit is dit egter beter om beperkte regte te gebruik.

Is die --delete parameter veilig om te gebruik?

--delete is baie nuttig om die teiken perfek met die bron te sinkroniseer, maar verkeerd gebruik kan lei tot dataverlies. Toets altyd met --dry-run en verifieer paden voordat jy dit in produksie gebruik.

Watter is beter vir groot lêers: rsync of scp?

Vir klein, eenmalige kopieë kan scp volstaan, maar vir groot lêers, baie lêers en herhaalde sinkronisasies is rsync gewoonlik beter. Dit herken veranderings, kan oordrag hervat, beperk bandwydte en laat toets toe.

Opsomming en volgende stappe

Die gebruik van rsync oor SSH om groot lêers tussen twee bedieners te verskuif is ‘n vinnige, veilige en beheerbare metode. Dit maak verbindingsonderbrekings hanteerbaar, verminder oordragtye deur slegs veranderde lêers oor te dra en beperk stilstand tydens webwerfverskuiwings. Maak eers seker van jou SSH- en skyfkontroles, toets met --dry-run, en beplan jou hoofoordrag met omsigtigheid.

As jy ‘n nuwe bediener wil opstel, hoë kapasiteit berging of vinniger hosting-infrastruktuur benodig, kan jy Hostragons se oplossings ondersoek. Hulle bied VPS, hosting, domein- en SSL-dienste wat jou verskuiwingsproses veiliger maak. Begin met klein toetse, meet jou resultate, en beplan jou finale sinkronisasie goed om ‘n gladde oorgang te verseker.