SSH மூலம் rsync உபயோகித்து இரண்டு சர்வர்களுக்கிடையில் பெரிய கோப்புகளை விரைவாக மாற்றுவது

SSH மூலம் rsync ஆணை, இரண்டு சர்வர்களுக்கிடையில் பெரிய கோப்புகளை விரைவாக, பாதுகாப்பாகவும், இடைவெளி இல்லாத முறையில் மாற்றுவதற்கான மிகவும் பயனுள்ள Linux முறைகளில் ஒன்றாகும். குறிப்பாக, நூற்றுக்கணக்கான GB அளவிலான இணையதளம் கோப்புகள், காப்புப் பதிவுகள், ஊடக கோப்பகங்கள் அல்லது செயலி தரவுகள் மாற்றும்போது, rsync மாறும் பிளாக்களை மட்டும் வழங்குவதால் பாரம்பரிய நகலெடுக்கும்முறைகளால் ஏற்படும் வேகக் குறைபாடுகளை சமாளிக்கிறது. அடிப்படை பயன்படுத்தும் முறை இதுதான்: மூல சர்வரில் உள்ள கோப்புகள், SSH குழாய் வழியாக இலக்கு சர்வருக்குப் பாதுகாப்பாக ஒத்திசைக்கப்படும்; இணைப்பு துண்டிக்கப்படும்போது, செயல்முறை தற்காலிகமாக நிறுத்தப்படுகிறது.

சர்வர் மாற்றம், ஹோஸ்டிங் மேம்பாடு, தரவுகூடம் மாற்றம் அல்லது காப்பு நடவடிக்கைகளில் வேகத்திற்கும் தரவின் முழுமைக்கும் முக்கியத்துவம் உள்ளது. ஒரு பெரிய காப்பினை ஒரே துண்டாக இறக்கி, மீண்டும் ஏற்றுவதைச் செய்வதன் மூலம் நேரத்தை வீண் செய்யும் மற்றும் இணைப்பு பிழைகள் ஏற்பட்டால், செயல்முறை முதலில் இருந்து மீண்டும் தொடங்க வேண்டும். இதற்கு rsync செயல்பாடு, கோப்பு நேரம் முத்திரைகள், அனுமதிகள், உரிமையியல் தகவல்கள் மற்றும் கோப்பக அமைப்பை பாதுகாக்கிறது. எனவே, Linux அமைப்பு நிர்வாகிகள், DevOps குழுக்கள் மற்றும் இணையதளம் ஹோஸ்டிங் நிபுணர்களால் தினசரி நடவடிக்கைகளில் இதை அடிக்கடி தேர்வு செய்யப்படுகிறது.

இந்த வழிகாட்டியில், இரண்டு Linux சர்வர்களுக்கிடையில் SSH மூலம் rsync கொண்டு பெரிய கோப்புகளை மாற்றும் செயல்முறையை, உண்மையான ஆணை எடுத்துக்காட்டுகளுடன் படி படியாக விவரிக்கிறோம். மேலும், செயல்திறனை மேம்படுத்தும் மாறிகள், பாதுகாப்பு சோதனைகள், பிழை நிகழ்வுகள், சோதனை மாற்ற முறை மற்றும் உற்பத்தி சூழலில் மாற்றுவதற்கு முன் கவனிக்க வேண்டிய விவரங்களை பகிர்வோம். நீங்கள் புதிய VPS அல்லது ஹோஸ்டிங் சூழலுக்கு மாற்றம் செய்ய திட்டமிட்டிருந்தால், இந்த வழிகாட்டியை செயல்படுத்துவதற்கு முன், மூல மற்றும் இலக்கு சர்வர்களில் போதுமான திசு இடம், SSH அணுகல் மற்றும் சரியான பயனர் அனுமதிகள் உள்ளதா என்பதை உறுதிசெய்யவும். தொடர்புடைய அடிப்படைக் கட்டமைப்பு தேர்விற்கு Hostragons VPS திறக முகவர் தீர்வுகள் மற்றும் லினக்ஸ் ஹோஸ்டிங் தொகுப்புகள் பக்கம் பார்க்கலாம்.

rsync என்ன மற்றும் பெரிய கோப்புகளை மாற்றுவதில் ஏன் தேர்வு செய்யப்படுகிறது?

rsync என்பது கோப்புகள் மற்றும் அடைவுகளை உள்ளூர் அமைப்பில் அல்லது தொலைதூர சர்வர்களுக்கிடையில் ஒத்திசைக்க உதவும் சக்திவாய்ந்த கட்டளை வரிகளில் உள்ள கருவியாகும். இதன் மிகவும் முக்கியமான அம்சம் டெல்டா மாற்றக் கோட்பாடு ஆகும். இந்த கோட்பாடு, கோப்பின் முழுமையை ஒவ்வொரு முறையும் மீண்டும் அனுப்புவதற்கு பதிலாக, மாறும் பகுதிகளை மட்டுமே எதிர் பக்கம் அனுப்புகிறது. எடுத்துக்காட்டாக, 80 GB அளவிலான ஒரு காப்பு கோப்பில் 2 GB மாற்றங்கள் இருந்தால், பொருத்தமான சூழலில் முழு கோப்பை மீண்டும் மாற்றுவதற்கு பதிலாக மாறும் பிளாக்களை மாற்றுவது சாத்தியமாகும்.

SSH என்பது மாற்றத்தை பாதுகாப்பாகப் படுத்துகிறது. இதனால, rsync ஆணை, நெட்வொர்க் மூலம் தரவுகளை அனுப்பும்போது கோப்பு உள்ளடக்கத்தை சாதாரண உரையாகக் கொண்டு சென்றதாக ஆகாது. இந்த அம்சம், குறிப்பாக, கிளையண்ட் தரவுகள், மின்னணு வர்த்தகம் ஆணை பதிவுகள், ஊடக காப்புகள், தரவுத்தள காப்புகள் மற்றும் தனிப்பயன் செயலி கோப்புகள் ஆகியவற்றிற்காக முக்கியமாகும். ஹோஸ்டிங் உலகில், தரவுப் பாதுகாப்பு SSL சான்றிதழால் மட்டுமே வரையறுக்கப்படுவதல்ல; சர்வர்களுக்கிடையிலான மாற்றத்தின் நெட்வொர்க் பாதை பாதுகாப்பாக இருக்க வேண்டும். இணையதளம் போக்குவரத்திற்காக SSL சான்றிதழ் பயன்படுத்தும்போது, சர்வர்களுக்கிடையிலான கோப்பு மாற்றத்திலும் SSH மூலம் பாதுகாப்பு செய்ய வேண்டும்.

rsync, FTP அல்லது கையினால் இறக்கம்-ஏற்றுமதி முறைகளுக்கும் மாறுபட்டது. இது அனுமதிகளை பாதுகாக்கலாம், சின்ன இணைப்புகளை மாற்றலாம், நீக்கப்பட்ட கோப்புகளை இலக்கில் நீக்கலாம், பாண்ட் அகலத்தை கட்டுப்படுத்தலாம் மற்றும் மாற்றத்திற்கு முன்பு என்ன செய்ய வேண்டும் என்பதைக் கண்டு கொள்ளலாம். பெரிய கோப்புகளை மாற்றுவதற்கான அபாயகரமான செயல்களில், இந்த கட்டுப்பாட்டு நிலை முக்கியமான பலன்களை வழங்குகிறது.

எப்போது SSH மூலம் rsync ஆணையைப் பயன்படுத்த வேண்டும்?

SSH மூலம் rsync ஆணை, குறிப்பாக பெரிய, மிகுந்த எண்ணிக்கையிலான அல்லது அடிக்கடி மாறும் கோப்புகளைச் மாற்றுவதில் சிறந்ததாக உள்ளது. எளிய வடிவமைப்பிற்கான கையினால் SFTP போதுமானதாக இருக்கலாம்; ஆனால் ஆயிரக்கணக்கான கோப்புகள், மாறுபட்ட அனுமதிகள் மற்றும் பெரிய காப்புகள் தொடர்பானால், rsync மிகவும் நம்பகமான தேர்வாகும்.

• பழைய சர்வரிலிருந்து புதிய VPS சர்வருக்கு இணையதளம் மாற்றினால்.
• WordPress uploads அடைவானது போன்ற ஆயிரக்கணக்கான ஊடக கோப்புகளை உள்ளடக்கிய அடைவுகளை மாற்றினால்.
• தினசரி, வாராந்திர அல்லது மாதாந்திர காப்புகளை வேறொரு சர்வருக்கு நகலெடுத்தால்.
• தரவுக்கூடம் அல்லது ஹோஸ்டிங் வழங்குநரைக் கடைசி மாற்றினால்.
• செயலியியல் கோப்புகளை உற்பத்தி மற்றும் காப்பு சூழலுக்கிடையில் ஒத்திசைக்கிறேன்.
• இணைப்பு துண்டிக்கப்படுவதை எதிர்பார்க்கும் நீண்ட நேரத்திற்கான மாற்றங்களை திட்டமிட்டால்.

எடுத்துக்காட்டாக, 250 GB அளவிலான ஒரு ஊடக கோப்புகளை உங்கள் கணினிக்கு இறக்கி, பின்னர் புதிய சர்வருக்கு ஏற்றுவது, இரண்டு தனித்தன்மை மாற்றங்களைச் செய்வதைக் குறிக்கிறது. இது மொத்த நேரத்தை நீட்டிக்கும் மற்றும் உங்கள் வீடு அல்லது அலுவலக இணைய இணைப்பை தடுப்பாக மாற்றுகிறது. rsync மூலம் மூல சர்வரிலிருந்து இலக்கு சர்வருக்கு நேரடியாக மாற்றம் செய்து இந்த இடைமுறை அடிப்படையை நீக்கலாம்.

தொடங்குவதற்கு முன் தேவைப்படும் விஷயங்கள்

வெற்றிகரமான rsync செயல்முறைக்காக, ஆணையைப் புரிந்திருப்பது மட்டும் போதாது. மூல மற்றும் இலக்கு சர்வர் நிலைகளைச் சரிபார்க்குதல், செயல்முறையின் போது தரவுப் போக்குவரத்தையும் பாதிக்கக்கூடிய வெப்பமண்டல பூச்சிகள் அல்லது இடைநிறுத்தம் ஆகியவற்றின் அபாயத்தை குறைக்கிறது. கீழ்காணும் சரிபார்ப்புகள் உற்பத்தி சூழல்களில் கண்டிப்பாக மேற்கொள்ளப்பட வேண்டும்.

1. SSH அணுகலை உறுதிப்படுத்தவும்

மூல சர்வரிலிருந்து இலக்கு சர்வருக்கு SSH இணைப்பு உருவாக்கப்பட வேண்டும். முறையான இணைப்பை பின்வருமாறு சோதிக்கலாம்: ssh பயனர்@இலக்கு-சர்வர்-ip. SSH வேறொரு போர்டில் செயல்பட்டால், இணைப்பை பின்வரும் முறைப்படி சோதிக்கலாம்: ssh -p 2222 பயனர்@இலக்கு-சர்வர்-ip. இந்த சோதனை வெற்றியடையவில்லை என்றால் rsync செயல்படாது. பாதுகாப்பு தீவிரம், Fail2ban, SSH போர்ட், பயனர் அனுமதி மற்றும் கடவுச்சொல் அல்லது திறவுகோல் உறுதிப்படுத்தல் ஆகியவற்றைப் பரிசோதிக்க வேண்டும்.

2. rsync தொகுதி நிறுவப்பட்டதா என்பதைச் சரிபார்க்கவும்

பல Linux விநியோகங்களில் rsync நிறுவப்பட்டுள்ளது; எனினும், எப்போதும் சரிபார்க்க வேண்டும். Debian மற்றும் Ubuntu அடிப்படையிலான அமைப்புகளில் rsync --version ஆணை பயன்படுத்தலாம். நிறுவப்படவில்லையெனில், apt install rsync மூலம் நிறுவலாம். AlmaLinux, Rocky Linux அல்லது CentOS சதுக்கங்களில் dnf install rsync அல்லது yum install rsync ஆணை பயன்படுத்தலாம். Hostragons இல் Linux அடிப்படையிலான VPS ஐ பயன்படுத்தினால், நிறுவல் சாதாரணமாக சில விநாடிகள் ஆகும்.

3. திசு இடத்தை கணக்கிடவும்

இலக்கு சர்வரில் போதுமான இடம் இல்லை எனில், மாற்று பாதியில் நிறுத்தப்படும். மூல அடைவின் அளவை காண du -sh /மூல/அடைவின் அடிப்படையில் பார்க்கலாம். இலக்கில் df -h ஆணை மூலம் திசு நிலைமையை சோதிக்க வேண்டும். நடைமுறையில், கோப்பு அளவிற்கு மட்டுமல்லாமல், தற்காலிக கோப்புகள் மற்றும் பதிவு காரணிகளுக்காகவும் இடம் அளிக்க வேண்டும். எடுத்துக்காட்டாக, 500 GB தரவை மாற்றும் போது, இலக்கில் குறைந்தது 550-600 GB பயன்பாட்டிற்கு இடம் திட்டமிடுவது மிகவும் ஆரோக்கியமாக இருக்கும்.

4. முக்கிய சேவைகள் மற்றும் மாறும் கோப்புகளை திட்டமிடவும்

நடப்பு இணையதளங்களில் கோப்புகள் மாற்றத்தின் போது மாறலாம். குறிப்பாக, பயனர் பதிவேற்றங்கள், கச்சே அடைவுகள் மற்றும் பதிவு கோப்புகள் தொடர்ந்து புதுப்பிக்கப்படுகின்றன. பெரிய மாற்றங்களில் முதலில் முக்கிய தரவுகள் மாற்றப்படுகின்றன, பின்னர் பராமரிப்பு முறைமை செயல்படுத்தப்படும், இறுதியாக ஒரு rsync இயக்கப்படும். இதனால் இடைநிறுத்த நேரம் நிமிடங்களுக்கு குறைக்கப்படுகிறது. WordPress இணையதளங்களுக்கான WordPress ஹோஸ்டிங் மாற்றத்திற்கான வழிகாட்டி போன்ற ஆதரவு உள்ளடக்கங்களால் உங்கள் செயல்முறை திட்டத்தை முடிக்கலாம்.

அடிப்படை rsync ஆணை: இரண்டு சர்வர்களுக்கிடையில் கோப்புகளை மாற்றுவது

அதிகமாகப் பயன்படுத்தப்படும் அடிப்படை அமைப்பு பின்வருமாறு உள்ளது: rsync -avz /மூல/அடைவுகள்/ பயனர்@இலக்கு-ip:/இலக்கு/அடைவுகள்/. இங்கு -a அரியாதி முறை மற்றும் அனுமதிகள், நேரம் முத்திரைகள், சின்ன இணைப்புகள் போன்ற தகவல்களைப் பாதுகாக்க முயல்கிறது. -v விரிவான வெளியீட்டை வழங்குகிறது. -z என்பது மாற்றத்தின் போது சுருக்கம் பயன்படுத்துகிறது. அடைவின் முடிவில் உள்ள சுழி ஒரு முக்கிய விவரம். /மூல/அடைவுகள்/ எனில், அடையின் உள்ளடக்கம் இலக்குக்கு நகலெடுக்கப்படும்; /மூல/அடைவுகள் எனில், அடை இலக்கின் கீழ் உருவாக்கப்படும்.

எடுத்துக்காட்டாக, பழைய சர்வரில் /var/www/site/public_html/ அடைவில் உள்ள 180 GB இணையதளம் கோப்புகளை புதிய சர்வரின் /var/www/site/public_html/ அடைவுக்கு மாற்ற விரும்புகிறீர்கள். ஆணை பின்வரும் வகையில் செயல்படுகிறது: rsync -avz /var/www/site/public_html/ root@203.0.113.20:/var/www/site/public_html/. இந்த செயல்முறை மூல சர்வரிலிருந்து இலக்கு சர்வருக்கு SSH மூலம் கோப்புகளை மாற்றுகிறது.

நீங்கள் root ஐப் பயன்படுத்த விரும்பவில்லை என்றால், இலக்கு சர்வரில் தொடர்புடைய அடைவிற்கு எழுதும் அனுமதியுள்ள தனிப்பட்ட பயனரை உருவாக்குவது மிக பாதுகாப்பானது. எடுத்துக்காட்டாக, deploy என்ற பயனரைப் பயன்படுத்தலாம் மற்றும் தேவையான அடை உரிமையை இதற்கேற்ப அமைக்கலாம். உற்பத்தி சூழல்களில் நேரடியாக root உடன் செயல்படுவது நடைமுறையில் இருந்தாலும், பாதுகாப்பு அடிப்படையில் கட்டுப்பட்ட அதிகாரம் கொண்ட பயனர் தேர்வு செய்ய வேண்டும்.

பரிந்துரைக்கப்படும் பாதுகாப்பான மற்றும் நிலையான rsync மாறிகள்

பெரிய கோப்பு மாற்றங்களில், அடிப்படை ஆணையுடன் மட்டுமின்றி கூடுதல் மாறிகள் தேவைப்படும். இணைப்பு துண்டிக்கப்படும், பகுதி கோப்புகள், தவறான அழிக்கும் செயல்முறைகள் அல்லது மெதுவான நெட்வொர்க்களுக்காக கூடுதல் மாறிகள் தேவைப்படும். கீழ்காணும் ஆணை, பல உண்மையான மாற்ற நிகழ்வுகளுக்கான ஒரு வலிமையான ஆரம்ப நிலையாகும்:

rsync -aHAXv --numeric-ids --partial --progress --append-verify -e ssh /மூல/அடைவுகள்/ பயனர்@இலக்கு-ip:/இலக்கு/அடைவுகள்/

இந்த ஆணையில் -a அரியாதி முறையை, -H கடுமையான இணைப்பு தகவல்களை, -A ACL அனுமதிகளை, -X விரிவான பண்புகளைப் பாதுகாக்க உதவுகிறது. --numeric-ids பயனர் மற்றும் குழு பெயர்களை அல்ல, ID மதிப்புகளை அடிப்படையாகக் கொண்டு செயல்படுகிறது; வெவ்வேறு சர்வர்களில் பயனர் பெயர்கள் மாறும்போது இது பயனுள்ளதாக இருக்கலாம். --partial பகுதி கோப்புகளை அழிக்காமல் வைக்கிறது. --progress மாற்றத்தின் நிலையை காட்டுகிறது. --append-verify என்பது, குறிப்பாக பெரிய கோப்புகளில், மீண்டும் தொடரும் போது சேர்க்கப்பட்ட பகுதியை உறுதிப்படுத்த உதவுகிறது.

ஒவ்வொரு மாறியும் எல்லா அமைப்பிலும் தேவைப்படுமா என்பதில்லை. எடுத்துக்காட்டாக, எளிய இணையதளம் மாற்றத்தில் -aHAX பயன்பாடு போதுமானதாக இருக்கலாம்; ஆனால், தனிப்பட்ட கோப்பு அனுமதிகள் பயன்படுத்தப்படும் செயலியில் ACL மற்றும் விரிவான பண்புகளின் பாதுகாப்பு முக்கியமாக மாறும். எனவே, முதலில் சோதனை மாற்றம் செய்தல் முக்கியமாகும்.

வேறுபட்ட SSH போர்டு பயன்படுத்தினால், ஆணை எவ்வாறு இருக்க வேண்டும்?

பாதுகாப்பிற்காக, SSH போர்ட் 22 ஐவிட வேறொரு போர்டில் செயல்படலாம். இந்த சூழலில் rsync இல் SSH மாறி குறிப்பிடப்படுகிறது. எடுத்துக்காட்டாக: rsync -avz -e ssh -p 2222 /மூல/அடைவுகள்/ பயனர்@இலக்கு-ip:/இலக்கு/அடைவுகள்/. ஆனால், கட்டளை வரியில் -e மாறியின் மதிப்பு ஒருங்கிணைக்கப்பட்டிருக்க வேண்டும். சரியான பயன்பாடு எப்படிச் செயல்படுகிறது: rsync -avz -e 'ssh -p 2222' /மூல/அடைவுகள்/ பயனர்@இலக்கு-ip:/இலக்கு/அடைவுகள்/.

JSON மற்றும் சில கட்டுப்பாட்டுகளில் ஒற்றை மேற்கோள் பயன்படுத்துவது மாறுபட்ட செயல்பாடு காட்டலாம், எனவே, டெர்மினலில் நேரடியாக எழுதும்போது மேற்கோள்கள் சரியானதாக இருப்பதை உறுதிசெய்யவும். நீங்கள் SSH திறவுகோலுடன் இணைக்கிறீர்களாகில், -i மாறி சேர்க்கப்படலாம்: rsync -avz -e 'ssh -p 2222 -i /root/.ssh/id_rsa' /மூல/அடைவுகள்/ பயனர்@இலக்கு-ip:/இலக்கு/அடைவுகள்/. இந்த முறை தானியங்கி மற்றும் cron அடிப்படையிலான காப்பு வேலைகளில் அடிக்கடி பயன்படுத்தப்படுகிறது.

மாற்றத்திற்கு முன் சோதனை: --dry-run பயன்பாடு

பெரிய தரவுகளை மாற்றுவதற்கு முன்னர், செய்ய வேண்டிய மிகச் சிறந்த நடவடிக்கைகளில் ஒன்று --dry-run ஐப் பயன்படுத்துவது. இந்த மாறி கோப்புகளை உண்மையாகக் காப்பு செய்யாது; மாற்றப்படும் கோப்புகள் எவை எனக் காட்டுகிறது. இவ்வாறு, தவறான அடைவு, தவறான இலக்கு பாதை அல்லது எதிர்பாராத அழிக்கும் செயல்முறைகள் முன்னதாகவே கண்டறிய முடியும்.

எடுத்துக்காட்டாக சோதனை ஆணை: rsync -avz --dry-run /var/www/site/ பயனர்@இலக்கு-ip:/var/www/site/. உங்களுக்கு மாற்றப்படும் கோப்புகளை, உருவாக்கப்படும் அடைவுகளை மற்றும் செயல்முறை சுருக்கத்தைப் பார்க்கலாம். நீங்கள் --delete மாறியைப் பயன்படுத்தினால், dry-run மிகவும் முக்கியமாக மாறுகிறது. ஏனெனில் --delete, மூலத்தில் இல்லாத கோப்புகளை இலக்கில் அழிக்கலாம். இது சரியாகப் பயன்படுத்தப்பட்டால் இலக்கை ஒரே மாதிரியான பிரதியாக மாற்றுகிறது; தவறான அடைவில் பயன்படுத்தப்பட்டால், முக்கியமான தரவுகளை இழக்க வாய்ப்பு உள்ளது.

தொழில்முறை செயல்முறை பொதுவாக அப்படி இருக்கிறது: முதலில் SSH சோதனை செய்யப்படுகிறது, பின்னர் திசு இடம் சரிபார்க்கப்படுகிறது, பின்னர் rsync --dry-run இயக்கப்படுகிறது, சிறிய அடைவைப் பயன்படுத்தி உண்மையான சோதனை செய்யப்படுகிறது, பின்னர் பிரதான மாற்றம் தொடங்கப்படுகிறது. இந்த அணுகுமுறை சில நிமிடங்கள் கூடுதல் நேரம் தேவைப்படும், ஆனால் மணிநேரங்கள் எடுக்கும் தவறான மாற்றங்களைத் தவிர்க்கிறது.

செயல்திறனுக்கான சுருக்கம், பாண்ட் அகலத்திற்கான மற்றும் பாதுகாப்பு அமைப்புகள்

rsync செயல்திறன் கோப்பு அளவுக்கு மட்டுமே சார்ந்தது அல்ல. சர்வர்களின் CPU சக்தி, திசு வகை, நெட்வொர்க் தாமதம், பாண்ட் அகலம் மற்றும் கோப்புகளின் எண்ணிக்கை ஆகியனவும் முக்கியம். அதிகமான சிறிய கோப்புகள், ஒரு பெரிய கோப்பை விட மந்தமாக மாற்றப்படலாம்; ஏனெனில் ஒவ்வொரு கோப்பிற்கும் மெட்டாடேட்டா செயலாக்கங்கள் நடக்கின்றன. NVMe அடிப்படையிலான VPS சூழல்களில் கோப்பு தேடல் மற்றும் எழுதும் செயல்திறன் குறிப்பிடத்தக்க வகையில் சிறந்ததாக இருக்கலாம். எனவே, அதிகமாக மாற்றும் திட்டமிட்டால் NVMe VPS சேவையகம் விருப்பங்களை மதிப்பீடு செய்வது நன்மை அளிக்கும்.

-z சுருக்கம் மாறி உரை கோப்புகள், பதிவுகள் மற்றும் சில காப்பு வகைகளில் பயன்படும். ஆனால், ஏற்கெனவே சுருக்கமான zip, tar.gz, jpg, mp4 அல்லது gzip கோப்புகளில் CPU செலவாகி அதிக வெற்றி அளிக்க முடியாது. 1 Gbps இணைப்பைப் பெற்ற இரண்டு சக்திவாய்ந்த சர்வர்களுக்கிடையில் பெரிய ஊடக கோப்புகளை மாற்றும்போது -z ஐப் பயன்படுத்தாமல் சிறந்த செயல்திறனைப் பெறலாம். அதற்கு மாறாக, குறைந்த பாண்ட் அகலத்தில் மற்றும் உரை மையமுடைய கோப்புகளில் -z முக்கிய சேமிப்பை வழங்கலாம்.

பாண்ட் அகலத்தை கட்டுப்படுத்த --bwlimit பயன்படுத்தலாம். எடுத்துக்காட்டாக --bwlimit=50000 என்பது சுமார் 50 MB/s அளவிலான கட்டுப்பாட்டை வழங்குகிறது. இதுவே, நேரடி இணையதளம் போக்குவரத்தியை தடுப்பதற்காக முக்கியமாகும். உற்பத்தி சர்வரில் அதிகாலை நேரங்களில் முழு வேகத்தில் மாற்றம் செய்யும் போது, பார்வையாளர்களின் அனுபவத்தை பாதிக்க வாய்ப்பு உள்ளது. மாற்றத்தை இரவு நேரங்களில் திட்டமிடுவது, பாண்ட் அகலத்தை கட்டுப்படுத்துவது மற்றும் செயல்முறை நேரத்தில் சுமை சராசரி மதிப்புகளை கண்காணிப்பது நல்ல நடைமுறை.

rsync, scp, SFTP மற்றும் FTP ஒப்பீடு

கோப்புகளை மாற்றுவதற்கான பல முறைகள் உள்ளன; ஆனால் ஒவ்வொரு முறைக்கும் பலன்கள் மற்றும் குறைகள் மாறுபடும். கீழ்காணும் அட்டவணை, பெரிய கோப்பு மற்றும் சர்வர் மாற்ற நிகழ்வுகளில் எந்த கருவி எப்போது மிகவும் பொருத்தமாக இருக்கும் என்பதை சுருக்கமாகக் கூறுகிறது.

அட்டவணை மூலம் காணக்கூடியது போல, rsync, குறிப்பாக மீண்டும் மீண்டும் ஒத்திசைவுகளில் மற்றும் பெரிய தரவுகளை மாற்றுவதில் முன்னணியில் இருக்கிறது. scp எளிமையாகவும் பயன்பாட்டிலும் உள்ளதாக இருக்கலாம், ஆனால் மாறும் கோப்புகளை நுணுக்கமாகக் கண்டுபிடிக்கும் முறை rsync அளவுக்கு வலிமையானது அல்ல. FTP என்பது குறியாக்கம் இல்லாமல் பயன்படுத்தப்படும்போது, நவீன பாதுகாப்பு தரநிலைகளுக்கேற்றதாக இல்லை. ஹோஸ்டிங் கட்டுப்பாடுகளில் FTP அணுகல் நடைமுறையாக இருக்கலாம்; ஆனால், சர்வர்களுக்கிடையில் முக்கியமான மாற்றங்களில் SSH அடிப்படையிலான முறைகளைத் தேர்வு செய்ய வேண்டும்.

நடப்பு இணையதளத்தை மாற்றுவதற்கான எடுத்துக்காட்டு வேலை செயல்முறை

ஒரு இணையதளத்தை பழைய சர்வரிலிருந்து புதிய சர்வருக்கு மாற்றும்போது, குறிக்கோள் வெறும் கோப்புகளை நகலெடுக்க மட்டுமல்ல. DNS, தரவுத்தளம், SSL, PHP பதிப்பு, கோப்பு அனுமதிகள் மற்றும் மின்னஞ்சல் அமைப்பு ஆகியவற்றைப் பரிசோதிக்க வேண்டும். கீழ்காணும் பெரிய கோப்புள்ள இணையதளத்திற்கு குறைந்த இடைநிறுத்தத்துடன் எடுத்துக்காட்டு வேலை செயல்முறை உள்ளது.

• புதிய சர்வரில் இணைய சேவையகம், PHP, தரவுத்தளம் மற்றும் தேவையான தொகுப்புகளைத் தயாரிக்கவும்.
• அலுவலகத்தின் DNS TTL மதிப்பை மாற்றத்திற்குப் பிறகு 300 நிமிடங்கள் போன்ற குறைந்த மதிப்பிற்குள் கொண்டு வரவும். அலுவலக பெயர் மேலாண்மைக்கான அமைப்பு விசாரணை மற்றும் அமைப்பு மேலாண்மை பக்கம் பார்க்கலாம்.
• முதல் rsync மாற்றத்தை இணையதளம் செயல்பாட்டில் இருக்கும்போது தொடங்கவும். இந்த கட்டத்தில் பெரும்பாலான தரவுகள் மாற்றப்படும்.
• தரவுத்தளத்தின் காப்பை எடுத்து, புதிய சர்வருக்கு மாற்றவும்.
• இணையதளத்தை குறுகிய பராமரிப்பு முறையில் மாற்றவும்.
• இரண்டாவது rsync ஆணையை இயக்கி மாறிய இறுதிக்கோப்புகளை ஒத்திசைக்கவும்.
• தரவுத்தளத்தை மீண்டும் புதுப்பிக்கவும் அல்லது incremental உத்தியைப் பயன்படுத்தவும்.
• புதிய சர்வரில் கோப்பு அனுமதிகளை, இணையதளத்தின் திறப்பையும், பதிவுகளைச் சரிபார்க்கவும்.
• SSL சான்றிதழ் நிறுவவும் அல்லது புதுப்பிக்கவும். இதற்காக SSL சான்றிதழ் அமைப்பு உள்ளடக்கம் பயனுள்ளதாக இருக்கலாம்.
• DNS பதிவுகளை புதிய IP முகவரிக்கு மாற்றவும்.

இந்த முறையில் மிக நீண்ட நேரம் எடுத்துக்கொள்வது, முக்கியமான கோப்புகளை மாற்றுவதற்கான செயல் இணையதளம் செயல்பாட்டில் இருக்கும்போது நடைபெறும். இடைநிறுத்தம், இறுதிக் கட்டமைப்புக்கும் DNS மாற்றத்திற்குப் பிறகு மட்டுமே ஏற்படும். பெரிய ஊடகக் காப்புகளுடன் கூடிய WordPress இணையதளங்களில், இந்த அணுகுமுறை மணிநேரங்களில் நீண்ட இடைநிறுத்தத்தை சில நிமிடங்களுக்கு குறைக்க முடியும்.

தரவுப் முழுமையைச் சரிபார்க்கவும்

மாற்றம் முடிந்ததும், வெறும் கட்டளை முடிந்திருப்பது போதாது. கோப்புகள் எண்ணிக்கை, அளவுகள் மற்றும் முக்கிய கோப்புகளைச் சரிபார்க்க வேண்டும். எளிய சரிபார்ப்புக்காக மூல மற்றும் இலக்கில் du -sh கட்டளை மூலம் அடைவுகளின் அளவுகளை ஒப்பிடலாம். ஆனால், கோப்பு அமைப்பு பிளாக் மாறுபாடுகள் காரணமாக, மதிப்புகள் ஒரே மாதிரியானதாகக் காணப்படாமல் இருக்கலாம். மேலும் விரிவான சரிபார்ப்புக்காக rsync ஒரே முறைபடியே மீண்டும் செயல்படுத்தப்படலாம். மாற்றக் காத்திருக்கும் புதிய கோப்புகள் இல்லையெனில், வெளியீடு குறைந்த அளவிலாக இருக்கும்.

Checksum உறுதிப்படுத்தலுக்கு rsync -avc --dry-run /மூல/அடைவுகள்/ பயனர்@இலக்கு-ip:/இலக்கு/அடைவுகள்/ பயன்படுத்தலாம். இங்கு -c மாறி, கோப்புகளை நேரம் முத்திரை மற்றும் அளவுக்கு கூட checksum மூலம் ஒப்பீடு செய்கிறது. மிகவும் பெரிய தரவுகளில் CPU மற்றும் திசு சுமையை உருவாக்கக் கூடாது. முக்கிய காப்புகள், தரவுத்தளம் dump கோப்புகள் அல்லது வாடிக்கையாளர் ஆவணங்கள் ஆகியவற்றிற்காக இந்த கூடுதல் உறுதிப்படுத்தல் பாதுகாப்பு தருகிறது.

நீங்கள் இணையதளத்தை மாற்றினால், செயலி அடிப்படையில் சரிபார்க்கவும். முதன்மை பக்கம், நிர்வாகக் கட்டுப்பாடு, ஊடக பதிவேற்றம், கட்டணப் பக்கம், தொடர்பு வடிவம் மற்றும் பிழை பதிவுகளை பரிசோதிக்க வேண்டும். மின்னணு வர்த்தக இணையதளங்களில், கோப்புகளை மாற்றுவது போதுமானது அல்ல; கட்டணம் இணைப்புகள் மற்றும் cron பணிகள் புதிய சர்வரில் சோதிக்கப்பட வேண்டும்.

பெரிய பிழைகள் மற்றும் தீர்வுகள்

Permission denied பிழை

இந்த பிழை பொதுவாக SSH பயனர் அனுமதி, இலக்கு அடைவிற்கு எழுதும் அனுமதி அல்லது திறவுகோல் உறுதிப்படுத்தலினால் ஏற்படுகிறது. முதலில் அதே பயனருடன் சாதாரண SSH இணைப்பை உருவாக்க முயற்சிக்கவும். இணைப்பு வெற்றியடைவதானால், இலக்கு அடைவில் கோப்புகளை உருவாக்கும் சோதனையைச் செய்யுங்கள். தேவையானால் இலக்கு அடைவை chown மூலம் தொடர்புடைய பயனருக்கு வழங்கவும் அல்லது sudo அடிப்படையிலான முறையைத் திட்டமிடுங்கள்.

No space left on device பிழை

இலக்கு திசியில் போதுமான இடம் இல்லாதபோது மாற்றம் நிறுத்தப்படுகிறது. df -h மூலம் திசு பகுதிகளைச் சரிபார்க்கவும். சில சமயம், முதன்மை திசி நிரம்பியிருக்காது, ஆனால் /tmp அல்லது இலக்கு மவுண்ட் புள்ளி நிரம்பியிருக்கலாம். பெரிய மாற்றங்களில் பதிவு கோப்புகள், பழைய காப்புகள் மற்றும் கச்சே அடைவுகளை சுத்தமாக்கலாம். நிரந்தர தீர்வுக்கு, திசியை விரிவாக்கம் செய்ய அல்லது அதிக திறன் கொண்ட VPS திட்டத்திற்கு மாற வேண்டும்.

Connection reset அல்லது Broken pipe பிழை

நீண்ட நடத்தை நேரங்களில் நெட்வொர்க் துண்டிக்கப்படலாம். --partial மற்றும் --append-verify பயன்படுத்தினால், உங்கள் கட்டளையை மீண்டும் இயக்கி நீங்கள் இருந்த இடத்திலிருந்து தொடரலாம். மேலும், SSH keepalive அமைப்புகள் உதவியாக இருக்கலாம். கிளையண்ட் பக்கம் ServerAliveInterval 60 போன்ற அமைப்பு, இணைப்பை காலியாகவும் துண்டிக்கப்படுவதை குறைக்கலாம்.

மிகவும் மெதுவான மாற்றம்

மெதுவானது கோப்புகளின் எண்ணிக்கையால், திசு I/O வரம்பால், சுருக்கத்தின் சுமையால் அல்லது நெட்வொர்க் திறனால் ஏற்படலாம். அதிகமான சிறிய கோப்புகள் இருந்தால், முதலில் tar ஆவணத்தை உருவாக்குவது சில சந்தர்ப்பங்களில் வேகமானதாக இருக்கலாம்; ஆனால், இந்த சூழலில் rsync இன் கோப்பு அடிப்படையிலான மாறுபாடு குறைக்கப்படுகிறது. பெரிய மற்றும் ஏற்கெனவே சுருக்கமான கோப்புகளில் -z மாறியை அகற்றிவைத்து சோதனை செய்யுங்கள். மேலும், iotop, htop மற்றும் iftop போன்ற கருவிகளைப் பயன்படுத்தி தடுப்புகள் CPU, திசு அல்லது நெட்வொர்க் பக்கம் உள்ளதா என்பதைத் தீர்மானிக்கவும்.

பாதுகாப்புக்கான சிறந்த நடைமுறைகள்

சர்வர்களுக்கிடையிலான கோப்பு மாற்றத்தின் போது பாதுகாப்பு புறக்கணிக்கப்படக்கூடாது. குறிப்பாக root அணுகல், SSH திறவுகோல்கள் மற்றும் காப்பு கோப்புகள் மிகவும் முக்கியமாகக் கருதப்பட வேண்டும். முதலில், கடவுச்சொல்லான உள்நுழைவின் பதிலாக SSH திறவுகோலைப் பயன்படுத்துவது பரிந்துரைக்கப்படுகிறது. திறவுகோல் கோப்புகளின் அனுமதிகளை உறுதியாக வைத்திருக்கவேண்டும், தனிப்பட்ட திறவுகோல்கள் பகிரப்படக்கூடாது மற்றும் சாத்தியமானால் கடவுச்சொல்லுடன் பாதுகாக்கப்பட வேண்டும்.

மாற்றத்திற்காக தற்காலிக பயனரை உருவாக்கி, தேவையான அடைவுகளுக்கான அணுகலை வழங்குவது நல்ல முறையாகும். செயல்முறை முடிந்ததும், அந்த பயனரின் அதிகாரங்களை விலக்கலாம் அல்லது கணக்கை செயலிழக்கச் செய்யலாம். SSH அணுகலை குறிப்பிட்ட IP முகவரிகளுடன் கட்டுப்படுத்துவது, தாக்குதல் அடர்த்தியை குறைக்கிறது. பாதுகாப்பு தீவிரம் விதிகள், Fail2ban மற்றும் தற்போதைய OpenSSH பதிப்பு அடிப்படையான சோதனைகளில் உள்ளன.

தரவுத்தளம் dump கோப்புகள், வாடிக்கையாளர் ஆவணங்கள் அல்லது தனிப்பட்ட தரவை உள்ளடக்கிய காப்புகளை மாற்றும்போது, மாற்றத்திற்குப் பிறகு மூல மற்றும் இலக்கில் தேவையற்ற தற்காலிக கோப்புகளை அழிக்க வேண்டும். மேலும், இணைய முதன்மை அடைவில் .sql, .zip அல்லது .tar போன்ற காப்பு கோப்புகளைவிட விடுவதால், முக்கிய பாதுகாப்பு ஆபத்து உருவாகும். இந்த கோப்புகள், வாயிலை மூடுவதற்கான அடைவில் பாதுகாக்கப்பட வேண்டும் அல்லது செயல்முறை முடிந்ததும் அழிக்கப்பட வேண்டும்.

தானியங்கி காப்புக்கான rsync பயன்பாடு

rsync என்பது ஒருமுறை மட்டுமே மாற்றத்திற்காக அல்ல; முறைமையாக காப்பு செய்வதற்காகவும் பயன்படுத்தலாம். எடுத்துக்காட்டாக, ஒவ்வொரு இரவும் குறிப்பிட்ட அடைவுகளை காப்பு சர்வருக்கு அனுப்புவதற்கு cron வேலை அமைக்கலாம். இந்த சூழலில், SSH திறவுகோலுடன் கடவுச்சொல்லில்லாமல் ஆனால் பாதுகாப்பான இணைப்பு ஏற்படுகிறது, rsync மாறும் கோப்புகளை மட்டுமே மாற்றுகிறது மற்றும் பாண்ட் அகலத்தை கட்டுப்படுத்தலாம்.

எடுத்துக்காட்டு நடைமுறை: rsync -a --delete --bwlimit=30000 /var/www/site/ backup@backup-ip:/backup/site/. இந்த ஆணை இலக்கு அடைவினை மூலத்துடன் இணைக்கக்கூடியது. ஆனால் --delete மாறியின் காரணமாக, மிகக் கவனமாகப் பயன்படுத்த வேண்டும். தவறாக மூலத்தில் அழிக்கப்பட்ட கோப்பு இலக்கில் அழிக்கப்படும். எனவே, முக்கியமான காப்பு உத்திகளில், snapshot, தினசரி அடைவுகள் அல்லது பதிப்பு ஆதரவு கொண்ட தீர்வுகளைப் பயன்படுத்துவது நல்லது.

ஹோஸ்டிங் நடவடிக்கைகளில் 3-2-1 காப்பு விதி நல்ல அடிப்படையாகும்: தரவின் குறைந்தது 3 நகல்கள், 2 வெவ்வேறு சூழல்களில், 1 நகலின் வெவ்வேறு இடத்தில் வைத்திருக்க வேண்டும். rsync, இந்த உத்தியின் சர்வர்களுக்கிடையில் காப்பு பகுதியை நடைமுறைமாக்குகிறது. மேலும் விரிவான அடிப்படைக் கட்டமைப்புக்காக காப்பீடு தீர்வுகள் மற்றும் கொரும்சல் ஹோஸ்டிங் சேவைகள் உள்ளடக்கங்களுடன் உங்கள் திட்டத்தை வலுப்படுத்தலாம்.

இறுதி சரிபார்ப்பு பட்டியல்

பெரிய கோப்பு மாற்ற செயல்முறையைத் தொடங்குவதற்கு முன், கீழ்காணும் குறுகிய பட்டியலைப் பின்பற்றுவது பிழை ஆபத்தை குறைக்கிறது. இந்த பட்டியல் குறிப்பாக உற்பத்தி சூழல்களில் தரநிலையாக அமைய வேண்டும்.

• மூல மற்றும் இலக்கு சர்வரில் rsync நிறுவப்பட்டதா?
• SSH இணைப்பு சரியான பயனர் மற்றும் போர்டுடன் சோதிக்கப்பட்டதா?
• இலக்கு சர்வரில் போதுமான திசு இடமுண்டா?
• முதல் செயல்முறை --dry-run மூலம் சரிபார்க்கப்பட்டதா?
• செயல்பாட்டில் உள்ள இணையதளம் பராமரிப்பு முறையில் இருக்கிறதா மற்றும் இறுதி ஒத்திசைவின் திட்டமிடப்பட்டதா?
• --delete பயன்படுத்தப்படுவதாக இருந்தால், இலக்கு பாதை உறுதியாகச் சரிபார்க்கப்பட்டதா?
• மாற்றத்திற்கு பிறகு கோப்பு அளவுகள், அனுமதிகள் மற்றும் செயலிகள் சோதிக்கப்படுமா?
• தற்காலிக காப்பு மற்றும் dump கோப்புகள் பாதுகாப்பாக அழிக்கப்படுமா?

இந்த சரிபார்ப்புகள் எளிமையாகக் காணப்படலாம், ஆனால் உண்மையில் மிகவும் பரவலாக கையாளப்படும் பிரச்சினைகள் பொதுவாக தவறான இலக்கு அடைவுகள், குறைவான அனுமதிகள், போதுமான திசு இடம் மற்றும் திட்டமிடாத DNS மாற்றத்தால் ஏற்படுகின்றன. திட்டமிடப்பட்ட rsync செயல்முறை, மாற்றத்தின் நேரத்தை குறைக்கவும், மீண்டும் திரும்பும் வாய்ப்புகளை அதிகரிக்கவும் உதவுகிறது.

அடிக்கடி கேட்கப்படும் கேள்விகள்

SSH மூலம் rsync ஆணை இணைப்பு துண்டிக்கப்படுமா?

இல்லை, சரியான மாறிகள் பயன்படுத்தினால், அது மீண்டும் தொடங்காது. --partial மற்றும் --append-verify விருப்பங்கள், நிலையான பெரிய கோப்புகளைச் பாதுகாக்கவும், கட்டளை மீண்டும் இயக்கப்படும் போது, மாற்றம் இருந்த இடத்திலிருந்து தொடரவும் உதவுகிறது. இருப்பினும், முக்கியமான மாற்றங்களில், கட்டளையை மீண்டும் இயக்குவதற்கு முன் இலக்கு திசு இடத்தை மற்றும் பகுதி கோப்புகளின் நிலையைச் சரிபார்க்கவேண்டும்.

rsync மூலம் தரவுத்தளம் நேரடியாக மாற்றப்படுமா?

rsync கோப்புகளை மாற்றுகிறது; செயல்பாட்டில் உள்ள தரவுத்தளம் கோப்புகளை நேரடியாகக் காப்புப்படுத்துவது ஆரோக்கியமாக இல்லை. MySQL அல்லது MariaDB க்கான mysqldump அல்லது உட்கார்ந்த காப்பு கருவிகளைப் பயன்படுத்த வேண்டும், உருவான காப்பு கோப்பை rsync மூலம் இலக்கு சர்வருக்கு மாற்ற வேண்டும். நடப்பு முறைகளை தரவுப் பாதுகாப்புக்கு பராமரிப்பு முறையை அல்லது மீளாக்க உத்தியை திட்டமிட வேண்டும்.

rsync பயன்படுத்துவதற்கான இரண்டு சர்வர்களிலும் root அணுகல் தேவைமா?

Root அணுகல் கட்டாயமாக இல்லை. இலக்கு அடைவிற்கு எழுதும் அனுமதியுள்ள ஒரு பயனர் போதுமானது. ஆனால், கோப்பு உரிமைகள், அமைப்பு அடைவுகள், ACL அல்லது தனிப்பட்ட அனுமதிகளைப் பாதுகாக்க வேண்டுமானால், அதிக அதிகாரம் தேவைப்படலாம். பாதுகாப்பு அடிப்படையில், சாத்தியமானவரைச் சுருக்கமாகக் கொண்ட பயனர் மூலம் செயல்படுவது மேலும் சரியானது.

--delete மாறி பாதுகாப்பாக இருக்கிறதா?

--delete சரியான முறையில் பயன்படுத்தப்படினால், இலக்கு அடைவின் மூலத்துடன் ஒரே மாதிரியான ஒத்திசைவுகளைப் பெற மிகவும் பயனுள்ளதாக இருக்கும்; ஆனால் தவறான இலக்கு அடைவில் பயன்படுத்தினால் கோப்பு இழப்புக்கு காரணமாகலாம். எனவே, --delete உள்ள கட்டளைகள் கண்டிப்பாக முதலில் --dry-run மூலம் சோதிக்கப்பட வேண்டும், மூல மற்றும் இலக்கு பாதைகளை கவனமாகச் சரிபார்க்க வேண்டும்.

பெரிய கோப்பு மாற்றத்தில் rsync அல்லது scp எது சிறந்தது?

ஒரே முறையில் சிறிய நகலெடுக்கும்போது scp போதுமானதாக இருக்கலாம்; ஆனால் பெரிய கோப்புகளில், அதிக எண்ணிக்கையிலான கோப்புகள் மற்றும் மீண்டும் மீண்டும் ஒத்திசைவுகளில் rsync பொதுவாக சிறந்தது. ஏனெனில் இது மாறும் தரவுகளை கண்டுபிடிக்கிறது, பகுதி மாற்றங்களை தொடர்கிறது, பாண்ட் அகலத்தை கட்டுப்படுத்துகிறது மற்றும் சோதனை முறை வழங்குகிறது.

சுருக்கம் மற்றும் அடுத்த கட்டம்

SSH மூலம் rsync ஆணை மூலம் இரண்டு சர்வர்களுக்கிடையில் பெரிய கோப்புகளை மாற்றுவது; விரைவான, பாதுகாப்பான மற்றும் நிர்வகிக்கக் கூடிய ஒரு முறையாகும். சரியான மாறிகள் மூலம் இணைப்புகளை துண்டிக்கப்படுவதற்கு எதிர்ப்பு அளிக்கிறது, மாறும் கோப்புகளை மட்டுமே மாற்றுவதால் நேரத்தைச் சேமிக்கிறது மற்றும் செயல்பாட்டில் உள்ள இணையதள மாற்றத்தின் போது இடைநிறுத்தத்தை குறைக்கிறது. சிறந்த முடிவுக்கு, முதலில் SSH மற்றும் திசு சரிபார்ப்புகளைச் செய்யுங்கள், --dry-run மூலம் சோதனை செய்யுங்கள், பின்னர் முக்கிய மாற்றத்தை திட்டமிட்ட முறையில் செயல்படுத்துங்கள்.