nábor 24. októbra 2011 o 00:52

Rsync: Výkonný nástroj na rýchle a flexibilné vzdialené a lokálne kopírovanie súborov

Rsync je navrhnutý tak, aby nahradil rcp, starý unixový program na vzdialené kopírovanie. Vďaka svojej výkonnej možnosti synchronizácie a prenosu súborov sa rsync často používa na vytváranie zrkadiel.
Pomocou šikovného algoritmu rsync prenáša iba zmeny v súboroch bez toho, aby bolo potrebné porovnávať dva súbory na zistenie zmien. Okrem toho rsync komprimuje za behu, čo vám umožňuje prenášať súbory čo najefektívnejšie.
Okrem vychytávok popísaných vyššie má rsync aj niekoľko užitočných bezpečnostných prvkov. Podporuje ssh, odporúčaný protokol na bezpečný prenos údajov; pred spracovaním informácie zapíše do dočasného súboru, aby sa s originálom nič nestalo, napokon podporuje špeciálny režim bezpečného ladenia príkazov.
Rsync sa ľahko používa, ale nie klikni a prehraj. Je to mocný nástroj, ktorý môže byť veľmi užitočný, ale buďte opatrní, pretože s ním môže ľahko niečo pokaziť.

Syntax utility
Syntax nástroja je jednoduchá a dosť všedná.
rsync [možnosti] zdroj [výlevka]
Zadaním iba zdroja sa nám zobrazí zoznam súborov bez operácie kopírovania.

Možnosti a príklady
Pre ľahšie pochopenie uvádzam najprv lokálne operácie synchronizácie.
Rýchly spôsob, ako synchronizovať dva adresáre, je použiť túto možnosť -a:
rsync -a foobar_src / foobar_dst /
V tomto prípade sa súbory a adresáre zo zdroja skopírujú do prijímača, zatiaľ čo ak tam boli súbory, zodpovedajúce názvy sa prepíšu a na zvyšok sa nikto nedotkne.

Možnosť -a nastavuje režim archivácie pomôcky a je ekvivalentný množine možností:
-r, --rekurzívny - rekurzívny režim;
-l, --links - znovu vytvoriť symbolické odkazy, to znamená, že sa zalomia aj symbolické odkazy;
-p, --perms - prevod práv;
-t, --times - odošle čas modifikácie a aktualizuje ho na vzdialenom systéme. Tento kľúč musí byť nastavený pre presnú synchronizáciu;
-g, --group - nastaví skupinu cieľového súboru na rovnakú ako je skupina zdroja;
-o, --owner - nastaví vlastníka konečného súboru na rovnakého ako pôvodný;
-D, - rovnako ako --devices --specials - nastaví typ súboru zariadenia a súboru špeciálneho typu na rovnaký ako pôvodný.
V dôsledku toho získame kópiu zdrojového adresára. Mimochodom, toto sa dá použiť pri prenose OS na iný pevný disk, ladení / etc / fstab, inštalácii / preinštalovaní grub na novú skrutku - získame funkčný systém, ale to je iná téma.

Ak chcete zobraziť informácie o prevádzke pomôcky, existuje možnosť - v, --verbose... Čím viac možností -v, tým informatívnejší bude výstup pomôcky. Maximálny informačný obsah sa dosiahne štyrmi možnosťami -v, --verbose.

Ak máme aktuálne informácie v zdrojovom adresári, tak aby ste nezasypali prijímač informáciami, ktoré boli počas prevádzky zmazané alebo presunuté v zdroji, je potrebné vymazať staré súbory a adresáre. Na tento účel existuje niekoľko možností odstránenia, z ktorých každá poskytuje svoj vlastný algoritmus vymazania. Je ich už šesť!
--del - skratka pre --delete-during;
--delete - stačí odstrániť nadbytočné súbory z prijímača;
--delete-before - prijímač vymaže pred prenosom;
--delete-during - prijímač vymaže počas prenosu, ale nie skôr;
--delete-delay - oneskorené vymazanie / nájdenie súborov na odstránenie počas prenosu, ale odstránenie po prenose;
--delete-after - príjemca vymaže po prenose, ale nie pred ním;
--delete-excluded - vymaže aj vylúčené súbory v prijímači, na to je nastavená šablóna (--exclude = VZOR).

Predpokladajme, že máme v prijímači novšie súbory a nechceme, aby boli prepísané starými zo zdroja, potom sa na to používa kľúč -u, --aktualizácia.
-u, --update - preskočiť súbory, ak je súbor v prijímači novší.
Neznepokojujte sa, ak sa dátumy adresára zmenili. samotné súbory neboli prepísané.

Niekedy môžu byť súbory poškodené alebo upravené, ale dátum a veľkosť sú rovnaké. Potom môžete použiť možnosť Kontrola kontrolného súčtu -c, --kontrolný súčet.

Mojou úlohou bolo vymyslieť, ako zálohovať svoje zbierky fotografií, hudby, vysokoškolských prác a prác. Zároveň sú informácie v zdroji vždy aktuálne a to, čo sa maže, je odpad. Príklad riešenia môjho problému:
rsync -auvv --delete-during foobar_src / foobar_dst /
Toto aktualizuje môj prijímač, ak už bol niečím naplnený - vyčistí to, čo nie je v zdroji, ale neovplyvní súbory, ktoré sú novšie, zobrazí štatistiky a stav každého súboru.

Práca na diaľku
Okrem toho bude veľmi užitočná jeho schopnosť pracovať cez ssh. To poskytuje šifrovanie kanála, čo je veľmi dôležité, ak synchronizujete dva servery na internete. Na zníženie prenosu môže rsync tiež komprimovať dáta počas ich prenosu po sieti.
Vyžadujú sa nasledujúce možnosti:
-e - nastavenie vzdialeného shellu na použitie;
-z - komprimovať prenášané dáta alebo nastaviť:
-compress-level = 9 - kompresia s nastavením úrovne kompresie.

Príklad kopírovania zo vzdialeného hostiteľa pomocou protokolu ssh:
rsync -avv --delete-during -compress-level = 9 -e "ssh -p remote_ssh_port" [e-mail chránený]: / dir / to / foobar_src foobar_dst /
V tomto prípade na strane zdroja musíte mať nainštalovaný nástroj rsync.

Dúfam, že tieto informácie budú pre mnohých užitočné. Viac informácií o nástroji rsync nájdete v jeho vlastnej dokumentácii, pretože je dobre popísaná.
Nájdete tam aj informácie o tom, ako nastaviť démona rSync na priame pripojenie bez použitia vzdialeného shellu ssh, ako aj popis mnohých ďalších možností pre každý vkus a farbu.

Tagy: rsync, kopírovanie, zálohovanie súborov, synchronizácia súborov

rsync slúži hlavne na vzdialenú synchronizáciu.
rsync sa používa na vykonávanie operácií zálohovania v systéme UNIX / Linux.
rsync je nástroj, ktorý sa používa na synchronizáciu súborov a adresárov na dvoch rôznych miestach. Považuje sa za jeden z najúčinnejších. Zálohy je možné vytvárať na lokálnom serveri aj na vzdialenom serveri.

Niektoré dôležité funkcie rsync

Rýchlosť: Prvýkrát rsync replikuje úplne všetok obsah medzi zdrojovými a cieľovými adresármi. Ďalej, rsync presúva iba zmenené bloky alebo bajty na určené miesto a robí to naozaj rýchlo. Je tiež možné obmedziť rýchlosť synchronizácie.
Bezpečnosť: rsync vám umožňuje šifrovať informácie pomocou protokolu ssh pri presúvaní údajov.
Menšia šírka pásma: rsync využíva blokovú kompresiu a dekompresiu dát na prijímacej a odosielacej strane v určenom poradí, možnosť „obnoviť“ súbory. Šírka pásma, ktorú používa rsync, bude teda vždy oveľa menšia v porovnaní s inými protokolmi prenosu údajov.

Ak máte prístup k ssh na server, je to najjednoduchší spôsob synchronizácie.

Rsync na ssh- toto je špeciálny prípad použitia, všeobecný pohľad na príkaz vyzerá takto:

Rsync [MOŽNOSTI] [POUŽÍVATEĽ @] SERVER: ZDROJ ... [PRÍJEMCA] Vytiahnuť (kopírovať súbory zo vzdialeného do lokálneho systému) rsync [MOŽNOSTI] ZDROJ 1 [ZDROJ N] [POUŽÍVATEĽ @] SERVER: PRÍJEMCA

Push (kopírovanie súborov z lokálneho počítača na vzdialený)
Požadovaný parameter je "SOURCE", môže ich byť niekoľko.

Pozrime sa na niekoľko príkladov:

Príklady:

Skopírované na server 192.168.1.1 obsahu priečinky / záloha / súbor1 / / záloha / súbor2 / do priečinka zálohy

V tomto príklade už budú skopírované samotné priečinky

# rsync -zavP / záloha / súbor1 / / záloha / súbor2 / [e-mail chránený]: / záloha

Ako obmedzím rýchlosť prenosu mojich súborov? Musíte zadať možnosť --bwlimit:

# rsync -zavP --bwlimit = 100 / záloha / súbor1 / [e-mail chránený]: / záloha

Ako synchronizovať súbory s overením kontrolného súčtu?

# rsync -czavP / záloha / súbor1 / [e-mail chránený]: / záloha

Ako skopírujem súbory zo vzdialeného počítača na lokálny počítač?

# rsync -zavP [e-mail chránený]: / záloha / záloha / súbor1 /

Ako vylúčiť súbor alebo adresár pri kopírovaní?
Vylúčte temp adresár, súbor test.txt a všetky súbory s príponou tgz umiestnené v / home / data

# rsync -azVP --exclude temp / --exclude test.txt --exclude * .tgz / home / data / [e-mail chránený]: / záloha

Ako môžem vymazať súbory v prijímači, ak v zdroji neexistujú?

# rsync -azVP --exclude / temp / --exclude test.txt --exclude * .tgz --force --delete / home / data / [e-mail chránený]: / záloha

Vylúčte adresár / dočasný súbor test.txt a všetky súbory s príponou tgz umiestnené v / home / data

Ako použiť neštandardný port ssh pri kopírovaní rsync?

# rsync -zavP "-e ssh -p 12345" / var / lib / [e-mail chránený]: / záloha # rsync --progress -avz -e ssh / home / [e-mail chránený] stránka: / domov /

Skopíruje obsah domovského priečinka z lokálneho hostiteľa na hostiteľskú lokalitu v domovskom priečinku. Na autentifikáciu sa používa účet root. Ak sa spojenie počas kopírovania preruší, stačí príkaz zopakovať a kopírovanie začne od bodu, kedy bolo spojenie prerušené.

Rsync --progress --bwlimit = 10 -avz -e ssh / home [e-mail chránený] stránka: / domov /

Malá zmena. Vymažeme „/“ za domovským priečinkom a samotný priečinok je už skopírovaný s celým obsahom. Obmedzujeme tiež rýchlosť kopírovania na 10 kB/s, aby sme neupchali internetový kanál.

Možnosti:
-a, --archív archívny režim, pri použití nahrádza viacero prepínačov (-rlptgoD)

- n režim ladenia
-t, --krát- aktualizovať čas úpravy súboru na strane príjemcu. Ak táto možnosť absentuje, príp -a optimalizácia prenosu v čase úpravy súboru sa stáva neúčinnou
-r rekurzívne. (Kopíruje všetky súbory vrátane podadresárov)
-l pri kopírovaní zachováva symbolické odkazy
-p zachováva oprávnenia súboru
- t šetrí čas úpravy súborov
- g uloží veľa súborov
- o uloží vlastníka súborov (funguje iba ako root)
- D ukladá súbory zariadenia a špeciálne súbory
- P, zobrazenie priebehu pri kopírovaní;
- q, nezobrazuje chybové hlásenia;
- c, --checksum kontroluje súbory podľa kontrolného súčtu a podľa veľkosti a dátumu úpravy. Dodatočné zaťaženie procesora výrazne zvyšuje čas synchronizácie;
- size-only - na kontrolu použite iba veľkosť súboru
- ignorujte chyby, pokračujte v kopírovaní a odstraňovaní aj po objavení sa chýb;
- max-delete, maximálny počet súborov a adresárov, ktoré sa majú vymazať naraz;
- files-from = FILE, nastaví sa zoznam súborov a adresárov, ktoré sa majú skopírovať do súboru;
- numerické-id - neprekladajte mená vlastníkov a skupín na číselné UID a GID, nechajte čísla na vzdialenej strane tak, ako sú
- R - pri vytváraní symbolických odkazov používajte relatívne cesty
- A, --acls - uloženie ACL
- H, --hard-links - uloženie pevných odkazov
- S, --sparse - optimalizácia riedkych súborov
- x, --one-file-system - neprekračujte aktuálny bod pripojenia
- u, aktualizovať preskočiť aktualizáciu súborov, ktoré sú novšie ako pôvodné
- h, ľudsky čitateľné zobrazenie číslic v čitateľnej forme (KB, MB, GB)
-v podrobný podrobný výstup operácií (informácie o ladení)
-z kompresia súborov počas kopírovania
- úroveň kompresie - úroveň kompresie
- e ssh použiť pri kopírovaní ssh

Pokrok zobrazuje priebeh kopírovania
--bwlimit= KBPS obmedzuje rýchlosť prenosu súborov (Kbit/s)
--del- odstrániť súbory v cieľovom priečinku, ktoré nie sú v zdroji (presná kópia)
- –vymazať-po vymazať po. Ak bol súbor alebo adresár odstránený v hlavnom umiestnení,
potom sa po synchronizácii na záložnom serveri vymaže aj v adresári
-- password-file Cesta, kde sa nachádza súbor s heslom.

Pred spustením skriptu na pracovnom stroji vyskúšajte všetko v režime ladenia, na tento účel použite kľúč -n... V tomto prípade rsync nezmení ani nevymaže súbory, ale zobrazí celý priebeh.

Rsync -a --progress / home / / mnt / export /

Skopíruje obsah domovského priečinka v rámci jedného počítača do priečinka / mnt / export /. Takéto kopírovanie sa používa vtedy, keď je potrebné zachovať všetky práva na presúvané súbory.

Program Rsync(v portoch FreeBSD), používa sa na vzdialené kopírovanie () alebo synchronizáciu súborov a adresárov s minimálnou spotrebou šírky pásma. Dá sa takmer úplne nahradiť cp a scp, dokáže kódovať dáta, podporuje kompresiu a rekurziu a prerušené prenosy možno jednoducho reštartovať. Na manuálových stránkach je všetko podrobne popísané.

Tu je niekoľko príkladov: Kopírovanie adresára obsahu: # rsync -a / home / colin / / backup / colin / # rsync -a / var / / var_bak / # rsync -aR --delete-during / home / user / / backup / # Používa sa relatívna cesta (pozri nižšie) Rovnako ako vyššie, iba cez sieť a s kompresiou. Rsync štandardne používa na prenos protokol. SSH vrátane kľúčov, ak existujú. symbol " : “ sa používa ako v SCP... Typický príklad vzdialenej kópie: # rsync -axSRzv / home / user / [e-mail chránený]: / backup / user / Vylúčte z procesu vzdialeného kopírovania adresár tmp / domov / používateľ / a zachovať hierarchiu, vzdialený adresár bude mať štruktúru / záloha / domov / používateľ /... Tento príklad je typický pre zálohy: # rsync -azR --exclude / tmp / / home / user / [e-mail chránený]: / záloha / Použiť 20022 port pre SSH: # rsync -az -e "ssh -p 20022" / home / colin / [e-mail chránený]: / možno použiť zálohu / colin / démona rsync(s " :: "), je oveľa rýchlejší, ale prenos nie je šifrovaný. Umiestnenie priečinka záložného priečinka (napr / zálohovanie) je možné nakonfigurovať v súbore /etc/rsyncd.conf... Variabilné RSYNC_PASSWORD slúži na to, aby nebolo potrebné zadávať heslo ručne. # rsync -axSRz / home / [e-mail chránený]:: rmodul / záloha / # rsync -axSRz [e-mail chránený]:: rmodul / záloha / / domov / # Skopírovať späť Niektoré dôležité možnosti:

• -a, --archív archívny režim; rovnake ako -rlptgoD(bez -H)
• -r, --rekurzívny prechádzať adresármi (rekurzia)
• -R, --príbuzný relatívne cesty
• -H, --pevné odkazy uložiť pevné odkazy ( pevný odkaz)
• -S, --riedky efektívne zvládať riedke súbory
• -x, --one-file-system neprekračujte hranice súborového systému
• --exclude = VZOR vylúčiť súbory daného vzoru
• --vymazať-počas prijímač je pri vysielaní odstránený
• --delete-after prijímač sa po VYSIELANÍ vymaže

winrsync

V systéme Windows rsync možno použiť cez cygwin alebo samostatnú aplikáciu cwrsync. Veľmi užitočné pre automatizáciu zálohovania. Nastavte JEDNU z možností a pridajte cestu k systémovým premenným Windows: Ovládací panel -> Systém -> karta Rozšírené, tlačidlo Premenné prostredia... Upravte premennú " Cesta"pridaním celej cesty k rsync, napríklad takto: C: \ Program Files \ cwRsync \ bin alebo C: \ cygwin \ bin... To vám umožní používať rsync a ssh z príkazového riadku systému Windows.

Autorizácia kľúča

Rsync automaticky tunelované SSH protokol a používa SSH autorizáciu na serveri. Automatika sa používa na minimalizáciu účasti používateľa v tomto procese, práve na to je potrebná autorizácia verejným kľúčom, aby sa od používateľa nežiadalo zadanie hesla. Všetky príkazy sa vykonávajú v príkazovom prostredí Windows ( Štart -> Spustiť -> cmd). Vytvorte a nahrajte kľúče podľa popisu v článku, " užívateľ" a " server"nastav príslušné. # ssh-keygen -t dsa -N" "# Vytvoriť kľúče # rsync [e-mail chránený]: .ssh / autorizované_kľúče2 # Skopírujte súbor ssh / autorizované kľúče2 na lokálny stroj# mačka id_dsa.pub >> autorizované_kľúče2 # Alebo použite editor na pridanie kľúča# rsync autorizované_kľúče2 [e-mail chránený]: .ssh / # Skopírujte súbor späť na server# del autorizované_kľúče2 # Odstráňte lokálnu kópiu Teraz skontrolujeme (v jednom riadku): rsync -rv "/ cygdrive / c / Dokumenty a nastavenia /% USERNAME% / Moje dokumenty /" " [e-mail chránený]: Moje dokumenty / "

Automatizácia zálohovania

Plánovanie a vykonávanie úlohy zálohovania môže byť úplne priradené nejakému druhu plánovača alebo dávkovým súborom (Programy -> Príslušenstvo -> Systémové nástroje -> Plánované úlohy). Napríklad môžete vytvoriť takýto súbor nahradením " [e-mail chránený]"na vlastnú päsť:

@ECHO OFF REM synchronizujte adresár Moje dokumenty SETLOCAL SET CWRSYNCHOME = C: \ PROGRAM FILES \ CWRSYNC SET CYGWIN = nontsec SET CWOLDPATH =% PATH% REM odkomentujte nasledujúci riadok pri použití cygwin SET PATH =% CWRSYNCHOME \ Stlačte Control -C na prerušenie rsync -av "/ cygdrive / c / Dokumenty a nastavenia /% USERNAME% / Moje dokumenty /" \ " [e-mail chránený]: Moje \ Dokumenty / "pauza

Cez program som našiel skript na synchronizáciu adresárov rsync... Myslel som, že synchronizácia, to zálohovanie je to isté, len sa inak volajú
Program rsync je súčasťou všetkých distribúcií a je natoľko populárny, že ho ľahko nájdete v každej distribúcii.
Poďme rovno na príklady synchronizácie rsync.
Chceme mať kópiu adresára / home / user / foto a duplicitný priečinok uložíme do / mnt / backup. Vykonajte (nezabudnite skontrolovať oprávnenia priečinka, kam to kopírujeme, alebo spustite ako root-sudo )

Rsync -av / home / user / foto / mnt / backup

• - prenos archívu (spolu s priečinkami, podpriečinkami, súbormi, skrytými súbormi atď.)
• -v zobrazí údaje o vykonaní príkazu

Je to také jednoduché! Naše fotky sú už na dvoch miestach. Samozrejme nie sú archivované a zaberajú toľko miesta ako prvý priečinok, ale musíte tomu niečo obetovať. A budete musieť obetovať miesto na disku. Mimochodom, pri fotografiách je archivácia neúčinná, kompresný pomer je príliš nízky. Prirodzene, musíte skopírovať na iný fyzický disk! Pretože ak jeden pevný disk zomrie, zomrú aj všetky ostatné oddiely na tomto disku so všetkými zálohami.
Pokračujme, niečo ma rozptyľuje..
Vo vyššie uvedenom príkaze je malý háčik. Napríklad ste premenovali alebo zoradili fotografie do iných priečinkov a zmenili názvy starých priečinkov alebo ich úplne odstránili. Čo sa bude diať? Skript poctivo prenesie nové súbory a adresáre, ktoré sa objavili, a staré, ktoré ste vymazali v priečinku / home / user / foto, zostanú v priečinku zálohy. V skutočnosti v často menených adresároch povedie spustenie takéhoto skriptu k hromade koša v záložnom priečinku. Aby ste tomu zabránili, príkaz sa musí vykonať pomocou klávesu --vymazať

Rsync -av --delete / home / user / foto / mnt / backup

A oba priečinky budú vždy rovnaké
Teraz musíte vybrať svoje najdôležitejšie adresáre a do súboru napísať jednoduchý zoznam príkazov na zálohovanie. Kedysi sa mi to zdalo asi takto.

Rsync -av --delete / home / mik / mail / mnt / backup / home / mik / rsync -av --delete /home/mik/.mozilla / mnt / backup / home / mik / rsync -av --delete / home / mik / .claws-mail / mnt / backup / home / mik / rsync -av --delete / bin / mnt / backup / system rsync -av --delete / boot / mnt / backup / system rsync -av - delete / dev / mnt / backup / system rsync -av --delete / etc / mnt / backup / system rsync -av --delete / lib / mnt / backup / system rsync -av --delete / netup / mnt / backup / system rsync -av --delete / opt / mnt / backup / system rsync -av --delete / root / mnt / backup / system rsync -av --delete / sbin / mnt / backup / system rsync -av --delete / var / mnt / záloha / systém

Osobitne si dávam pozor, aby som nezálohoval všetko. Ak si napríklad vyberiete celý svoj domovský adresár na zálohovanie, môže to byť zbierka vašich filmov, open source distribúcie atď. To všetko zaberá príliš veľa miesta a podľa mňa sa to neoplatí zálohovať.
Vráťme sa k nášmu súboru so zoznamom adresárov na zálohovanie a urobme ho spustiteľným

Chmod + x ./ názov_súboru

Skript je možné napísať v crontab pre každodenné vykonávanie a vo väčšine distribúcií ako napr ubuntu alebo debian stačí ho umiestniť do adresára /etc/cron.daily. Možno však budete musieť vykonať zmeny v súbore / etc / crontab. Väčšina počítačov nefunguje v noci, preto zmeňte /etc/cron.daily úlohy na čas, keď je váš počítač zvyčajne zapnutý.

A teraz príklady príkazov rsync ktoré len treba mať na pamäti. A potom nikdy neviete, aké úlohy vás môžu v budúcnosti stretnúť.

1 príklad.

Rsync -av --delete --exclude = "*. Avi" --exclude = "*. Mpg" / home / user / mnt / backup

Tím sa synchronizuje celá váš domovský adresár, ale nekopíruje súbory s príponami avi a mpg. Ak nepotrebujete niečo iné, stačí pridať v rade --exclude = "_ čo_vylúčiť_"

2 príklad.

Rsync -avz -e "ssh -l ssh_user -p5623" --delete / home / user / foto 192.168.0.1:"./temp "

Ale toto je už príkaz na synchronizáciu medzi vaším a vzdialeným počítačom cez ssh pripojenie.

• -z dodatočne komprimovať údaje
• -e pomocou vzdialeného shellu
• ssh -l ssh_user -p5623- príkaz na pripojenie k vzdialenému počítaču. ssh_user user a -p5623 je, ak je port ssh neštandardný, napríklad 5623
• 192.168.0.1:"./temp "- IP adresa počítača (môžete použiť aj názov). Uvádzame aj adresár, kam prenesieme údaje. Všimnite si, že adresár je špecifikovaný cez ./ , už vychádzame z cesty domovského adresára ssh_user kam sa dostaneme pri pripojení cez ssh

Po zadaní tohto príkazu sa musíme prihlásiť heslom ssh_user a až potom začne synchronizácia adresárov. Podobne môžete synchronizovať vzdialený a lokálny adresár. Stačí len prehodiť priečinky odkiaľ a kam synchronizujeme.
Ak chcete proces zautomatizovať a nezadávať zakaždým heslo, prečítajte si môj článok