Praktični Rclone: ​​sinhronizacija, šifriranje in avtomatizacija varnostnih kopij v oblaku

Rclone postalo je eno najbolj celovitih orodij za shranjevanje v oblakuEno samo orodje ukazne vrstice, ki lahko komunicira z ducati različnih storitev, kopira podatke med njimi, namešča storitve v oblaku, kot da bi bili lokalni diski ... In vse to s šifriranjem in napredno avtomatizacijo. Če upravljate strežnike, uporabljate več storitev v oblaku ali preprosto želite imeti robustne varnostne kopije, je rclone orodje, ki bo spremenilo vaš način dela.

En ta vodnik Naučili se boste, kako namestiti rclone na večje sisteme, konfigurirati oddaljene upravljalnike za storitve, kot so Google Drive, OneDrive, S3 ali B2, razumeti razlike med rsync, nastaviti oblake s FUSE, šifrirati podatke, avtomatizirati varnostne kopije s cron ali systemd in rešiti tipične težave z zmogljivostjo, preverjanjem pristnosti ali omejitvami API-ja.

Kaj je rclone in kako se razlikuje od rsync?

Rclone je Odprtokodni program ukazne vrstice, zasnovan za upravljanje datotek v shrambi v oblakuPodpira več kot 70 ponudnikov: Google Drive, Google Photos, OneDrive (osebni, poslovni in SharePoint), Dropbox, Box, MEGA, pCloud, Proton Drive, storitve S3 (AWS, Wasabi, Cloudflare R2, Backblaze B2…), Google Cloud Storage, Azure Blob, WebDAV (Nextcloud, ownCloud), SFTP/FTP, SMB/CIFS, HTTP in številne druge.

Na konceptualni ravni, rclone Idejo rsync razširja na svet oblaka. Sinhronizira imenike, kopira podatke in izvaja enosmerno ali dvosmerno zrcaljenje, razume pa tudi oblačne API-je, ponovne poskuse, omejitve pasovne širine, predpomnilnike in metapodatke, specifične za zaledni sistem. Medtem ko se rsync osredotoča na lokalne poti ali SSH, rclone govori jezik API-jev posameznega ponudnika.

Ključna praktična razlika je v osredotočenosti. Rsync deluje dobro v lokalnih ali SSH okoljih, rclone je optimiziran za oblakeVe, kdaj izkoristiti kopiranje na strani strežnika (kopiranje neposredno med vedri brez potrebe po uporabi računalnika), kako razdeliti zelo velike datoteke na dele ali kaj storiti z metapodatki, kot so vrsta vsebine, dovoljenja ali različice.

Z možnostmi, kot je --multi-thread-streams ali vzporednih prenosov, rclone lahko zlahka prekosi rsync za 4-krat pri kopiranju prek omrežja. Še posebej pri zalednih sistemih, ki podpirajo nalaganje v blokih (S3, GCS, B2 itd.). Ponuja tudi transparentno šifriranje, vgradnjo FUSE, plasti z več oddaljenimi stičišči in majhen integriran strežnik HTTP/WebDAV/FTP.

Združljive storitve in notranja arhitektura rclone

El podpora dobaviteljem To je ena od prednosti programa rclone. V praksi lahko definirate poljubno število "oddaljenih omrežij": vsako oddaljeno omrežje opisuje povezavo (na primer gdrive: za osebni Google Drive, onedrive: za OneDrive za podjetja, s3-backup: za vedro S3, nextcloud: prek WebDAV-a itd.).

Za končne uporabnike rclone zlahka pokriva najpogostejše storitve v oblaku.Google Drive/Fotografije, OneDrive (vključno s SharePointom), Dropbox, Box, MEGA, pCloud, Proton Drive in druge storitve, osredotočene na zasebnost. To vam omogoča centralizacijo opravil v enem samem ukazu, za katerega je bilo prej potrebnih več aplikacij ali uradnih odjemalcev.

V podjetniških in razvojnih okoljih rclone prevladuje v celotnem svetu S3 in podobnih sistemov.Amazon S3 Standard, Google Cloud Storage, Azure Blob Storage, Backblaze B2, Wasabi, Cloudflare R2 in kar nekaj združljivih ponudnikov (MinIO, Ceph itd.). Vsi se upravljajo z isto osnovno sintakso, spreminja se le daljinski upravljalnik.

V zvezi samostojno gostovani protokoli in sistemirclone podpira SFTP, FTP, WebDAV, SMB/CIFS in celo HTTP. To pomeni, da ga lahko uporabite za kopiranje s strežnika SFTP v vedro S3, prenos podatkov iz Nextclouda v lokalno mapo ali množični prenos s spletnega strežnika brez potrebe po dodatnih orodjih.

Notranje je rclone organiziran v več plasti: jedro, ki orkestrira operacije (Rclone Core), plast VFS, ki se uporablja pri predpomnjenih priklopih, plast Crypt, ki sproti šifrira/dešifrira, in plast Chunker, ki razdeli velike datoteke v segmente v zalednih sistemih, ki to zahtevajo. V osnovi vsega tega je skupna abstrakcija zalednega sistema, ki skriva posebnosti vsakega ponudnika.

Sistemske zahteve in namestitev v sistemih Windows, Linux in macOS

Rclone je zelo lahek, vendar je pomembno razumeti osnovne zahteve. Deluje s 512 MB RAM-a, čeprav je za intenzivno uporabo (priklopi s predpomnjenjem, veliko sočasnih prenosov) priporočljivo 2 GB ali več. Na ravni CPU-ja zadostuje 1 vCPU, vendar nekaj jeder pomaga izkoristiti vzporedne prenose. Na disku se zažene s 100 MB prostega prostora, če pa boste uporabljali predpomnjenje VFS, je priporočljivo rezervirati vsaj 1 GB.

V Linuxu je priporočljivo sodobno jedro (idealno 5.4+ s FUSE3).Še posebej, če boste oddaljene naprave priklopili kot datotečne sisteme. Kar zadeva distribucije, rclone deluje na praktično vseh trenutnih različicah (Ubuntu, Debian, Fedora itd.), če imate pravice curl ali wget in sudo.

Podrobna namestitev v sistemu Windows

V sistemu Windows imate na voljo tri glavne načine za namestitev programa rclone.Od najbolj nadzorovanega do najbolj avtomatiziranega. Bistvo je, da na koncu dobite rclone.exe dostopno iz katere koli konzole (CMD ali PowerShell).

A) Prenesite priročnik z uradne spletne strani (priporočeno, če želite biti jasni glede tega, kaj nameščate):

1. Prenesite ZIP datoteko za svojo arhitekturo.Na primer rclone-v1.xx.x-windows-amd64.zip za 64 bitov.
2. Razpakirajte datoteko v fiksno mapona primer C:\rclonekjer bo ostalo rclone.exe in več besedilnih datotek.
3. Dodaj C:\rclone do sistemske POT (Nadzorna plošča → Sistem → Napredne nastavitve → Spremenljivke okolja → Uredi POT → Novo → C:\rclone).

B) Namestitev z Wingetom v sistemu Windows 10/11Odlično, če že uporabljate upravitelja paketov Microsoft:

1. Namestitev rclone: winget install Rclone.Rclone
2. Po potrebi odstranite: winget uninstall Rclone.Rclone --force

C) Čokoladno za tiste, ki imajo avtomatizirano sistemsko programsko opremo:

1. Namestitev rclone: choco install rclone
2. Če želite priklopiti diske, namestite tudi WinFsp: choco install winfsp

Namestitev v Ubuntu/Debian in druge sisteme Linux

V Linuxu je najpreprostejša in vedno posodobljena metoda uradni skript.Prenesite in namestite najnovejšo stabilno različico (ali beta) z enim samim ukazom:

• Stabilna različica: sudo -v ; curl https://rclone.org/install.sh | sudo bash
• Beta različica: sudo -v ; curl https://rclone.org/install.sh | sudo bash -s beta

Če imate raje popoln nadzor, lahko prenesete paket .deb beton in ga upravljajte z dpkg:

• Prenos: wget https://downloads.rclone.org/v1.xx.x/rclone-v1.xx.x-linux-amd64.deb 
• Namesti: sudo dpkg -i rclone-v1.xx.x-linux-amd64.deb
• Če manjkajo odvisnosti: sudo apt -f install

Za sklope VAROVALK je pomembno namestiti fuse3 in dovolite allow_other en /etc/fuse.confodkomentiranje ustrezne vrstice. Po tem je običajno zadosten ponovni zagon ali ponovni zagon storitve.

Namestitev na macOS

Na macOS-u Homebrew močno olajša življenjeZ nekaj ukazi je rclone pripravljen za uporabo:

• Namestitev z Brew: brew install rclone
• Redno posodabljajte z brew upgrade rclone 

Če se ne želite zanašati na Homebrew, se lahko odločite za ročno namestitev. Prenos datoteke ZIP za macOS, njeno razpakiranje in premikanje binarne datoteke v /usr/local/bin tako kot bi to storili v Linuxu. Nadaljnja uporaba je enaka: rclone version da preveri, ali je vse v redu.

Prvi koraki: osnovna nastavitev in koncept »oddaljenega«

Srce rclone je konfiguracijska datotekakjer definirate svoje daljinske upravljalnike. Privzeto se nahaja v ~/.config/rclone/rclone.conf (Linux/macOS) ali na poti, ki jo označuje %APPDATA% v sistemu Windows in se upravlja z interaktivnim čarovnikom rclone config.

Vsak oddaljeni upravljalnik je razdelek INI, ki združuje parametre povezave.: vrsta zalednega sistema, poverilnice, regija, posebne možnosti itd. Tipičen primer za Google Drive bi bil nekaj takega [gdrive] z njegovim type = drive, scope = drive in žeton OAuth, shranjen v JSON.

Za zagon čarovnika, Odprite terminal in zaženite rclone configVideli boste meni z več možnostmi: ustvarite nov daljinski upravljalnik, uredite obstoječega, izbrišite ga, preimenujte ga, šifrirajte konfiguracijo itd. Običajno najprej pritisnete n za »Nov daljinski upravljalnik«.

V primeru Google DriveTipičen tok ustvarjanja na daljavo vključuje več korakov: izbiro vrste »pogona«, odločitev o uporabi lastnega ID-ja odjemalca (priporočeno, da se izognete strogim omejitvam Googla), izbiro obsega (drive polno, samo za branje itd.), uporabite samodejno preverjanje pristnosti v brskalniku in po želji navedite, ali gre za deljeni pogon.

Če ste v a strežnik brez brskalnika (SSH, VPS, vsebnik brez grafičnega uporabniškega vmesnika), rclone omogoča avtorizacijo z drugega računalnika. Ko čarovnik vpraša »Uporabi samodejno konfiguracijo?«, odgovorite z ne in rclone bo prikazal ukaz. rclone authorize "drive" ki ga morate zagnati na svojem računalniku z brskalnikom, kopirati nastali žeton in ga prilepiti v ustrezno polje strežnika.

Osnovna sintaksa, oddaljene poti in osnovni ukazi

Splošna sintaksa ukaza rclone je zelo dosledno in enostavno za zapomniti: rclone [opciones] subcomando origen [destino]Podukaz je lahko copy, sync, ls, mount, moveitd. Izhodišče in cilj sta lokalni ali oddaljeni poti sloga remote:path/to/dir.

Pot /path/to/dir kaže na lokalni datotečni sistemMedtem ko je remote:path/to/dir To se nanaša na imenik znotraj oddaljenega strežnika, ki je definiran v konfiguraciji. V večini zalednih sistemov, remote:/path/to/dir To je enakovredno isti stvari, razen v nekaj posebnih primerih (FTP, SFTP, Dropbox Business), kjer predpona / spremeni pomen (korenski imenik v primerjavi z domačim).

Najbolj uporabni ukazi za naštevanje za začetek so ls, lsl, lsd y treeNa primer, če si želite ogledati datoteke v mapi Google Drive velikosti: rclone ls gdrive:DocumentosČe želite našteti samo imenike: rclone lsd gdrive:Če želite bolj vizualno drevo: rclone tree gdrive:Proyectos --level 3.

Kopiranje datotek je tako preprosto kot rclone copy origen destino. Praktični primeri:

• Lokalno → oblak: rclone copy C:\Users\usuario\Documents onedrive:backup/documents -P
• Oblak → lokalno: rclone copy onedrive:photos C:\Users\usuario\Pictures -P
• Oblak → oblak (na strani strežnika, kadar je to mogoče): rclone copy gdrive:data onedrive:backup -P

Podukaz sync naredi cilj enak izvoruIz usode izbriše tisto, česar v izvoru ni več. Je precej nevarno, če ga ne uporabljate modro, zato ga na začetku vedno spremljajte z ... --dry-run in, če želiš, --interactive zahtevati potrditev pred uničujočimi operacijami.

Za dvosmerno sinhronizacijo obstaja rclone bisyncki je še vedno eksperimentalnoSpremlja spremembe na obeh straneh, da jih ohranja usklajene, kar je uporabno v nekaterih scenarijih dela brez povezave, vendar je najbolje, da ga temeljito preizkusite z nekritičnimi podatki, preden ga zaupate svojemu digitalnemu življenju.

Namestite oblačne pogone kot lokalne pogone s predpomnilnikom FUSE in VFS

Ena od glavnih značilnosti rclone je možnost namestitve daljinskega upravljalnika, kot da bi bil trdi diskTo vam omogoča brskanje po oblaku iz raziskovalca datotek, neposredno urejanje dokumentov ali usmerjanje aplikacij (indeksatorjev medijev, urejevalnikov itd.) na oddaljene poti, ne da bi te vedele, da za njimi obstaja oblak.

V sistemu Windows se namestitev izvede z dodelitvijo črke pogona ali ustvarjanjem omrežnega pogona.. Na primer:

• Pripnite OneDrive kot pogon X: rclone mount onedrive: X: --vfs-cache-mode full
• Namesti kot omrežni pogon: rclone mount onedrive: X: --network-mode --vfs-cache-mode full

V Linuxu in macOS se v datotečnem sistemu uporablja točka priklopa., običajno z VAROVALKO:

• Ustvari imenik: mkdir -p ~/OneDrive
• Priklop v ozadju (daemon): rclone mount onedrive: ~/OneDrive --vfs-cache-mode full --daemon

Ključni parameter tukaj je --vfs-cache-mode, ki nadzoruje delovanje predpomnilnika:

• off: brez predpomnilnika, največja zmogljivost branja, vendar nekatere aplikacije s tem ne delujejo dobro.
• minimal: minimalni predpomnilnik, potreben za delovanje osnovnih funkcij pisanja.
• writes: predpomni, zapisuje in nalaga datoteke pozneje, uporabno, če urejate datoteke, vendar ne potrebujete agresivnega branja predpomnilnika.
• fullPopolno predpomnjenje za branje in pisanje, priporočljivo za priklope, ki bodo uporabljeni kot pravi diski (večpredstavnost, IDE itd.).

Za pretočne storitve ali medijske kataloge (Plex, Jellyfin itd.) se običajno uporablja --vfs-cache-mode full plus dobra velikost predpomnilnika (--vfs-cache-max-size, --buffer-size) in dolg čas zadrževanja (--vfs-cache-max-age, --dir-cache-time), tako da strežniku ni treba nenehno ustvarjati seznamov.

Grafični vmesnik: spletni grafični uporabniški vmesnik Rclone, uporabniški vmesnik Rclone in brskalnik Rclone

Čeprav se je rclone rodil kot izključno orodje CLI, danes Obstaja več načinov uporabe z grafičnim vmesnikomTo je odlično, če boste naloge prenesli na nekoga, ki ni vesten k uporabi terminala, ali pa si preprosto želite bolj vizualni pregled prenosov.

Orodje samo vključuje eksperimentalni spletni grafični vmesnik., ki se zažene z:

• rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
• Nato brskalnik usmerite na http://localhost:5572 in se prijaviš s tem uporabniškim imenom in geslom.

Poleg tega, Obstajajo zelo dodelani grafični vmesniki tretjih osebEna najbolj celovitih možnosti je Rclone UI, namizna aplikacija za Windows, macOS in Linux, ki podpira funkcijo »povleci in spusti«, razporejanje opravil, več sočasnih prenosov in vizualne vrstice napredka. Druga dolgoletna alternativa je Rclone Browser, ki je na voljo celo kot AppImage v Linuxu in zadostuje mnogim uporabnikom, ki morajo le občasno upravljati varnostne kopije.

Če ste eden tistih ljudi, ki živijo na konzoli, a ne želijo toliko težav na svojem mobilnem telefonu, Na Androidu je tudi več aplikacij, ki integrirajo rclone.mnogi od njih neposredno ponovno uporabljajo datoteko rclone.conf ki jih ustvarite v računalniku. Preprosto kopirajte to konfiguracijsko datoteko na pot, ki jo navede aplikacija, in daljinski upravljalniki bodo pripravljeni tudi v vaši mobilni napravi.

Transparentno šifriranje s kriptografsko in konfiguracijsko varnostjo

Ena od velikih atrakcij rclonea je da lahko šifrirate svoje podatke, preden zapustijo vaš računalnik. Zaledje crypt Deluje kot plast na vrhu druge oddaljene plasti: vidite običajna imena datotek, šifrirana imena in vsebina pa so shranjeni v oblaku.

Tipična konfiguracija oddaljenega šifriranja vključuje ustvari nov daljinski upravljalnik tipa crypt in ga usmerite na pot iz drugega daljinskega upravljalnika, na primer: remote = gdrive:encryptedPoleg tega izberete način šifriranja imena (standardno, zakrito ali izklopljeno) in določite geslo (in po želji drugo »sol« za okrepitev šifriranja).

Ko je ustvarjen, Delovanje z oddaljenim šifriranjem je popolnoma preglednoČe to storite rclone copy /datos/sensibles gdrive-crypt:V storitvi Google Drive boste videli le čudna imena in neberljivo vsebino. Na šifriranem daljinskem upravljalniku pa bodo vaše poti in datoteke prikazane točno takšne, kot so.

Konfiguracijska datoteka rclone je lahko in bi morala biti zaščitena, če vsebuje občutljive poverilnice.rclone vam omogoča šifriranje te datoteke: v meniju rclone config Izberete možnost nastavitve konfiguracijskega gesla, vnesete ključ in od takrat naprej bo program zahteval to geslo za branje rclone.conf.

V avtomatiziranih okoljih lahko geslo vnesete z uporabo okoljske spremenljivke.RCLONE_CONFIG_PASS ali z --password-commandtako da lahko skripte, cron ali storitve systemd uporabljajo rclone brez ročnega posredovanja, vendar brez da bi geslo ostalo vidno v navadnem besedilu.

Avtomatizacija varnostnih kopij in načrtovanih opravil

Kjer rclone resnično sije, so ponavljajoče se varnostne kopije in načrtovane sinhronizacije.Uporabite lahko tako izvorne razporejevalnike posameznih sistemov (razporejevalnik opravil v sistemu Windows, cron v Linuxu, časovnike systemd) kot tudi skripte po meri, ki vključujejo obvestila in čiščenje starih različic.

V sistemu Windows vam razporejevalnik opravil omogoča zagon programa rclone ob določenih časih z določenimi parametri.Na primer, če želite vsako noč sinhronizirati ključno mapo z OneDrive. Izhod lahko shranite v dnevniško datoteko in omogočite ponovne poskuse, če naloga ne uspe.

V Linuxu je najpogostejša praksa priprava majhnega skripta za varnostno kopiranje in njegova priklop v cron.. Na primer, a rclone sync /datos/ gdrive-crypt:backups/ vsak dan ob 2:00, z --log-file, --fast-list in filtre za izključitev začasnih datotek ali velikih dnevnikov.

Če želite iti še korak dlje, lahko Združite rclone s systemd za priklop oddaljenih naprav ob zagonu ali zagon varnostnih skriptov kot storitev in časovnikovTo zagotavlja veliko večjo preglednost (dnevniki integrirani v dnevnike, nadzor omrežnih odvisnosti, samodejni ponovni zagoni, če ne uspejo itd.) in je na sodobnih sistemih običajno boljše od crona.

Odlična stvar je, da rclone ponuja zastavice, zasnovane za resne varnostne kopije.: --backup-dir y --suffix za pošiljanje starejših različic v mapo z zgodovino, --checksum za primerjavo z zgoščenimi vrednostmi, kadar to podpira zaledni sistem, --max-transfer y --bwlimit da se izognemo preobremenitvi pasovne širine ali prekoračitvi dnevnih kvot, ali --track-renames zaznati preimenovane datoteke namesto brisanja in ponovnega nalaganja.

Optimizacija delovanja, napredni filtri in odpravljanje težav

Ko začnete premikati veliko gigabajtov ali milijonov datotek, so podrobnosti odločilnega pomena.Rclone ponuja arzenal možnosti delovanja: --transfers za nastavitev števila vzporednih vzponov/spustov, --checkers za čeke, --multi-thread-streams y --multi-thread-cutoff za večnitno nalaganje velikih datotek, --buffer-size za določitev velikosti medpomnilnikov v RAM-u itd.

Za zbirke z veliko majhnimi datotekami je običajno dobro povečati --transfers y --checkersin dodajte --fast-list v zalednih sistemih, ki podpirajo učinkovito rekurzivno izpisovanje. Da, resnično, --fast-list Porabi več pomnilnika, ker rclone vnaprej shrani celoten seznam, zato je priporočljivo, da ga izmerite in ne pretiravate z njegovo uporabo na strojih z omejenim RAM-om.

Omejitev pasovne širine je nadzorovana z --bwlimitki celo podpira vozne redeNekaj ​​takega --bwlimit "08:00,1M 18:00,off" Omogoča nemoteno delovanje med delovnim časom in visoko hitrost ponoči. Uporaba te možnosti pomaga preprečiti, da bi varnostno kopiranje prekinilo celotno internetno povezavo v pisarni.

Filtri so še en temeljni steber: z --include, --exclude, --filter-from, --min-size, --max-ageitd., lahko natančno določite, kaj se kopira in kaj ne.Dobro zasnovana datoteka filtra vam prihrani ure nepotrebnega prenosa (na primer z izključitvijo node_modules, .git, zakladi, velikanski hlodi itd.).

Kar zadeva tipične težave, boste v storitvah Google Drive in podobnih storitvah večinoma opazili napake pri preverjanju pristnosti ali omejitve API-ja.V teh primerih je priporočljivo, da daljinski upravljalnik ponovno povežete z rclone config reconnectRazmislite o uporabi lastnega ID-ja stranke v konzoli Google in zmanjšanju vzporednosti ter števila TPS (--tpslimit) če dosegate omejitve hitrosti.

Ko gre res kaj narobe, sta rcloneov način za odpravljanje napak in izpisi glav v veliko pomoč.: zaženite ukaz z -vv --dump headers ali celo --dump bodies (Previdno, ker je zelo podrobno) Običajno razkrije, kaj zaledni sistem vrača in zakaj. In če sumite na napako, naredite posnetek zaslona z -vv In odpiranje težave v repozitoriju projekta GitHub je najhitrejši način za pridobitev pomoči.

Z vsem zgoraj navedenim postane rclone osrednji del za vse, ki se vsakodnevno zanašajo na shranjevanje v oblaku.Ne glede na to, ali ga uporabljate za šifrirane varnostne kopije pri več ponudnikih, nastavitev Google Drive na medijskem strežniku, migracijo podatkov med vedri S3, avtomatizacijo varnostnih kopij baz podatkov ali preprosto preprečevanje polnjenja trdega diska vašega Raspberry Pi-ja, ko enkrat osvojite sintakso in oddaljeni dostop, postane orodje, h kateremu se vedno vrnete, ko pomislite: "To se zagotovo da narediti z rclone."