Praktický Rclone: ​​synchronizace, šifrování a automatizace cloudových záloh

Rclone to se stalo jeden z nejkomplexnějších nástrojů pro cloudové úložištěJediný nástroj příkazového řádku schopný komunikovat s desítkami různých služeb, kopírovat data mezi nimi, připojovat cloudové služby, jako by se jednalo o lokální disky… A to vše se šifrováním a pokročilou automatizací. Pokud spravujete servery, používáte více cloudových služeb nebo chcete mít jednoduše robustní zálohy, rclone je přesně ten typ nástroje, který změní způsob vaší práce.

En tento průvodce Naučíte se, jak nainstalovat rclone na hlavní systémy, konfigurovat vzdálené ovladače pro služby jako Google Drive, OneDrive, S3 nebo B2, porozumět rozdílům s rsync, nastavit cloudy pomocí FUSE, šifrovat data, automatizovat zálohy pomocí cronu nebo systemd a řešit typické problémy s výkonem, ověřováním nebo omezeními API.

Co je rclone a jak se liší od rsync?

Rklon je Open-source program příkazového řádku určený pro správu souborů v cloudovém úložištiPodporuje více než 70 poskytovatelů: Google Drive, Google Photos, OneDrive (osobní, firemní a SharePoint), Dropbox, Box, MEGA, pCloud, Proton Drive, služby S3 (AWS, Wasabi, Cloudflare R2, Backblaze B2…), Google Cloud Storage, Azure Blob, WebDAV (Nextcloud, ownCloud), SFTP/FTP, SMB/CIFS, HTTP a mnoho dalších.

Na koncepční úrovni, rclone Rozšiřuje myšlenku rsync do cloudového světa. Synchronizuje adresáře, kopíruje data a provádí jednosměrné nebo obousměrné zrcadlení, ale také rozumí cloudovým API, opakovaným pokusům, limitům šířky pásma, mezipamětím a metadatům specifickým pro backend. Zatímco rsync se zaměřuje na lokální cesty nebo SSH, rclone mluví jazykem API každého poskytovatele.

Klíčovým praktickým rozdílem je zaměření. Rsync funguje dobře v lokálním prostředí nebo v prostředí SSH. rclone je optimalizován pro cloudyVí, kdy využít kopírování na straně serveru (kopírování přímo mezi kontejnery bez nutnosti procházet vaším počítačem), jak rozdělit velmi velké soubory na bloky nebo co dělat s metadaty, jako je Content-Type, oprávnění nebo verze.

S možnostmi jako --multi-thread-streams nebo paralelní převody, rclone dokáže snadno překonat rsync až 4x. při kopírování přes síť. Zejména u backendů, které podporují blokové nahrávání (S3, GCS, B2 atd.). Nabízí také transparentní šifrování, připojení FUSE, vrstvy více vzdálených spojení a malý integrovaný server HTTP/WebDAV/FTP.

Kompatibilní služby a interní architektura rclone

El podpora dodavatelů Toto je jedna ze silných stránek rclone. V praxi můžete definovat libovolný počet „vzdálených zařízení“: každé vzdálené zařízení popisuje připojení (například gdrive: pro osobní Disk Google, onedrive: pro OneDrive pro firmy, s3-backup: pro kbelík S3, nextcloud: přes WebDAV atd.).

Pro koncové uživatele rclone snadno pokrývá nejběžnější cloudové služby.Disk Google/Fotky, OneDrive (včetně SharePointu), Dropbox, Box, MEGA, pCloud, Proton Drive a další služby zaměřené na ochranu soukromí. To vám umožňuje centralizovat úkoly do jednoho příkazu, které dříve vyžadovaly více aplikací nebo oficiálních klientů.

V podnikovém a vývojovém prostředí dominuje rclone celému světu S3 a podobných systémů.Amazon S3 Standard, Google Cloud Storage, Azure Blob Storage, Backblaze B2, Wasabi, Cloudflare R2 a řada kompatibilních poskytovatelů (MinIO, Ceph atd.). Všechny jsou spravovány stejnou základní syntaxí, mění se pouze vzdálený ovladač.

Týkající se samohostované protokoly a systémyrclone podporuje SFTP, FTP, WebDAV, SMB/CIFS a dokonce i HTTP. To znamená, že jej můžete použít ke kopírování ze SFTP serveru do úložiště S3, přenosu dat z Nextcloudu do lokální složky nebo hromadnému stahování z webového serveru bez nutnosti použití jakýchkoli dalších nástrojů.

Interně je rclone organizován do několika vrstev: jádra, které orchestruje operace (Rclone Core), vrstvy VFS používané při připojování v mezipaměti, vrstvy Crypt, která šifruje/dešifruje za běhu, a vrstvy Chunker, která rozděluje velké soubory do bloků v backendech, které to vyžadují. Pod tím vším stojí společná abstrakce backendu, která skrývá specifika každého dodavatele.

Systémové požadavky a instalace ve Windows, Linuxu a macOS

Rclone je velmi lehký, ale je důležité pochopit základní požadavky. Funguje s 512 MB RAM, i když pro intenzivní použití (připojení s mezipamětí, mnoho simultánních přenosů) se doporučují 2 GB nebo více. Na úrovni CPU stačí 1 vCPU, ale pár jader pomáhá využít paralelní přenosy. Na disku se bootuje se 100 MB volného místa, ale pokud budete používat VFS mezipaměť, doporučuje se rezervovat alespoň 1 GB.

V Linuxu se doporučuje moderní jádro (ideálně 5.4+ s FUSE3)Zvláště pokud chcete připojovat vzdálené systémy jako souborové systémy. Co se týče distribucí, rclone funguje prakticky na jakékoli současné verzi (Ubuntu, Debian, Fedora atd.), pokud máte oprávnění curl nebo wget a sudo.

Podrobná instalace ve Windows

Ve Windows máte tři hlavní způsoby, jak nainstalovat rclone.Od nejkontrolovanějších po nejautomatičtější. Podstatné je, že nakonec dosáhnete rclone.exe přístupné z jakékoli konzole (CMD nebo PowerShell).

A) Stáhněte si manuál z oficiálních webových stránek (doporučeno, pokud chcete mít jasno v tom, co instalujete):

1. Stáhněte si ZIP soubor pro vaši architekturu.Například rclone-v1.xx.x-windows-amd64.zip pro 64 bitů.
2. Rozbalte soubor do pevné složkynapříklad C:\rclonekde zůstane rclone.exe a několik textových souborů.
3. Přidat C:\rclone k systémové cestě PATH (Ovládací panely → Systém → Pokročilé nastavení → Proměnné prostředí → Upravit CESTA → Nový → C:\rclone).

B) Instalace s Wingetem ve Windows 10/11Perfektní, pokud již používáte správce balíčků od Microsoftu:

1. Instalace rclone: winget install Rclone.Rclone
2. V případě potřeby odinstalujte: winget uninstall Rclone.Rclone --force

C) Čokoládový pro ty, kteří mají automatizovaný systémový software:

1. Instalace rclone: choco install rclone
2. Pokud chcete připojit disky, nainstalujte také WinFsp: choco install winfsp

Instalace na Ubuntu/Debian a další Linuxové systémy

V Linuxu je nejjednodušší a vždy aktuální metodou oficiální skript.Stáhněte a nainstalujte nejnovější stabilní verzi (nebo beta verzi) pomocí jediného příkazu:

• Stabilní verze: sudo -v ; curl https://rclone.org/install.sh | sudo bash
• Beta verze: sudo -v ; curl https://rclone.org/install.sh | sudo bash -s beta

Pokud dáváte přednost absolutní kontrole, můžete si stáhnout balíček .deb beton a spravovat to s tím dpkg:

• Stáhnout: wget https://downloads.rclone.org/v1.xx.x/rclone-v1.xx.x-linux-amd64.deb 
• Nainstalujte: sudo dpkg -i rclone-v1.xx.x-linux-amd64.deb
• Pokud závislosti chybí: sudo apt -f install

U pojistkových sestav je důležité nainstalovat fuse3 a dovolit allow_other en /etc/fuse.confodkomentování odpovídajícího řádku. Poté obvykle postačí restart nebo opětovné načtení služby.

Instalace na macOS

V systému macOS vám Homebrew výrazně usnadňuje životS několika příkazy máte rclone připravený k použití:

• Instalace s Brew: brew install rclone
• Pravidelně aktualizujte s brew upgrade rclone 

Pokud se nechcete spoléhat na Homebrew, můžete zvolit ruční instalaci. Stažení ZIP souboru macOS, jeho extrahování a přesunutí binárního souboru do /usr/local/bin stejně jako v Linuxu. Další použití je identické: rclone version aby se zkontrolovalo, zda je vše v pořádku.

První kroky: základní nastavení a koncept „vzdáleného“ ovládání

Srdcem rclone je konfigurační souborkde definujete své dálkové ovladače. Ve výchozím nastavení se nachází v ~/.config/rclone/rclone.conf (Linux/macOS) nebo v cestě uvedené v %APPDATA% ve Windows a spravuje se pomocí interaktivního průvodce rclone config.

Každý vzdálený objekt je sekce INI, která seskupuje parametry připojení.: typ backendu, přihlašovací údaje, region, speciální možnosti atd. Typickým příkladem pro Disk Google by bylo něco jako [gdrive] s jeho type = drive, scope = drive a token OAuth uložený ve formátu JSON.

Chcete-li spustit průvodce, Otevřete terminál a spusťte rclone configZobrazí se nabídka s několika možnostmi: vytvořit nový dálkový ovladač, upravit stávající, smazat, přejmenovat, zašifrovat konfiguraci atd. Obvykle je nejprve nutné stisknout n pro „Nový dálkový ovladač“.

V případě Disku GoogleTypický postup vzdáleného vytváření zahrnuje několik kroků: výběr typu „disku“, rozhodnutí, zda použít vlastní ID klienta (doporučeno, aby se zabránilo přísným omezením Googlu), výběr rozsahu (drive plný, pouze pro čtení atd.), používat automatické ověřování v prohlížeči a volitelně uvádět, zda se jedná o sdílený disk.

Pokud jste v a server bez prohlížeče (SSH, VPS, kontejner bez GUI), rclone umožňuje autorizaci z jiného počítače. Když se průvodce zeptá „Použít automatickou konfiguraci?“, odpovězte ne a rclone zobrazí příkaz. rclone authorize "drive" který musíte spustit na svém počítači pomocí prohlížeče, zkopírovat výsledný token a vložit jej do příslušného pole na serveru.

Základní syntaxe, vzdálené trasy a základní příkazy

Obecná syntaxe příkazu rclone je velmi konzistentní a snadno zapamatovatelné: rclone [opciones] subcomando origen [destino]Podpříkaz může být copy, sync, ls, mount, moveatd. Původ a cíl jsou lokální nebo vzdálené trasy daného stylu remote:path/to/dir.

Trasa /path/to/dir ukazuje na lokální souborový systémZatímco remote:path/to/dir Toto se vztahuje na adresář v rámci vzdáleného serveru definovaného v konfiguraci. Ve většině backendů, remote:/path/to/dir Je to ekvivalentní témuž, s výjimkou několika zvláštních případů (FTP, SFTP, Dropbox Business), kde předpona / mění význam (kořenový adresář vs. domovský adresář).

Nejužitečnější příkazy pro výpis, se kterými můžete začít, jsou ls, lsl, lsd y treeNapříklad pro zobrazení souborů ve složce na Disku Google o velikosti: rclone ls gdrive:DocumentosChcete-li zobrazit pouze adresáře: rclone lsd gdrive:Pokud chcete vizuálnější strom: rclone tree gdrive:Proyectos --level 3.

Kopírování souborů je stejně jednoduché jako rclone copy origen destino. Praktické příklady:

• Místní → cloud: rclone copy C:\Users\usuario\Documents onedrive:backup/documents -P
• Cloud → lokální: rclone copy onedrive:photos C:\Users\usuario\Pictures -P
• Cloud → cloud (pokud možno na straně serveru): rclone copy gdrive:data onedrive:backup -P

Podpříkaz sync shoduje cíl s výchozím bodemVymaže z osudu to, co již neexistuje v počátcích. Je to docela nebezpečné, pokud to nepoužíváte moudře, takže to zpočátku vždy doprovázejte... --dry-run a pokud chcete, --interactive vyžádat si potvrzení před destruktivními operacemi.

Pro obousměrnou synchronizaci existuje rclone bisynccož je stále experimentálníSleduje změny na obou stranách, aby byly sladěné, což je užitečné v určitých offline pracovních scénářích, ale než jej svěříte do svého digitálního života, je nejlepší jej důkladně otestovat s nekritickými daty.

Připojte cloudové disky jako lokální disky pomocí FUSE a mezipaměti VFS

Jednou z hlavních funkcí rclone je možnost připojení dálkového ovladače, jako by to byl pevný diskTo vám umožňuje procházet cloud z Průzkumníka souborů, přímo upravovat dokumenty nebo nasměrovat aplikace (indexátory médií, editory atd.) na vzdálené cesty, aniž by věděly, že za nimi existuje cloud.

Ve Windows se připojení provádí přiřazením písmene jednotky nebo vytvořením síťové jednotky.. Například:

• Připojte OneDrive jako disk X: rclone mount onedrive: X: --vfs-cache-mode full
• Připojit jako síťový disk: rclone mount onedrive: X: --network-mode --vfs-cache-mode full

V systémech Linux a macOS se v souborovém systému používá přípojný bod., obvykle s POJISTKOU:

• Vytvořit adresář: mkdir -p ~/OneDrive
• Připojit na pozadí (démon): rclone mount onedrive: ~/OneDrive --vfs-cache-mode full --daemon

Klíčovým parametrem je zde --vfs-cache-mode, který řídí chování mezipaměti:

• offBez mezipaměti, maximální výkon čtení, ale některé aplikace s tím nefungují dobře.
• minimalMinimální vyrovnávací paměť potřebná pro fungování základních funkcí zápisu.
• writes: ukládá do mezipaměti, zapisuje je a nahrává později, užitečné, pokud soubory upravujete, ale nepotřebujete agresivní čtení mezipaměti.
• fullPlná mezipaměť pro čtení a zápis, doporučeno pro připojení, která budou použita, jako by se jednalo o skutečné disky (multimédia, IDE atd.).

Pro streamovací služby nebo mediální katalogy (Plex, Jellyfin atd.) se obvykle používá --vfs-cache-mode full plus dobrá velikost mezipaměti (--vfs-cache-max-size, --buffer-size) a velkorysou retenční dobou (--vfs-cache-max-age, --dir-cache-time), aby server nemusel neustále generovat seznamy.

Grafické rozhraní: Rclone Web GUI, Rclone UI a RcloneBrowser

Ačkoli se rclone zrodil jako čistě nástroj pro rozhraní příkazového řádku (CLI), dnes... Existuje několik způsobů, jak jej použít s grafickým rozhranímTo je ideální, pokud chcete delegovat úkoly na někoho, kdo si s terminálem není jistý, nebo pokud chcete mít o převodech přehlednější přehled.

Samotný nástroj obsahuje experimentální webové grafické uživatelské rozhraní., který je spuštěn pomocí:

• rclone rcd --rc-web-gui --rc-user=admin --rc-pass=password
• Pak nasměrujete prohlížeč na http://localhost:5572 a přihlásíte se s tímto uživatelským jménem a heslem.

Navíc, Existují velmi propracované grafické uživatelské rozhraní třetích stranJednou z nejkomplexnějších možností je Rclone UI, desktopová aplikace pro Windows, macOS a Linux, která podporuje drag and drop, plánování úloh, více souběžných přenosů a vizuální ukazatele průběhu. Další dlouhodobou alternativou je Rclone Browser, dostupný dokonce jako AppImage na Linuxu, což je dostačující pro mnoho uživatelů, kteří potřebují spravovat pouze občasné zálohy.

Pokud patříte k těm lidem, kteří žijí na konzoli, ale nechtějí mít tolik starostí na mobilu, Existuje také několik aplikací pro Android, které integrují rclone.mnoho z nich soubor přímo znovu používá rclone.conf které vygenerujete na počítači. Jednoduše zkopírujte tento konfigurační soubor do cesty uvedené aplikací a budete mít dálkové ovladače připravené i na svém mobilním zařízení.

Transparentní šifrování s kryptografickým a konfiguračním zabezpečením

Jednou z velkých atrakcí rclone je abyste mohli šifrovat data předtím, než opustí váš počítač. Backend crypt Funguje jako vrstva nad jinou vzdálenou vrstvou: vidíte normální názvy souborů, ale šifrované názvy a obsah jsou uloženy v cloudu.

Typická konfigurace vzdáleného šifrování zahrnuje vytvořit nový dálkový ovladač typu crypt a nasměrujte ho na trasu z jiného vzdáleného zařízení, například: remote = gdrive:encryptedDále si vyberete režim šifrování jména (standardní, obfuscate nebo vypnuto) a definujete heslo (a volitelně i druhou „solt“ pro posílení šifrování).

Po vytvoření, Provoz se vzdáleným šifrováním je zcela transparentníPokud ano rclone copy /datos/sensibles gdrive-crypt:Na Disku Google uvidíte pouze podivné názvy a nečitelný obsah. Z zašifrovaného vzdáleného ovladače se však vaše cesty a soubory zobrazí přesně tak, jak jsou.

Konfigurační soubor rclone může a měl by být chráněn, pokud obsahuje citlivé přihlašovací údaje.Samotný příkaz rclone umožňuje zašifrovat tento soubor: v nabídce rclone config Zvolíte možnost nastavení konfiguračního hesla, zadáte klíč a od té doby bude program toto heslo vyžadovat pro čtení rclone.conf.

V automatizovaných prostředích můžete heslo zadat pomocí proměnné prostředí.RCLONE_CONFIG_PASS o con --password-commandaby skripty, cron nebo služby systemd mohly používat rclone bez ručního zásahu, ale bez ponechání hesla viditelného v prostém textu.

Automatizace záloh a plánovaných úloh

Kde rclone skutečně vyniká, jsou opakované zálohy a plánované synchronizace.Můžete použít jak nativní plánovače jednotlivých systémů (Plánovač úloh ve Windows, cron v Linuxu, časovače systemd), tak i vlastní skripty, které zahrnují oznámení a čištění starých verzí.

Ve Windows umožňuje Plánovač úloh spustit rclone v určitých časech s konkrétními parametry.Například pro synchronizaci důležité složky s OneDrivem každou noc. Výstup můžete uložit do souboru protokolu a povolit opakování, pokud úloha selže.

V Linuxu je nejběžnější praxí připravit si malý zálohovací skript a připojit ho do cronu.. Například a rclone sync /datos/ gdrive-crypt:backups/ denně ve 2:00, s --log-file, --fast-list a filtry pro vyloučení dočasných souborů nebo velkých protokolů.

Pokud chcete jít ještě o krok dál, můžete Kombinujte rclone se systemd pro připojení vzdálených serverů při bootování nebo pro spuštění záložních skriptů jako služeb a časovačů.To poskytuje mnohem lepší přehled (logy integrované do žurnálů, kontrola síťových závislostí, automatické restarty v případě selhání atd.) a na moderních systémech je obvykle lepší než cron.

Skvělé je, že rclone nabízí příznaky určené pro seriózní zálohy.: --backup-dir y --suffix odeslat starší verze do složky historie, --checksum porovnat s hashem, pokud to backend podporuje, --max-transfer y --bwlimit aby se zabránilo přetížení šířky pásma nebo překročení denních kvót, nebo --track-renames detekovat přejmenované soubory namísto jejich mazání a opětovného nahrání.

Optimalizace výkonu, pokročilé filtry a řešení problémů

Když začnete přesouvat mnoho gigabajtů nebo milionů souborů, detaily hrají klíčovou roli.Rclone nabízí arzenál možností výkonu: --transfers pro nastavení počtu paralelních stoupání/klesání, --checkers pro šeky, --multi-thread-streams y --multi-thread-cutoff pro vícevláknové nahrávání velkých souborů, --buffer-size definovat velikost vyrovnávacích pamětí v RAM atd.

U kolekcí s mnoha malými soubory je obvykle vhodné zvýšit --transfers y --checkersa přidejte --fast-list v backendech, které podporují efektivní rekurzivní výpisy. Ano vskutku, --fast-list Spotřebovává více paměti, protože rclone předem ukládá celý seznam, takže je vhodné jej měřit a na počítačích s omezenou pamětí RAM jej nepřehánět.

Omezení šířky pásma je řízeno pomocí --bwlimitkterý dokonce podporuje jízdní řádyNěco takového --bwlimit "08:00,1M 18:00,off" Umožňuje plynulý provoz během pracovní doby a v noci nabízí vysokou rychlost. Použití této možnosti pomáhá zabránit tomu, aby zálohování přerušilo celou kancelářskou internetovou konektivitu.

Filtry jsou dalším základním pilířem: s --include, --exclude, --filter-from, --min-size, --max-ageatd., můžete přesně určit, co se kopíruje a co ne.Dobře navržený filtrační soubor vám ušetří hodiny zbytečného přenosu (například vyloučením node_modules, .git, keše, obří logy atd.).

Pokud jde o typické problémy, většinou se setkáte s chybami ověřování nebo omezeními API v Disku Google a podobných službách.V takových případech je vhodné dálkový ovladač znovu připojit k rclone config reconnectZvažte použití vlastního ID klienta v konzoli Google a omezení paralelismu a TPS (--tpslimit) pokud dosahujete limitů rychlosti.

Když se věci opravdu pokazí, ladicí režim a výpisy hlaviček v rclone jsou obrovskou pomocí.spusťte příkaz pomocí -vv --dump headers nebo dokonce --dump bodies (Opatrně, protože je to velmi podrobné) Obvykle to odhalí, co backend vrací a proč. A pokud máte podezření na chybu, udělejte snímek obrazovky s -vv A otevření problému v repozitáři projektu na GitHubu je nejrychlejší způsob, jak získat pomoc.

Díky všemu výše uvedenému se rclone stává ústředním prvkem pro každého, kdo se denně spoléhá na cloudové úložiště.Ať už jej používáte k šifrovaným zálohám mezi různými poskytovateli, nastavení Disku Google na mediálním serveru, migraci dat mezi úložišti S3, automatizaci zálohování databází nebo jednoduše k zabránění zaplnění pevného disku Raspberry Pi, jakmile si osvojíte syntaxi a vzdálený přístup, stane se nástrojem, ke kterému se vždy vrátíte, když si pomyslíte: „Tohle se s rclone rozhodně dá udělat.“