Rclone

Rclone
Originalförfattare Nick Craig-Wood
Utvecklare Nick Craig-Wood, Ivan Andreev
Initial release 3 juli 2014 ; för 8 år sedan ( 2014-07-03 )
Förvar github .com /rclone /rclone
Skrivet i Gå
Operativ system Linux , Windows , macOS , FreeBSD , NetBSD , OpenBSD , Plan9 , Solaris
Plattform Intel/AMD-64, Intel/AMD-32, ARM-32, ARM-64, MIPS-Big-Endian, MIPS-Little-Endian
Licens MIT
Hemsida rclone .org

Rclone är ett datorprogram med öppen källkod , flera trådar , kommandorad för att hantera eller migrera innehåll på moln och annan lagring med hög latens . Dess funktioner inkluderar synkronisering , överföring , kryptering , cache , union , komprimering och montering . Webbplatsen rclone listar backends som stöds inklusive S3 och Google Drive .

Beskrivningar av rclone bär ofta strapline Rclone synkroniserar dina filer till molnlagring . De före 2020 inkluderar alternativet Rsync for Cloud Storage .

Rclone är välkänt för sina kommandon rclone sync och rclone mount . Den tillhandahåller ytterligare hanteringsfunktioner analoga med de som vanligtvis används för filer på lokala diskar, men som tolererar vissa intermittenta och opålitliga tjänster. Rclone är vanligtvis ett gränssnitt för mediaservrar som Plex , Emby eller Jellyfin för att strömma innehåll direkt från konsumentfillagringstjänster .

Officiella Ubuntu , Debian , Fedora , Gentoo , Arch , Brew , Chocolatey och andra pakethanterare inkluderar rclone.

Historia

Nick Craig-Wood inspirerades av rsync . Oron för buller och energikostnader som uppstod från hemdatorservrar fick honom att anamma molnlagring och han började utveckla rclone som programvara med öppen källkod 2012 under namnet swiftsync .

Rclone flyttades upp till stabil version 1.00 i juli 2014.

I maj 2017 blockerade Amazon nya rclone-användare från sin konsumentprodukt för Amazon Drive- fillagring. Amazon Drive hade annonserats för att erbjuda obegränsad lagring för £55 per år. Amazon skyllde på säkerhetsproblem och förbjöd även andra uppladdningsverktyg. Amazons AWS S3-tjänst fortsätter att stödja nya rclone-användare.

Den ursprungliga rclone-logotypen togs bort för att ersättas med den nuvarande i september 2018.

I mars 2020 sa Nick Craig-Wood upp sig från Memset Ltd, ett molnvärdföretag som han grundade, för att fokusera på programvara med öppen källkod.

Amazons blogg för den offentliga sektorn AWS april 2020 förklarade hur Fred Hutch Cancer Research Center använde rclone i sitt Motuz-verktyg för att migrera mycket stora biomedicinska forskningsdatauppsättningar in och ut ur AWS S3-objektbutiker.

I november 2020 uppdaterades rclone för att rätta till en svaghet i hur det genererade lösenord. Lösenord för krypterade fjärrkontroller kan genereras slumpmässigt av rclone eller tillhandahållas av användaren. I alla versioner av rclone från 1.49.0 till 1.53.2 var startvärdet för genererade lösenord baserat på antalet sekunder som förflutit under dagen, och därför inte riktigt slumpmässigt. CVE -2020-28924 rekommenderade användare att uppgradera till den senaste versionen av rclone och kontrollera lösenorden som skyddar deras krypterade fjärrkontroller.

Release 1.55 av rclone i mars 2021 inkluderade funktioner sponsrade av CERN och deras CS3MESH4EOSC-projekt. Arbetet av EU för att främja leverantörsneutrala applikationsprogrammeringsgränssnitt och protokoll för synkronisering och delning av akademisk data om molnlagring.

Backends och kommandon

Rclone stöder följande tjänster som backends. Det finns andra, byggda på standardprotokoll som WebDAV eller S3, som fungerar. WebDAV-backends stöder inte rclone-funktionalitet beroende på serversidans checksumma eller modtime.

Fjärrkontroller definieras vanligtvis interaktivt från dessa backends, lokal disk eller minne (som S3), med rclone config . Rclone kan ytterligare linda dessa fjärrkontroller med en eller flera fjärrkontroller för alias , chunk , compress , crypt eller union .

När de väl har definierats refereras fjärrkontrollerna av andra rclone-kommandon omväxlande med den lokala enheten. Fjärrnamn följs av ett kolon för att skilja dem från lokala enheter. Till exempel, en fjärrexempel_fjärr som innehåller en mapp, eller pseudofolder, myfolder hänvisas till inom ett kommando som en sökväg example_remote:/myfolder .

Rclone-kommandon tillämpas direkt på fjärrkontroller, eller montera dem för filåtkomst eller streaming. Med lämpliga cache-alternativ kan monteringen adresseras som om en konventionell skiva på blocknivå . Kommandon tillhandahålls för att betjäna fjärrkontroller över SFTP , HTTP , WebDAV , FTP och DLNA . Kommandon kan ha underkommandon och flaggor. Filter bestämmer vilka filer på en fjärrkontroll som rclone-kommandon tillämpas på.

rclone rc skickar kommandon eller nya parametrar till befintliga rclone-sessioner och har ett experimentellt webbläsargränssnitt.

Krypt fjärrkontroller

Rclones krypta implementerar kryptering av filer i vila i molnlagring. Den lägger en krypterad fjärrkontroll över en redan existerande, moln eller annan fjärrkontroll. Krypta används vanligtvis för att kryptera/dekryptera media, för streaming, på konsumentlagringstjänster som Google Drive .

Rclones konfigurationsfil innehåller kryptlösenordet. Lösenordet kan vara lätt fördunklat, eller hela rclone.conf-filen kan krypteras.

Crypt kan antingen kryptera filinnehåll och namn, eller dessutom fullständiga sökvägar. I det senare fallet finns det en potentiell kollision med kryptering för molnbackends, som Microsoft OneDrive , med begränsade sökvägslängder. Krypteringsfjärrkontroller krypterar inte objektets ändringstid eller storlek. Krypteringsmekanismen för innehåll, namn och sökväg finns tillgänglig, för granskning, på rclones webbplats. Nyckelhärledning är med scrypt .

Exempelsyntax (Linux)

Dessa exempel beskriver sökvägar och filnamn men objektnycklar fungerar på liknande sätt.

För att rekursivt kopiera filer från katalogen remote_stuff , på fjärrens xmpl , till katalogen saker i hemmappen:- 

 $  rclone copy -v -P xmpl:/remote_stuff ~/stuff

-v möjliggör loggning och -P , förloppsinformation. Som standard kontrollerar rclone filens integritet (hash) efter kopiering; kan försöka igen varje fil upp till tre gånger om operationen avbryts; använder upp till fyra parallella överföringstrådar och tillämpar inte bandbreddsbegränsning.

Om du kör kommandot ovan igen kopieras alla nya eller ändrade filer på fjärrkontrollen till den lokala mappen men, som standardbeteende för rsync, kommer inte filer som har tagits bort från fjärrkontrollen att raderas från den lokala katalogen.

För att dessutom ta bort filer från den lokala mappen som har tagits bort från fjärrkontrollen - mer som beteendet hos rsync med en --delete -flagga:- 

 $  rclone sync xmpl:/remote_stuff ~/stuff

Och att ta bort filer från källan efter att de har överförts till den lokala katalogen - mer som beteendet hos rsync med en --remove-source-file- flagga:- 

 $  rclone flytta xmpl:/remote_stuff ~/stuff

För att montera fjärrkatalogen vid en monteringspunkt i den redan existerande, tomma katalogen i hemkatalogen (et-tecken i slutet gör att monteringskommandot körs som en bakgrundsprocess):- 

 $  rclone mount xmpl:/remote_stuff ~/stuff  &

Standard syntax för rclone kan ändras. Alternativa överförings-, filter-, konflikt- och backend-specifika flaggor är tillgängliga. Prestandaval inkluderar antalet samtidiga överföringstrådar; bitstorlek; bandbreddsbegränsningsprofilering och cache-aggression.

Exempelsyntax (Windows)

Dessa exempel beskriver sökvägar och filnamn men objektnycklar fungerar på liknande sätt.

För att rekursivt kopiera filer från katalogen remote_stuff , på fjärrens xmpl , till katalogen på E-enheten:- 

 >  rclone copy -v -P xmpl:remote_stuff E:\stuff

-v möjliggör loggning och -P , förloppsinformation. Som standard kontrollerar rclone filens integritet (hash) efter kopiering; kan försöka igen varje fil upp till tre gånger om operationen avbryts; använder upp till fyra parallella överföringstrådar och tillämpar inte bandbreddsbegränsning.

Om du kör kommandot ovan igen kopieras alla nya eller ändrade filer på fjärrkontrollen till den lokala katalogen men kommer inte att raderas från den lokala katalogen.

För att dessutom ta bort filer som tagits bort från fjärrkontrollen också från den lokala katalogen: -

 >  rclone sync xmpl:remote_stuff E:\stuff

Och för att ta bort filer från källan efter att de har överförts till den lokala katalogen: -

 >  rclone flytta xmpl:remote_stuff E:\stuff

Så här monterar du fjärrkatalogen från en oanvänd enhetsbeteckning eller vid en monteringspunkt i en icke-existerande katalog:-

 >  rclone mount xmpl:remote_stuff X: 
 >  rclone mount xmpl:remote_stuff E:\stuff

Standard syntax för rclone kan ändras. Alternativa överförings-, filter-, konflikt- och backendspecifika alternativ är tillgängliga. Prestandaval inkluderar antalet samtidiga överföringstrådar; bitstorlek; bandbreddsbegränsningsprofilering och cache-aggression.

Akademisk utvärdering

Under 2018 publicerade forskare vid University of Kentucky ett konferensdokument som jämförde användningen av rclone och andra kommandorader, molndataöverföringsagenter för big data . Uppsatsen publicerades som ett resultat av finansiering från National Science Foundation .

Senare samma år undersökte University of Utahs Center for High Performance Computing effekten av rclone-alternativ på dataöverföringshastigheter.

Rklonanvändning på HPC-forskningsplatser

Exempel är University of Maryland , Iowa State University , Trinity College Dublin , NYU , BYU , Indiana University , CSC Finland , Utrecht University , University of Nebraska , University of Utah , North Carolina State University , Stony Brook , Tulane University , Washington State University , Georgia Tech , National Institutes of Health , Wharton , Yale , Harvard , Minnesota , Michigan State , Case Western Reserve University , University of South Dakota , Northern Arizona University , University of Pennsylvania , Stanford , University of Southern California , UC Santa Barbara , UC Irvine , UC Berkeley och SURFnet .

Rklon och cyberbrottslighet

Maj 2020 rapporterar att rclone hade använts av hackare för att utnyttja Diebold Nixdorf- uttagsautomater med ProLock ransomware . FBI med kompromissen. De utfärdade ytterligare en relaterad varning 20200901–001 i september 2020. Angripare hade exfiltrerat/krypterat data från organisationer inblandade inom hälsovård, byggverksamhet, finans och juridiska tjänster. Flera amerikanska statliga myndigheter och industriella enheter påverkades. Forskare fastställde att hackarna tillbringade ungefär en månad med att utforska de brutna nätverken och använde rclone för att arkivera stulen data till molnlagring, innan de krypterade målsystemet. Rapporterade mål inkluderade LaSalle County och staden Novi Sad .

FBI varnade januari 2021, i privat industrimeddelande 20210106–001, för utpressningsaktivitet med Egregor ransomware och rclone. Organisationer över hela världen hade hotats med offentligt släpp av exfiltrerad data. I vissa fall hade rclone maskerats under namnet svchost . Bokhandlaren Barnes & Noble , den amerikanska återförsäljaren Kmart , spelutvecklaren Ubisoft och Vancouvers metrosystem har rapporterats som offer.

cybersäkerhetsutredning i april 2021 av SonicWall VPN nolldagars sårbarhet SNWLID-2021-0001 av FireEyes Mandiant -team etablerade angripare UNC2447 använde rclone för spaning och exfiltrering av offers filer. Analysrapport AR21-126A från Cybersecurity and Infrastructure Security Agency bekräftade denna användning av rclone i FiveHands ransomware-attacker.

I juni 2021 identifierade Microsoft Security Intelligence Twitter- inlägg användning av rclone i BazaCall cyberattacker. De skurkarna skickade e-postmeddelanden som uppmuntrade mottagare att kontakta ett falskt callcenter för att avbryta en betald tjänst. Callcenterteamet instruerade sedan offren att ladda ner en fientlig fil som installerade skadlig programvara på målnätverket, vilket i slutändan tillåter användning av rclone för hemlig utvinning av potentiellt känslig data.

Rclone Wars

I en bloggartikel från Star Wars Day 2021 tillkännagav Managed Security Service Provider Red Canary Rclone Wars , en anspelning på Clone Wars . Inlägget noterar olaglig användning av andra legitima filöverföringsverktyg i exfiltrerings- och utpressningsscheman men fokuserar på MEGAsync, MEGAcmd och rclone. För att identifiera användningen av omdöpta rclone-körbara filer på komprometterade enheter föreslår författarna att man övervakar efter distinkta rclone-toppnivåkommandon och kommandoradsflaggsträngar som remote: och \\ .

Rclone eller rsync

Rsync överför filer med andra datorer som har rsync installerat. Den fungerar på block- snarare än filnivå och har en deltaalgoritm så att den bara behöver överföra ändringar i filer. Rsync bevarar filattribut och behörigheter. Rclone har ett bredare utbud av innehållshanteringsfunktioner och typer av backend som den kan adressera, men fungerar bara på en hel fil-/objektnivå. Den bevarar för närvarande inte behörigheter och attribut. Rclone är utformad för att ha viss tolerans för intermittenta och opålitliga anslutningar eller fjärrtjänster. Dess överföringar är optimerade för nätverk med hög latens. Rclone bestämmer vilka av dessa hela filer/objekt som ska överföras efter att ha erhållit kontrollsummor, att jämföra, från fjärrservern. Där kontrollsummor inte är tillgängliga kan rclone använda objektstorlek och tidsstämpel.

Rsync är enkelgängad. Rclone är flertrådad med ett användardefinierat antal samtidiga överföringar.

Rclone kan överföra data mellan två helt avlägsna platser, ibland utan lokal nedladdning. Under en rsync-överföring måste ena sidan vara en lokal enhet.

Rclone ignorerar efterföljande snedstreck . Rsync kräver att de används korrekt. Rclone-filter kräver användning av ** för att referera till innehållet i en katalog. Rsync gör det inte.

Eponymous molnlagringstjänst rsync.net tillhandahåller fjärranslutna Unix-filsystem så att kunder kan köra rsync och andra standard Unix -verktyg. De erbjuder även rclone- konton.

Under 2016 sammanfattade en affisch på Hacker News rclones förhållande till rsync som:- ( rclone) finns för att ge dig rsync till saker som inte är rsync. Om du vill rsync till saker som är rsync, använd rsync .

Se även

externa länkar

Hämtad från " https://en.wikipedia.org/w/index.php?title=Rclone&oldid=1140909024 "