Rclone - ซิงค์ไดเรกทอรีไฟล์จากที่เก็บข้อมูลบนคลาวด์ที่แตกต่างกัน
Rclone เป็นโปรแกรมบรรทัดคำสั่งที่เขียนในภาษา Go ซึ่งใช้ในการซิงค์ไฟล์และไดเร็กทอรีจากผู้ให้บริการพื้นที่เก็บข้อมูลบนคลาวด์ต่างๆ เช่น Amazon Drive, Amazon S3, Backblaze B2, Box, Ceph, DigitalOcean Spaces, Dropbox, FTP, Google Cloud Storage, Google Drive ฯลฯ
อย่างที่คุณเห็น มันรองรับหลายแพลตฟอร์ม ซึ่งทำให้เป็นเครื่องมือที่มีประโยชน์ในการซิงค์ข้อมูลของคุณระหว่างเซิร์ฟเวอร์หรือที่เก็บข้อมูลส่วนตัว
Rclone มาพร้อมกับคุณสมบัติดังต่อไปนี้
- ตรวจสอบแฮช MD5/SHA1 ตลอดเวลาเพื่อให้มั่นใจถึงความสมบูรณ์ของไฟล์
- การประทับเวลาจะถูกเก็บรักษาไว้ในไฟล์
- การซิงค์บางส่วนรองรับทั้งไฟล์
- โหมดคัดลอกสำหรับไฟล์ใหม่หรือไฟล์ที่เปลี่ยนแปลง
- การซิงค์ทางเดียวเพื่อทำให้ไดเรกทอรีเหมือนกัน
- โหมดตรวจสอบ - ตรวจสอบความเท่าเทียมกันของแฮช
- สามารถซิงค์เข้าและออกจากเครือข่าย เช่น บัญชีคลาวด์สองบัญชีที่แตกต่างกัน
- (การเข้ารหัส) แบ็กเอนด์
- (แคช) แบ็กเอนด์
- (ยูเนี่ยน) แบ็กเอนด์
- ตัวยึด FUSE เสริม (ตัวยึด rclone)
วิธีการติดตั้ง rclone ในระบบ Linux
การติดตั้ง rclone สามารถทำได้สองวิธีที่แตกต่างกัน สิ่งที่ง่ายกว่าคือการใช้สคริปต์การติดตั้งโดยออกคำสั่งต่อไปนี้
curl https://rclone.org/install.sh | sudo bash
สิ่งที่สคริปต์นี้ทำคือการตรวจสอบประเภทของระบบปฏิบัติการที่ใช้งานอยู่และดาวน์โหลดไฟล์เก็บถาวรที่เกี่ยวข้องกับระบบปฏิบัติการนั้น จากนั้นจะแยกไฟล์เก็บถาวรและคัดลอกไบนารี rclone ไปยัง /usr/bin/rclone และให้สิทธิ์ 755 ในไฟล์
ท้ายที่สุด เมื่อการติดตั้งเสร็จสมบูรณ์ คุณจะเห็นบรรทัดต่อไปนี้:
Rclone v1.44 has successfully installed.
Now run “rclone config” for setup, Check https://rclone.org/docs/ for more details.
วิธีที่สองในการติดตั้ง rclone คือการใช้คำสั่งต่อไปนี้
curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
ตอนนี้คัดลอกไฟล์ไบนารีและให้สิทธิ์ในการปฏิบัติการ
cp rclone /usr/bin/
chown root:root /usr/bin/rclone
chmod 755 /usr/bin/rclone
ติดตั้ง manpage rclone
mkdir -p /usr/local/share/man/man1
cp rclone.1 /usr/local/share/man/man1/
mandb
วิธีกำหนดค่า rclone ในระบบ Linux
ถัดไปสิ่งที่คุณต้องทำคือเรียกใช้ rclone config เพื่อสร้างไฟล์กำหนดค่าของคุณ มันจะใช้สำหรับการรับรองความถูกต้องสำหรับการใช้งาน rclone ในอนาคต ในการรันการตั้งค่าคอนฟิกูเรชันให้รันคำสั่งต่อไปนี้
rclone config
คุณจะเห็นข้อความแจ้งต่อไปนี้:
2018/11/13 11:39:58 NOTICE: Config file “/home/user/.config/rclone/rclone.conf” not found - using defaults
No remotes found - make a new one
n) New remote
s) Set configuration password
q) Quit config
n/s/q>
ตัวเลือกมีดังนี้:
- n) – สร้างการเชื่อมต่อระยะไกลใหม่
- s) – ตั้งค่าการป้องกันด้วยรหัสผ่านสำหรับการกำหนดค่าของคุณ
- q) – ออกจากการกำหนดค่า
เพื่อวัตถุประสงค์ของบทช่วยสอนนี้ ให้กด "n" และสร้างการเชื่อมต่อใหม่ คุณจะถูกขอให้ตั้งชื่อการเชื่อมต่อใหม่ หลังจากนั้นคุณจะได้รับแจ้งให้เลือกประเภทของพื้นที่เก็บข้อมูลที่จะกำหนดค่า:
ฉันตั้งชื่อตามการเชื่อมต่อ “Google ” และเลือก “Google Drive ” ซึ่งอยู่ใต้หมายเลข 12 คำถามที่เหลือที่คุณสามารถตอบได้เพียงแค่ทิ้งคำตอบเริ่มต้นไว้ ซึ่งก็คือ “ ” ที่ว่างเปล่า
เมื่อได้รับแจ้ง คุณสามารถเลือก “autoconfig ” ซึ่งจะสร้างข้อมูลที่จำเป็นทั้งหมดเพื่อเชื่อมต่อกับ Google Drive ของคุณและให้สิทธิ์ rclone เพื่อ ใช้ข้อมูลจาก Google ไดรฟ์
กระบวนการนี้มีลักษณะดังนี้:
Google Application Client Secret - leave blank normally.
client_secret>
Scope that rclone should use when requesting access from drive.
Choose a number from below, or type in your own value
1 / Full access all files, excluding Application Data Folder.
\ "drive"
2 / Read-only access to file metadata and file contents.
\ "drive.readonly"
/ Access to files created by rclone only.
3 | These are visible in the drive website.
| File authorization is revoked when the user deauthorizes the app.
\ "drive.file"
/ Allows read and write access to the Application Data folder.
4 | This is not visible in the drive website.
\ "drive.appfolder"
/ Allows read-only access to file metadata but
5 | does not allow any access to read or download file content.
\ "drive.metadata.readonly"
scope> 1
ID of the root folder - leave blank normally. Fill in to access "Computers" folders. (see docs).
root_folder_id>
Service Account Credentials JSON file path - needed only if you want use SA instead of interactive login.
service_account_file>
Remote config
Use auto config?
* Say Y if not sure
* Say N if you are working on a remote or headless machine or Y didn't work
y) Yes
n) No
y/n> y
If your browser doesn't open automatically go to the following link: http://127.0.0.1:53682/auth
Log in and authorize rclone for access
Waiting for code...
Got code
Configure this as a team drive?
y) Yes
n) No
y/n> n
--------------------
[remote]
client_id =
client_secret =
scope = drive
root_folder_id =
service_account_file =
token = {"access_token":"XXX","token_type":"Bearer","refresh_token":"XXX","expiry":"2018-11-13T11:57:58.955387075Z"}
--------------------
y) Yes this is OK
e) Edit this remote
d) Delete this remote
y/e/d> y
วิธีใช้ rclone ในระบบ Linux
Rclone มีรายการตัวเลือกและคำสั่งที่ใช้ได้ค่อนข้างยาว เราจะพยายามครอบคลุมประเด็นที่สำคัญกว่าบางส่วน:
แสดงรายการไดเรกทอรีระยะไกล
rclone lsd <remote-dir-name>:
คัดลอกข้อมูลด้วย rclone
rclone copy source:sourcepath dest:destpath
โปรดทราบว่าหาก rclone พบรายการที่ซ้ำกัน สิ่งเหล่านั้นจะถูกละเว้น:
ซิงค์ข้อมูลกับ rclone
หากคุณต้องการซิงค์ข้อมูลระหว่างไดเร็กทอรี คุณควรใช้ rclone กับคำสั่ง sync
คำสั่งควรมีลักษณะดังนี้:
rclone sync source:path dest:path [flags]
ในกรณีนี้ต้นทางจะซิงค์กับปลายทาง โดยเปลี่ยนปลายทางเท่านั้น! วิธีนี้จะข้ามไฟล์ที่ไม่เปลี่ยนแปลง เนื่องจากคำสั่งอาจทำให้ข้อมูลสูญหาย คุณจึงใช้กับ “–dry-run ” เพื่อดูว่าคำสั่งใดที่จะถูกคัดลอกและลบอย่างแน่นอน
ย้ายข้อมูลด้วย rclone
หากต้องการย้ายข้อมูล คุณสามารถใช้ rclone พร้อมคำสั่ง move คำสั่งควรมีลักษณะดังนี้:
rclone move source:path dest:path [flags]
เนื้อหาจากแหล่งที่มาจะถูกย้าย (ลบ) และวางไว้บนปลายทางที่เลือก
คำสั่ง rclone ที่มีประโยชน์อื่น ๆ
เพื่อสร้างไดเร็กทอรีบนปลายทาง
rclone mkdir remote:path
หากต้องการลบไดเร็กทอรี
rclone rmdir remote:path
ตรวจสอบว่าไฟล์ในแหล่งที่มาและปลายทางตรงกันหรือไม่:
rclone check source:path dest:path
ลบไฟล์:
rclone delete remote:path
แต่ละคำสั่ง rclone สามารถใช้ได้กับแฟล็กที่แตกต่างกัน และมีเมนูวิธีใช้ของตัวเอง ตัวอย่างเช่น คุณสามารถเลือกลบได้โดยใช้ตัวเลือกลบ สมมติว่าคุณต้องการลบไฟล์ที่มีขนาดใหญ่กว่า 100M คำสั่งจะมีลักษณะดังนี้
rclone --min-size 100M delete remote:path
ขอแนะนำอย่างยิ่งให้อ่านคู่มือและความช่วยเหลือสำหรับแต่ละคำสั่งเพื่อรับประโยชน์สูงสุดจาก rclone เอกสารฉบับเต็มของ rclone มีอยู่ที่: https://rclone.org/
บทสรุป
rclone เป็นยูทิลิตีบรรทัดคำสั่งที่มีประสิทธิภาพเพื่อช่วยคุณจัดการข้อมูลระหว่างผู้ให้บริการพื้นที่เก็บข้อมูลระบบคลาวด์ต่างๆ แม้ว่าในบทความนี้เราจะพูดถึงความสามารถเฉพาะของ rclone เท่านั้น แต่ยังมีประโยชน์อื่นๆ อีกมากที่สามารถทำได้ โดยเฉพาะเมื่อใช้ร่วมกับบริการ cron (ตัวอย่าง)