1. 使用CLI管理对象存储

本节介绍如何使用CLI管理对象存储。

在使用CLI管理对象存储前,需完成CLI的安装与配置。安装请参阅《安装CLI管理工具》,配置请参阅《配置CLI管理工具》

1.1. 命令结构

使用CLI管理对象存储的命令结构如下:

1.1.1. s3

 ycloud s3 <command> [--options]

其中command为必选项,--options为可选项。 ycloud s3命令支持以下可选项:

可选项 含义 适用的命令
--recursive 递归操作,如列出、删除目录时同时列出、删除子目录下Object。支持简写-r ls、cp、mv、rm、sync、restore
--include 包含操作,用于筛选时包含符合条件的Object cp、mv、rm、sync
--exclude 排除操作,用于筛选时排除符合条件的Object cp、mv、rm、sync
--acl 访问控制,用于设定Object或目录的访问权限,接受private和public-read值 cp、mv、sync
--delete 删除内容,用于删除sync操作目标中比源中多的内容 sync
--resume 断点续传
 1、上传文件时,当大文件分片上传中断后,重新上传时无需重复上传已有的分片
 2、下载文件时,当大文件range下载中断后,重新下载时无需重复下载已有的range
cp
--days 1.用于归档对象取回时指定解冻状态持续天数 restore
--limited-num 设定列举对象时返回结果的最大个数。您可以使用此项结合marker对返回结果进行分页展示。 ls
--marker 列举名称字母序排在marker之后的对象 ls

1.1.2. s3api

 ycloud s3api <command> [--options]

其中command为必选项,--options为可选项。

1.2. 管理Bucket

您可以使用ycloud s3命令方便地管理Bucket,包括创建、列出和删除Bucket。

1.2.1. 创建Bucket

使用mb命令可以创建新的Bucket。Bucket名称须在所属区域下唯一,且只能包含小写字母、数字和短横线,只能以字母开头,并以字母或数字结尾,Bucket名称长度需在3-63字符内。

$ ycloud s3 mb s3://my-bucket
make_bucket: my-bucket

1.2.2. 列出Bucket

使用ls命令可以列出所属项目在该区域下的Bucket。

$ ycloud s3 ls
2019-3-11 17:08:50 my-bucket
2019-3-14 14:55:44 my-bucket2

1.2.3. 删除Bucket

使用rb命令可以删除指定的Bucket。

$ ycloud s3 rb s3://my-bucket
remove_bucket: my-bucket

 

默认情况下,只能删除空的Bucket。要删除非空Bucket,请添加 --force 选项,此选项会同时将Bucket内的所有资源清空。

$ ycloud s3 rb s3://my-bucket --force
delete: s3://my-bucket/MyFile.txt
delete: s3://my-bucket/path/MyFile.txt
remove_bucket: my-bucket

1.3. 管理Object

您可以使用ycloud s3命令方便地管理Bucket中的Object,包括列出、上传、复制(下载)和同步Object操作。

注意

如果文件或Object大于8M,所有涉及向Bucket上传的命令(cp、mv 和 sync)都会自动执行分段上传。当上传或下载路径中有同名的文件,会将同名的文件覆盖。

1.3.1. ls命令

使用ls命令列出指定Bucket中的所有Object。

$ ycloud s3 ls s3://my-bucket
                 PRE path/
2019-3-04 19:05:48 3 MyFile1.txt

 

使用ls命令时,您可以通过在命令中使用前缀来列出该路径下的所有内容,但不会展开子目录。

$ ycloud s3 ls s3://my-bucket/path/
2019-3-06 18:59:32 3 MyFile2.txt

 

ls 命令接受 --recursive 选项,该选项会遍历目录树,包括所有子目录。

$ ycloud s3 ls s3://my-bucket/ --recursive
2019-3-06 17:39:32 3 path/MyFile2.txt
2019-3-06 17:26:43 3 MyFile1.txt

1.3.2. cp命令

使用cp命令可以上传(将本地文件或目录复制到Bucket)、下载(将Object复制到本地),以及复制(将Object复制到Bucket)。

上传:将本地文件或目录复制到Bucket

$ ycloud s3 cp MyFile.txt s3://my-bucket/path/
upload: .\MyFile.txt to s3://my-bucket/path/MyFile.txt

 

大文件上传支持断点续传

$ ycloud s3 cp MyFile.txt s3://my-bucket/path/ --resume
upload: .\MyFile.txt to s3://my-bucket/path/MyFile.txt

 

下载:将Object复制到本地

$ ycloud s3 cp s3://my-bucket/MyFile.txt MyFile.txt.bak
download: s3://my-bucket/MyFile.txt to .\MyFile.txt.bak

 

大文件下载支持断点续传

$ ycloud s3 cp s3://my-bucket/MyFile.txt MyFile.txt.bak --resume
download: s3://my-bucket/MyFile.txt to .\MyFile.txt.bak

 

复制:将Object复制到Bucket

$ ycloud s3 cp s3://my-bucket/MyFile.txt s3://my-bucket/path/MyFile.txt
copy:s3://my-bucket/MyFile.txt to s3://my-bucket/path/MyFile.txt

$ ycloud s3 cp s3://my-bucket/MyFile.txt s3://my-bucket/path/File1.txt
copy:s3://my-bucket/MyFile.txt to s3://my-bucket/path/File1.txt

 

上传、下载和复制均可对文件或Object重命名。

另外,cp命令接受一些可选项实现特有的功能。

使用 --recursive 选项,该选项会遍历目录树,允许直接复制目录或Bucket。

$ ycloud s3 cp . s3://my-bucket --recursive
upload: .\MyFile.txt.bak to s3://my-bucket/MyFile.txt.bak
upload: .\MyFile.txt to s3://my-bucket/MyFile.txt

 

使用 --acl 选项可设置复制到Bucket的Object读写权限:

$ ycloud s3 cp MyFile.txt s3://my-bucket --acl public-read
upload: .\MyFile.txt to s3://my-bucket/MyFile.txt

1.3.3. mv命令

使用mv命令可将本地文件或Bucket中的Object移动到本地或Bucket。

$ ycloud s3 mv s3://my-bucket/MyFile.txt .
move: s3://my-bucket/MyFile.txt to .\MyFile.txt

$ ycloud s3 mv s3://my-bucket/MyFile.txt.bak s3://my-bucket/MyFile.txt
move: s3://my-bucket/MyFile.txt.bak to s3://my-bucket/MyFile.txt

 

使用 --recursive 选项,可将本地目录或Bucket中的目录移动到Bucket。

$ ycloud s3 mv . s3://my-bucket
move failed: .\ to s3://my-bucket Parameter validation failed:
Invalid length for parameter Key, value: 0, valid range: 1-inf

$ ycloud s3 mv . s3://my-bucket --recursive
upload: .\MyFile.txt.bak to s3://my-bucket/MyFile.txt.bak
upload: .\MyFile.txt to s3://my-bucket/MyFile.txt

 

使用 --acl 选项可以指定移动后的操作Object的读写权限。

$ ycloud s3 mv MyFile.txt s3://my-bucket --acl public-read
move: .\MyFile.txt to s3://my-bucket/MyFile.txt

1.3.4. rm命令

使用rm命令可删除Bucket中的Object。如需删除Bucket或目录,请使用 --recursive 选项。

$ ycloud s3 rm s3://my-bucket/path/MyFile.txt
delete: s3://my-bucket/path/MyFile.txt

$ ycloud s3 rm s3://my-bucket/path --recursive

1.3.5. sync命令

sync命令使用如下语法:

ycloud s3 sync <source> <target> [--options]

可能的源-目标组合有:

  • 本地文件系统到Bucket

  • Bucket到本地文件系统

  • Bucket到Bucket

下面的示例将当前目录与Bucket中目录的内容同步。sync将更新与目标中同名的具有不同修改时间的任何文件。

请注意,此操作也会把当前目录下的子目录及其内容递归同步到Bucket中的目录。

$ ycloud s3 sync . s3://my-bucket/path
upload: MySubdirectory/MyFile3.txt to s3://my-bucket/path/MySubdirectory/MyFile3.txt
upload: MyFile2.txt to s3://my-bucket/path/MyFile2.txt
upload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt

 

通常,sync仅在源和目标之间复制缺失或过时的文件或Object。当目标中存在源中不存在的文件或Object时,s3 sync并不会删除这些文件或Object。您可以使用 --delete 选项来从目标中删除源中不存在的文件。

下面的示例对上一示例进行了扩展,展示其工作方式。

// Delete local file
$ rm ./MyFile1.txt

// Attempt to sync without --delete option - nothing happens
$ ycloud s3 sync . s3://my-bucket/path

// Sync with deletion,object will be deleted from bucket
$ ycloud s3 sync . s3://my-bucket/path --delete
delete: s3://my-bucket/path/MyFile1.txt

// Delete object from bucket
$ ycloud s3 rm s3://my-bucket/path/MySubdirectory/MyFile3.txt
delete: s3://my-bucket/path/MySubdirectory/MyFile3.txt

// Sync with deletion,local file will be deleted
$ ycloud s3 sync s3://my-bucket/path . --delete
delete: MySubdirectory\MyFile3.txt

 

可以使用 --exclude 和 --include 选项来筛选要在同步操作期间复制的文件或Object。默认情况下,指定目录中的所有项都包含将被同步。使用 --exclude 选项可以排除不需要的文件或Object。仅当需要指定 --exclude 选项的例外时,才需要使用 --include。这些选项按指定顺序应用,如下例所示。

// Local directory contains 4 files
$ ls
MyFile1.txt
MyFile2.rtf
MyFile88.txt
MyFile3.txt

// Sync local files to bucket, excluding *.txt files
$ ycloud s3 sync . s3://my-bucket/path --exclude *.txt
upload: MyFile2.rtf to s3://my-bucket/path/MyFile2.rtf

// Sync local files to bucket, excluding *.txt files but including MyFile1.txt and MyFile3.txt
$ ycloud s3 sync . s3://my-bucket/path --exclude *.txt --include MyFile?.txt
upload: MyFile1.txt to s3://my-bucket/path/MyFile1.txt
upload: MyFile2.rtf to s3://my-bucket/path/MyFile2.rtf
upload: MyFile3.txt to s3://my-bucket/path/MyFile3.txt

// Sync local files to bucket, excluding *.txt files but including MyFile3.txt
$ ycloud s3 sync . s3://my-bucket/path --exclude *.txt --include MyFile?.txt --exclude MyFile1.txt
upload: MyFile3.txt to s3://my-bucket/path/MyFile3.txt

 

--exclude 和 --include 选项也可以筛选要在sync操作(使用 --delete 选项)期间删除的文件或Object。在这种情况下,参数必须指定要在目标中包含或排除在删除操作中的文件或Object。

// Assume local directory and s3://my-bucket/path currently in sync and each contains 4 files
$ ls
MyFile1.txt
MyFile2.rtf
MyFile88.txt
MyFile3.txt

// Delete local *.txt files
$ rm *.txt

// Sync with deletion, excluding files that match a pattern. MyFile88.txt is deleted, while remote MyFile1.txt and MyFile3.txt is not.
$ ycloud s3 sync . s3://my-bucket/path --delete --exclude MyFile?.txt
delete: s3://my-bucket/path/MyFile88.txt

// Delete MyFile2.rtf
$ ycloud s3 rm s3://my-bucket/path/MyFile2.rtf

// Sync with deletion, excluding MyFile2.rtf , local file will not be deleted
$ ycloud s3 sync s3://my-bucket/path . --delete --exclude MyFile2.rtf
download: s3://my-bucket/path/MyFile1.txt to MyFile1.txt
download: s3://my-bucket/path/MyFile3.txt to MyFile3.txt

// Sync with deletion, local copy of MyFile2.rtf will be deleted
$ ycloud s3 sync s3://my-bucket/path . --delete
delete: MyFile2.rtf

 

使用 --acl 选项可以对同步到Bucket中的Object设置访问权限。

$ ycloud s3 sync . s3://my-bucket/path --acl public-read

1.3.6. restore命令

使用restore命令可取回归档Bucket对象。如需取回整个Bucket或目录,请使用 --recursive 选项。

$ ycloud s3 restore s3://my-bucket/MyFile.txt 
MyFile.txt have submit to restore

$ ycloud s3 restore s3://my-bucket/ --recursive --days 2
10 objects have submit to restore

1.4. 管理lifecycle

您可以使用ycloud s3api命令方便地管理Bucket中的lifecycle,包括创建、查看、和删除操作。

1.4.1. 创建lifecycle

使用put-bucket-lifecycle-configuration命令可以创建bucket lifecycle。

$ ycloud s3api put-bucket-lifecycle-configuration --bucket my-bucket --lifecycle-configuration /home/my_lifecycle.json

lifecycle-configuration 指定本地配置生命周期规则的本地文件名称,文件内容参考如下:

  • 匹配整个bucket示例
    {
    "rules": [
        {
            "status": "Enabled", 
            "expirationInDays": 1, 
            "filter": {
                "predicate": {
                    "prefix": ""
                }
            }, 
            "abortIncompleteMultipartUpload": {
                "daysAfterInitiation": 6
            }
        }
    ]
    }
    
     
  • 按前缀匹配示例
    {
    "rules":[
        {
            "status":"Enabled",
            "filter":{
                "predicate":{
                    "prefix":"a/"
                }
            },
            "expirationInDays":1
        },
        {
            "status":"Enabled",
            "expirationInDays":1,
            "filter":{
                "predicate":{
                    "prefix":"b/"
                }
            },
            "abortIncompleteMultipartUpload":{
                "daysAfterInitiation":1
            }
        }
    ]
    }
    

 

  • 标准Bucket的对象向归档Buckt转换,如下所示:标准存储文件在7 天后转换为归档存储类型,目标Bucket为Bucket1,文件覆盖方式为全覆盖
    {
    "rules":[
        {
            "status":"Enabled",
            "filter":{
                "predicate":{
                    "prefix":"a/"
                }
            },
            "transitions":[
                {
                    "days":7,
                    "destinationBucketName":"Bucket1",
                    "policy":"overwrite"
                }
            ]
        }
    ]
    }
    
  • expiration_in_days 文件保留天数取值范围 1-1825
  • days_after_initiation 碎片保留天数取值范围 1-7
  • prefix 前缀不可以包含 #$%&*<>{}[]'"|;@=:+,?^\
  • days 解冻数据保留天数1-7
  • poliy 覆盖规则 overwrite、dup-rename、dup-skip

 

1.4.2. 查看lifecycle

使用get-bucket-lifecycle-configuration命令可以查看bucket lifecycle。

$ ycloud s3api get-bucket-lifecycle-configuration --bucket my-bucket

 

1.4.3. 删除lifecycle

使用delete-bucket-lifecycle命令可以删除bucket lifecycle。

$ ycloud s3api delete-bucket-lifecycle --bucket my-bucket

 

results matching ""

    No results matching ""