腾讯云cvm云主机挂载cos对象存储

2017年5月3日 1.28k 次阅读 0 条评论 0 人点赞

如果我们项目对腾讯云cos有需求,但是我们的项目并不支持cos,但是我们的项目是假设在cvm上的,那么我们可以把cvm上存放本地资源的文件夹挂载上cos的一个bucket,对于如何挂载cos,官方提供了cosfs工具,下面我就对这个工具的使用方法做一个详细的阐述。

 

        下边先介绍一下这个工具

COS-Fuse 能让您在 Linux 系统中把 Tencent COS bucket 挂载到本地文件 系统中,您能够便捷的通过本地文件系统操作 COS 上的对象,实现数据的共享。

COS-Fuse 基于s3fs 构建,具有 s3fs 的全部功能。主要功能包括:

  • 支持 POSIX 文件系统的大部分功能,包括文件读写,目录,链接操作,权限,uid/gid。
  • 通过 COS 的 multipart 功能上传大文件。
  • MD5 校验保证数据完整性。

腾讯云文档地址https://www.qcloud.com/document/product/436/6883

下载地址

GitHub下载地址
本地下载地址

 

当然我们最关注的还是工具的具体使用

1.安装依赖库

Ubuntu 14.04:

sudo apt-get install automake autotools-dev g++ git libcurl4-gnutls-dev 
                     libfuse-dev libssl-dev libxml2-dev make pkg-config

CentOS 7.0:

sudo yum install automake gcc-c++ git libcurl-devel libxml2-devel 
                 fuse-devel make openssl-devel

2.上传源码并且编译

git clone https://github.com/tencentyun/cosfs-v4.2.1.git
cd cosfs-v4.2.1
./autogen.sh
./configure
make
sudo make install

当然你可以自行下载源码包上传到你服务器想安装的路径,也可以使用克隆github库的方法。

3.运行

设置bucket name, access key/id信息,将其存放在/etc/passwd-cosfs 文件中, 注意这个文件的权限必须正确设置
,建议设为640。

echo my-bucket:my-access-key-id:my-access-key-secret > /etc/passwd-cosfs
chmod 640 /etc/passwd-cosfs

将cos bucket mount到指定目录,注意 需要在bucke前面指定appid

cosfs my-appid:my-bucket my-mount-point -ourl=my-cos-endpoint

下面是一个例子

my-bucket这个bucket挂载到/tmp/cosfs目录下,AccessKeyId是faint, AccessKeySecret是123,cos endpoint是http://cn-south.myqcloud.com cn-south 对应华南广州地域 cn-north 对应华北天津地域 cn-east 对应华东上海地域

echo my-bucket:faint:123 > /etc/passwd-cosfs
chmod 640 /etc/passwd-cosfs
mkdir /tmp/cosfs
cosfs appid:my-bucket /tmp/cosfs -ourl=http://cn-south.myqcloud.com -odbglevel=
info -ouse_cache=/path/to/local_cache

-ouse_cache 指定了使用本地cache来缓存临时文件,进一步提高性能,如果不需要本地cache或者本地磁盘容量有限,可不指定该选项

这是我用的一个

卸载bucket:

fusermount -u /tmp/cosfs # non-root user

四、局限性

cosfs提供的功能和性能和本地文件系统相比,具有一些局限性。具体包括:

  • 随机或者追加写文件会导致整个文件的重写。
  • 元数据操作,例如list directory,性能较差,因为需要远程访问COS服务器。
  • 文件/文件夹的rename操作不是原子的。
  • 多个客户端挂载同一个COS bucket时,依赖用户自行协调各个客户端的行为。例如避免多个客户端写同一个文件等等。
  • 不支持hard link。
  • 不适合用在高并发读/写的场景,这样会让系统的load升高

 五、tips

1.要使用v4版本的bucket,v3版本的bucket 可能无法挂载

2.实测提供的卸载命令无法使用

请使用umount命令代替,这个命令来自阿里云同样的ossfs工具,看样腾讯云和阿里云还是有些差距的。

使用方法为

3.因为所有权是root,所以对于一些web程序比如wordpress,树洞外链是没有权限向挂载的cos传文件的,你只能使用有root权限的程序来操作。

4.对于宝塔面板,或者其他lnmp环境,都可以把备份目录挂载cos,尤其是内网挂载的时候,速度是非常快的这样就很轻松的把备份文件传到cos中。

 

标签:
最后编辑:2018年4月6日

菜鸟

文章评论(0)