对象存储s3
❶ 什么是对象存储
什么是对象存储？
存储局域网(SAN)和网络附加存储(NAS)是我们比较熟悉的两种主流网络存储架构，而对象存储(Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。
对象存储的发展历史：
1999年成立的全球网络存储工业协会(SNIA)的对象存储设备(Object Storage Device)工作组发布了ANSI的X3T10标准。
对象存储的优点：
总体上来讲，对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。
SAN(Storage Area Network)结构
采用SCSI 块I/O的命令集，通过在磁盘或FC(Fiber Channel)级的数据访问提供高性能的随机I/O和数据吞吐率，它具有高带宽、低延迟的优势，在高性能计算中占有一席之地，如SGI的CXFS文件系统就是基于SAN实现高性能文件存储的，但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。
❷ 对象存储是什么对象存储的基本定义
对象存储是一种将数据作为对象进行管理的计算机数据存储体系结构，与其他存储体系结构（例如将数据作为文件层级管理的文件系统）以及将数据作为块和扇区内的块进行管理的块存储相对。每个对象通常包括数据本身，可变数量的元数据和全局独立标识符。
对象存储可以在多个级别实现，包括设备级别（对象存储设备），系统级别和接口级别。在每种情况下，对象存储都试图实现其他存储架构无法解决的功能，例如可以由应用程序直接编程的接口，可以再多个物理硬件实例的命名空间，以及数据管理功能，如数据复制和数据分发在对象级粒度。
相比于数据库这种面向结构化数据存储的技术，对象存储主要面向存储大量的非结构化数据。
(2)对象存储s3扩展阅读：
对象存储、文件存储和块存储的区别如下：
1、速度不同
块存储：低延迟（10ms），热点突出；
文件存储：不同技术各有不同；
对象存储：100ms-1s，冷数据；
2、可分步性不同
块存储：异地不现实；
文件存储：可分布式，但有瓶颈；
对象存储：分步并发能力高；
3、文件大小不同
块存储：大小都可以，热点突出；
文件存储：适合大文件；
对象存储：适合各种大小；
4、接口不同
块存储：Driver，kernel mole ；
文件存储：POSIX；
对象存储：Restful API ；
5、典型技术不同
块存储：SAN；
文件存储： HDFS，GFS；
对象存储：Swift，Amazon S3；
6、适合场景不同
块存储：银行；
文件存储：数据中心；
对象存储：网络媒体文件存储。
❸ 对象存储、块存储、文件存储分别是什么有什么区别
你可以把块理解成整个硬盘，文件理解成硬盘中的文件，对象理解成很多台服务器中的很多块硬盘。
❹ 对象存储、文件存储和块存储的区别是什么
对象存储、文件存储和块存储的区别如下：
1、速度不同
块存储：低延迟（10ms），热点突出；
文件存储：不同技术各有不同；
对象存储：100ms-1s，冷数据；
2、可分步性不同
块存储：异地不现实；
文件存储：可分布式，但有瓶颈；
对象存储：分步并发能力高；
3、文件大小不同
块存储：大小都可以，热点突出；
文件存储：适合大文件；
对象存储：适合各种大小；
4、接口不同
块存储：Driver，kernel mole ；
文件存储：POSIX；
对象存储：Restful API ；
5、典型技术不同
块存储：SAN；
文件存储： HDFS，GFS；
对象存储：Swift，Amazon S3；
6、适合场景不同
块存储：银行；
文件存储：数据中心；
对象存储：网络媒体文件存储。
(4)对象存储s3扩展阅读：
对象存储、文件存储和块存储的联系：
通常来讲，磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。
1. 块存储：DAS SAN
a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式，每台服务器有独立的存储设备，每台主机服务器的存储设备无法互通，需要跨主机存取资料室，必须经过相对复杂的设定，若主机分属不同的操作系统，则更复杂。
应用：单一网络环境下且数据交换量不大，性能要求不高的环境，技术实现较早。
b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式，此系统会位于主机群的后端，它使用高速I/O联接方式，如：SCSI,ESCON及Fibre-Channels.特点是，代价高、性能好。但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。
应用：对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。
2. 文件存储
通常NAS产品都是文件级存储。
NAS(Network Attached Storage)：是一套网络存储设备，通常直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，特点是性价比高。
它采用NFS或CIFS命令集访问数据，以文件为传输协议，可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。
3. 对象存储：
总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。
核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(OSD)，构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。
对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)
❺ 【ceph】对象存储 - bucket命名规范
用于存储 日志文件的 存储桶的名称必须符合非美国标准区域的命名要求。Amazon S3 将存储桶名称定义为符合以下规则的一个或多个标签（用句点分隔开）：
警告
由于 S3 允许您的存储桶用作可公开访问的 URL，因此您选择的存储桶名称必须具有全局唯一性。如果其他一些账户已使用您选择的名称创建存储桶，则必须使用其他名称。有关更多信息，请参阅 Amazon Simple Storage Service 开发人员指南 中的存储桶局限和限制。
参考
https://docs.aws.amazon.com/zh_cn/awscloudtrail/latest/userguide/cloudtrail-s3-bucket-naming-requirements.html
❻ 使用boto3批量上传图片到S3
最近在工作中需要把本地的图片上传到亚马逊对象存储S3中供外链访问。
为了更快的实现，使用了Python 接口的boto3进行封装，实现批量上传图片到S3
主要有以下的几个函数：
1、实现S3的连接
2、实现单个图片的上传
3、实现单个图片的删除
4、实现整个bucket的内容的清除
5、实现上传整个文件夹里的图片并做去除非文件
❼ 对象存储、文件存储和块存储的联系是什么
对象存储、文件存储和块存储的联系：
通常来讲，磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。
1. 块存储：DAS SAN
a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式，每台服务器有独立的存储设备，每台主机服务器的存储设备无法互通，需要跨主机存取资料室，必须经过相对复杂的设定，若主机分属不同的操作系统，则更复杂。
应用：单一网络环境下且数据交换量不大，性能要求不高的环境，技术实现较早。
b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式，此系统会位于主机群的后端，它使用高速I/O联接方式，如：SCSI,ESCON及Fibre-Channels.特点是，代价高、性能好。但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。
应用：对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。
2. 文件存储
通常NAS产品都是文件级存储。
NAS(Network Attached Storage)：是一套网络存储设备，通常直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，特点是性价比高。
它采用NFS或CIFS命令集访问数据，以文件为传输协议，可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。
3. 对象存储：
总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。
核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(OSD)，构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。
对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)
(7)对象存储s3扩展阅读：
对象存储、文件存储和块存储的区别如下：
1、速度不同
块存储：低延迟（10ms），热点突出；
文件存储：不同技术各有不同；
对象存储：100ms-1s，冷数据；
2、可分步性不同
块存储：异地不现实；
文件存储：可分布式，但有瓶颈；
对象存储：分步并发能力高；
3、文件大小不同
块存储：大小都可以，热点突出；
文件存储：适合大文件；
对象存储：适合各种大小；
4、接口不同
块存储：Driver，kernel mole ；
文件存储：POSIX；
对象存储：Restful API ；
5、典型技术不同
块存储：SAN；
文件存储： HDFS，GFS；
对象存储：Swift，Amazon S3；
6、适合场景不同
块存储：银行；
文件存储：数据中心；
对象存储：网络媒体文件存储。