对象存储简介
所属分类 architecture
浏览量 680
存储方案
对象存储(Object Storage)
NoSQL 数据库
关系型数据库 RDBMS
大数据 Hadoop hdfs
HDFS缺陷
NameNode 元数据的扩展性
文件系统元数据 块位置信息 全部在内存中 对内存的要求高,内存大小限制了集群扩展性
NameNode FSNamesystem全局锁 元数据请求依赖该锁
块汇报风暴
HDFS块大小默认128M,启动几百PB数据量的集群时
NameNode需要接受所有块汇报才可以退出安全模式,因此启动时间会达数小时
amazon S3 Simple Storage Service
阿里云对象存储OSS Object Storage Service
对象(Object)OSS存储数据的基本单元,也称为OSS的文件
对象由元信息(Object Meta) 用户数据(Data)和 文件名(Key)组成
对象由存储空间内部唯一的Key来标识
对象元信息是一组键值对,表示了对象的一些属性,例如最后修改时间、大小等信息,
也可以在元信息中存储一些自定义的信息
存储空间(Bucket)用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间
存储空间具有各种配置属性,包括地域、访问权限、存储类型等
可以根据实际需求,创建不同类型的存储空间来存储不同的数据
开源对象存储方案
MinIO
Ceph 分布式 对象 块 和 文件 存储
SeaweedFS 分布式文件系统 Fackbook内部图片存储
常用存储选型指南
大数据存储架构简介
上一篇
下一篇
scala type 关键字
Scala 抽象类(abstract) 和 特质(trait) 异同
typesafe config 读取配置
scala那些事
saas财务指标 ARR 与 MRR
shapeless scalaz cats zio