首页  

对象存储简介     所属分类 architecture 浏览量 177
存储方案
对象存储(Object Storage)
NoSQL 数据库 
关系型数据库 RDBMS 
大数据 Hadoop hdfs

HDFS缺陷 
NameNode 元数据的扩展性  
  文件系统元数据 块位置信息 全部在内存中 对内存的要求高,内存大小限制了集群扩展性
NameNode FSNamesystem全局锁 元数据请求依赖该锁
块汇报风暴 
  HDFS块大小默认128M,启动几百PB数据量的集群时 
  NameNode需要接受所有块汇报才可以退出安全模式,因此启动时间会达数小时


amazon  S3  Simple Storage Service
阿里云对象存储OSS  Object Storage Service

对象(Object)OSS存储数据的基本单元,也称为OSS的文件
对象由元信息(Object Meta) 用户数据(Data)和 文件名(Key)组成
对象由存储空间内部唯一的Key来标识
对象元信息是一组键值对,表示了对象的一些属性,例如最后修改时间、大小等信息,
也可以在元信息中存储一些自定义的信息

存储空间(Bucket)用于存储对象(Object)的容器,所有的对象都必须隶属于某个存储空间
存储空间具有各种配置属性,包括地域、访问权限、存储类型等
可以根据实际需求,创建不同类型的存储空间来存储不同的数据

开源对象存储方案
MinIO
Ceph   分布式 对象 块 和 文件 存储
SeaweedFS  分布式文件系统 Fackbook内部图片存储


常用存储选型指南 大数据存储架构简介

上一篇     下一篇
scala type 关键字

Scala 抽象类(abstract) 和 特质(trait) 异同

typesafe config 读取配置

scala那些事

saas财务指标 ARR 与 MRR

shapeless scalaz cats zio