update nosql之hbase

Author: leelovejava

README.md

@@ -15,15 +15,17 @@
 
 
 ### 内容说明：
-本仓库存放的是公众号【狸猫技术窝】和**中华石杉**老师合作的课程《**互联网Java进阶面试训练营**》的笔记，版权归狸猫技术窝所有，侵权将追究法律责任
+本仓库存放的是公众号【儒猿技术窝】和**中华石杉**老师合作的课程《**互联网Java进阶面试训练营**》的笔记，版权归儒猿技术窝所有，侵权将追究法律责任
 
-训练营详细信息请关注公众号【狸猫技术窝】了解
-### 公众号:狸猫技术窝
+训练营详细信息请关注公众号【儒猿技术窝】了解
 
-更多技术干货，请扫描下方二维码，关注公众号狸猫技术窝
+### 公众号:儒猿技术窝
+
+更多技术干货，请扫描下方二维码，关注公众号儒猿技术窝
 
 ![我的公众号](/images/limaojishuwo.jpeg)
 
+![儒猿技术窝](https://apppukyptrl1086.pc.xiaoe-tech.com/index)
 
 
 
@@ -366,21 +368,21 @@
 
 ### MySQl  
 
-- [57、你能说说事务的几个特性是啥？有哪几种隔离级别？（上）]()
+- [57、你能说说事务的几个特性是啥？有哪几种隔离级别？（上）](/docs/03/57.md)
 
-- [58、你能说说事务的几个特性是啥？有哪几种隔离级别？（下）]()
+- [58、你能说说事务的几个特性是啥？有哪几种隔离级别？（下）](/docs/03/58.md)
 
-- [59、你能说说MySQL数据库锁的实现原理吗？如果死锁了咋办？]()
+- [59、你能说说MySQL数据库锁的实现原理吗？如果死锁了咋办？](/docs/03/59.md)
 
-- [60、MySQL的SQL调优一般都有哪些手段？你们一般怎么做？]()
+- [60、MySQL的SQL调优一般都有哪些手段？你们一般怎么做？](/docs/03/60.md)
 
-- [61、聊聊Socket的工作原理？Socket跟TCP IP之间是啥关系？]()
+- [61、聊聊Socket的工作原理？Socket跟TCP IP之间是啥关系？](/docs/03/61.md)
 
-- [62、进程间是如何通信的？线程间又如何切换呢？]()
+- [62、进程间是如何通信的？线程间又如何切换呢？](/docs/03/62.md)
 
-- [63、你能聊聊BIO、NIO、AIO分别都是啥？有什么区别？（上）]()
+- [63、你能聊聊BIO、NIO、AIO分别都是啥？有什么区别？（上）](/docs/03/63.md)
 
-- [64、你能聊聊BIO、NIO、AIO分别都是啥？有什么区别？（下）]()
+- [64、你能聊聊BIO、NIO、AIO分别都是啥？有什么区别？（下）](/docs/03/64.md)
 
 ### 线上生产实践
 
@@ -541,6 +543,26 @@
 
 - [137、说说高并发场景下的数据库连接池应该如何进行优化？](/docs/03/137.md)
 
+- [138、如果压测的时候发现系统的TPS不达标，此时应该如何优化系统？](/docs/03/138.md)
+
+### NoSQL
+
+- [139、为什么有了HDFS之后，还需要HBase呢？](/docs/03/139.md)
+
+- [140、到底为什么把 HBase 叫做NoSQL数据库呢？](/docs/03/140.md)
+
+- [141、HBase作为一个NoSQL数据库，有哪些架构上的特点？（上）](/docs/03/141.md)
+
+- [142、HBase作为一个NoSQL数据库，有哪些架构上的特点？（下）](/docs/03/142.md)
+
+- [143、HBase作为NoSQL数据库，到底适用于哪些场景？](/docs/03/143.md)
+
+- [144、HBase的数据模型是什么样的？（上）](/docs/03/144.md)
+
+- [145、HBase的数据模型是什么样的？（下）](/docs/03/145.md)
+
+- [146、HBase的物理存储格式：为啥说他是列式存储？](/docs/03/146.md)
+
 ### 开源框架
 
 ### Java Core

docs/03/11.md

@@ -1,4 +1,5 @@
 # 137、说说高并发场景下的数据库连接池应该如何进行优化？
+
 以druid来举例
 
 

docs/03/12.md

@@ -0,0 +1,35 @@
+# 138、如果压测的时候发现系统的TPS不达标，此时应该如何优化系统？
+
+对系统进行压测，比如每秒压个几百请求到几千请求，甚至上万请求，此时发现死活压不上去，压来压去，你的系统最多每秒就处理几百个请求，根本到不了几千个请求，此时就发现系统的TPS不达标，此时如何优化？
+
+ 
+
+其实这个时候，如果发现TPS不达标，通常是说明你系统肯定是每个请求处理时间太长了，所以就导致你单位时间内，在有限的线程数量下，能处理的TPS就少了，这个时候往往要先优化性能，再提TPS
+
+ 
+
+假设你一共有200个线程，结果你每个请求要耗费500ms，每个线程每秒就只能处理2个请求，200个线程每秒只能处理400个请求，比你期望的单机处理500~600个请求，要少了很多
+
+ 
+
+既然说要优化性能，那就得通过打日志的方式，或者是监控的方式，检查你服务的每个环节的性能开销，通常来说用打日志方式会细化一些，要靠监控把每个细节摸清楚，也挺难的，毕竟很多是代码细节
+
+ 
+
+把你的系统里一个请求过来，每一次数据库、缓存、ES之类的操作的耗时都记录在日志里面，把你的每个请求执行链路里的每个耗时小环节，都给记录清楚他，比如说你一个请求过来一共500ms，此时你发现就是某个SQL语句一下子耗时了300多ms，其实其他的操作都在正常范围内
+
+ 
+
+优化一下SQL语句呢？这个SQL语句搞了一个全表扫描，因为写SQL的时候没有考虑到使用索引，所以此时可以建立新的索引，或者是改写SQL语句，让他可以使用到你建立好的索引，SQL语句优化到100ms
+
+ 
+
+每个请求只要300ms就可以了，每个线程每秒可以处理3个请求，200个线程每秒可以处理600个请求
+
+ 
+
+你可以检查你核心服务的每个环节的性能，针对性的做优化，把你每个请求的时间降到最低，这样你单位时间内的TPS绝对就提高了，这个很关键
+
+ 
+
+其次就是增加机器数量，线性扩容了，比如说服务层面，每个服务单机最多抗800请求，那扩容到部署10台机器，就可以抗8000请求，但是你又得考虑你依赖的数据库，MQ，Redis能不能抗下这么多的并发

docs/03/137.md

@@ -0,0 +1,43 @@
+# 139、为什么有了HDFS之后，还需要HBase呢？
+
+hdfs，对hdfs是什么，功能，架构，源码，如何二次开发，都有了一定的理解，看懂hdfs那个课程的前提，Java架构部分的jdk集合、并发、IO、网络，自研分布式海量小文件系统的项目，最好去先做一下
+
+ 
+
+hdfs设计主要是针对什么呢？针对的是大数据，超大文件，比如说你有一个超大文件，里面要放100GB的用户行为的日志，甚至是1TB，甚至1PB，针对一个网站的每天的用户行为的日志，可以都放一个超大文件里去
+
+ 
+
+超大文件很难说放在一台服务器上，所以说此时，可以把超大文件拆散，拆成N多个128MB的小文件，每一个小文件就可以说是这个大文件的一个block
+
+ 
+
+hdfs解决的主要是一个分布式存储的问题，也就是说你有超大数据集，不可能都放在一个文件里，是不现实的，所以可以拆分为N多个128MB的block小文件，分散存储在多台机器上，对超大数据集实现分布式存储的效果
+
+ 
+
+每个block小文件还有3副本冗余存储，每个副本在不同的机器上，高可用和高容错，任何一台机器挂掉，不会导致数据丢失的
+
+ 
+
+hdfs，hadoop distributed filesystem，分布式文件系统，他存放的是文件，文件死的，静态的，最多只能是你不停的往文件的末尾追加数据，他会把你追加到文件末尾的数据其实都是分散在不同的小block里存储在机器上
+
+ 
+
+目录层级结构，创建文件，管理权限，对文件进行删除，大概就是这样的一些事情了，对大文件里的数据进行读取，对文件进行数据追加，hdfs只能做到如上一些事情
+
+ 
+
+针对你hdfs上存储的海量数据，10TB的数据，我要进行增删改查，我要往里面插入数据，还要修改数据，还有删除里面某一行数据，还有精准的查询里面某一行数据，得了，hdfs上是大量的block小文件
+
+ 
+
+虽然说帮你把超大数据集给分布式存储了，现实吗？根本就不现实
+
+ 
+
+所以呢，当当当当，hbase出马了，由hbase基于hdfs进行超大数据集的分布式存储，让海量数据分布式存储在hdfs上，但是对hdfs里的海量数据进行精准的某一行，或者某几行的数据的增删改查，由hbase来解决了
+
+ 
+
+hadoop nosql database

docs/03/138.md

@@ -0,0 +1,36 @@
+# 140、到底为什么把 HBase 叫做NoSQL数据库呢？
+
+ 《002_到底为什么把HBase叫做NoSQL数据库呢?》
+
+ 
+
+hdfs可以解决我们的一些问题，超大数据集的分布式存储，hbase作为hadoop nosql database，来解决海量数据的增删改查的问题
+
+ 
+
+到底什么是nosql，跟sql相对应
+
+ 
+
+hbase主要是就是能够帮助你对海量数据进行增删改查，跟sql是相反的，关系型数据库，mysql/oracle，一般来说都是基于SQL语法让你实现复杂的一些SQL语句，还可以支持事务，主要是开发业务系统的
+
+ 
+
+比如说你有一些需求，是要对10TB的数据，对他们进行相对较为简单的增删改查，比如说插入一行数据，查询一行数据，根据一些简单的条件查询某几行数据，删除一行数据，更新一行数据
+
+ 
+
+hbase就可以搞定，专职就是干这个的，分布式nosql数据库就可以了，他是跟关系型数据库相反的，是不支持SQL语句的，nosql，没有SQL语句的支持，没有SQL的数据库，帮你对海量数据做简单增删改查的
+
+ 
+
+nosql数据库，一般都是分布式的，解决海量数据的简单增删改查问题的，如果你要是针对少量数据做简单增删改查，也不需要nosql，其实你用mysql/oracle天然就可以搞定少量数据的增删改查
+
+ 
+
+天生不擅长sql，所以不要强行在上面用sql，就是做一些简单的增删改查就可以了
+
+ 
+
+很多场景是需要对海量数据做基础的增删改查，不需要复杂的sql语法支持，那么天然可以用hbase，海量数据可以存储，分布式的nosql支持
+

docs/03/139.md

@@ -0,0 +1,28 @@
+# 141、HBase作为一个NoSQL数据库，有哪些架构上的特点？（上）
+
+ 《003_HBase作为一个NoSQL数据库，有哪些架构上的特点？（上）》
+
+ 
+
+（1）分布式架构
+
+ 
+
+hbase定位是分布式nosql数据库，把自己的nosql数据库的功能是通过多台机器来实现的，有多个RegionServer，分布式管理数据，分布式执行你的各种nosql数据库的操作
+
+ 
+
+（2）分布式数据存储和自动数据分片
+
+ 
+
+这个功能是极为强大的，比如你搞一个hbase里的表，然后在表里搞很多很多的数据，这个表会分为很多的region，每个region里是一个数据分片，然后这些region数据分片就会分散在多台机器上
+
+ 
+
+假设你的表里的数据太多了，此时region会自动进行分裂，分裂成更多的region，自动分散在更多的机器上，对我们使用是极为方便的
+
+ 
+
+（3）集成hdfs作为分布式文件存储系统
+

docs/03/14.md

@@ -0,0 +1,43 @@
+# 142、HBase作为一个NoSQL数据库，有哪些架构上的特点？（下）
+
+《HBase作为一个NoSQL数据库，有哪些架构上的特点？（下）》
+
+ 
+
+（1）强一致读写
+
+ 
+
+他不是zk那种最终一致性，是强一致的，你写成功了立马就可以读。这个功能是极为实用的，他是依靠的分布式存储才做到的，zk那种是属于主从同步，你读follower机器是可能读到不一致数据的
+
+ 
+
+（2）高可用
+
+ 
+
+每台机器上部署一个RegionServer，管理一大堆的region数据分片，RegionServer都是支持高可用的，一个RegionServer挂掉不会导致数据丢失，他自动可以由别的机器接管他的工作运行下去
+
+ 
+
+（3）支持mapreduce/spark这种分布式计算引擎
+
+ 
+
+对hbase里的数据进行分布式计算，可以从hbase里分布式抽数据去计算，也可以把计算后的结果写入hbase分布式存储
+
+ 
+
+（4）Java API/thrift API/REST API的支持
+
+ 
+
+当然支持Java API了，咱们的Java业务系统经常会有海量数据NoSQL存储的需求，此时就可以基于Java API来操作hbase里的数据了
+
+ 
+
+（5）支持协处理器，块缓存和布隆过滤器，可以用于优化查询性能
+
+ 
+
+（6）hbase现在最新版本都是支持web界面的方式来对hbase集群进行运维管理的