ITeye博客

无尘道长的博客

无尘道长 · 共 41 篇文章

java nio

Java中nio有3个核心概念:channel,buffer,selector,在网络nio中,把channel的事件注册到selector,当网络就绪后进行读写操作,channel之间通过buffer传递数据。 Channel 一共有4种通道: FileChannel SocketChannel 基于TCP协议 ServerSocketChannel 基于TCP协议 DatagramChannel 基于UDP协议 Socket nio适用于类型http服务器等大并发,小数据量的场景,当数据量大,并发数小时传统io就可以 File nio中的map内存映射技术只适合于大文件,对于数k大小的文…

2015-01-23 16:44 · java · 评论(0)

HFile格式说明(转)

原文地址:http://my.oschina.net/zhengyang841117/blog/188723 在这里主要分析一下HFile V2的各个组成部分的一些细节,重点分析了HFile V2的多级索引的机制,接下去有时间的话会分析源码中对HFile的读写扫描操作。 HFile和流程: 如下图,HFile的组成分成四部分,分别是Scanned Block(数据block)、Non-Scanned block(元数据block)、Load-on-open(在hbase运行时,HFile需要加载到内存中的索引、bloom filter和文件信息)以及trailer(文件尾)。 在HFile中…

2014-12-08 21:07 · hbase · 评论(1)

OpenTSDB的设计之道(转)

原文地址:http://san-yun.iteye.com/blog/1993519 OpenTSDB是一个架构在Hbase系统之上的实时监控信息收集和展示平台。 它在海量数据的压力下,仍然保证了存储的效率,那么它背后有什么值得借鉴的地方呢? 1)使用AsyncHbase而非HBase自带的HTable。使用线程安全、非阻塞、异步、多线程并发的HBase API,在高并发和高吞吐时,可以获得更好的效果。建议在使用AsyncHBase​时,在CPU core有保证的前提下,可以设置16或者24。 2)采用固定长度的Rowkey,让Rowkey包含尽可能多的检索信息。这一点的话,OpenTSDB…

2014-12-05 23:51 · hbase · 评论(0)

CDN回源率高导致机房出口带宽翻倍

前几天感恩节,发现公司机房出口带宽增长1倍,经过排查发现是提供图书下载的服务器输出流量大增,查看源码,定位到问题: 走CDN的下载接口中带有机型、渠道、版本等参数,而这些参数的组合场景可达到百万级,从而导致大量的请求穿透,而感恩节的运营策略是重点推精品书,每天会有免费,而一本精品书可以达到几十M大小,对于一本精品书可能就会有n多请求回源到程序机房,严重浪费机房带宽,1年的损失相当大(至少百万级),而这只是之前的程序员考虑不周,一个小小的改进就可以解决这个问题,由此可总结: 1、靠谱的程序员是很重要,多花的几万工资,1年下来带来的收益很有可能远远大于这几万,人不在多,在于精,这个现象可能很多公…

2014-11-29 17:03 · 线上事故 · 评论(1)

hbase数据备份或者容灾方案

HBase的数据备份或者容灾方案有这几种:Distcp,CopyTable,Export/Import,Snapshot,Replication,以下分别介绍(以下描述的内容均是基于0.94.20版本)。 一、Distcp 在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据写入,对于在线服务的hbase集群,该方式不可用,而且在一些文章中可以看到通过distcp文件恢复hbase表时需使用: bin/hbase org.jruby.Main bin/add_table.rb /hbase/testtable命令把从hdfs目录中恢复表的元数…

2014-11-11 18:38 · hbase · 评论(0)

停止RegionServer服务的大致逻辑

hbase-daemon.sh中停止RS的脚本如下: if [ -f $pid ]; then # kill -0 == see if the PID exists if kill -0 `cat $pid` > /dev/null 2>&1; then **//** 判断进程是否存在 echo -n stopping $command echo "`date` Terminating $command" >> $loglog kill `cat $pid` > /dev/null 2>&1 //kill **,RS接受到stop信号,开始处理stop工作** while kill -0 `…

2014-11-07 15:53 · hbase · java · 评论(0)

快速解决在线服务慢问题的工作流程

快速解决线上系统问题,对于公司可减少损失,对于相关技术人员,可改善睡眠

2014-11-06 16:30 · java · 监控 · 线上事故 · 评论(0)

linux的oom killer导致memcached服务下线

公司部分项目是用python实现的,由于python的内存泄露问题,每两天凌晨均会重启一次python服务,有一次在业务高峰期,python服务的内存大增,导致操作系统的free memory低于/proc/sys/vm/min_free_kbytes设置的值,触发了linux的oom killer,由于在该python服务器上部署有memcached服务,在oom killer的算法下kill了memcached的进程,但是在重启的过程中由于申请不到memcached设置的内存,重启失败,导致依赖该memcached的服务出现大面积延时。 这里有2个问题: 1、应尽量解决python内存泄…

2014-11-06 15:58 · java · memcached · 线上事故 · 评论(0)

通过日志实现简单的服务监控与快速问题定位

生产系统出的问题中,请求响应慢是很常见的问题,如何快速定位慢的源头非常重要,通过对之前遇到的问题总结,发现一般都是依赖服务慢或者出现线程阻塞导致,对于这两种问题简单有效的定位方法如下: 1、打印超过阀值的依赖服务访问时长到日志,通过日志定位 2、使用java的jstack命令查看java线程是否阻塞 其中简单介绍一下如何利用日志定位问题: 对每个项目依赖的服务,比如:http,redis,hbase,mysql,memcached,kafka添加访问时长的日志,对超过设置阀值的信息输出到同一个单独的日志文件中,当出现服务慢等问题时,打开该文件就可以很快定位慢的是哪个服务,具体做法是在comm…

2014-11-06 14:48 · java · 监控 · 线上事故 · 评论(0)

架构设计要点总结

根据以往经验总结一下架构设计的要点,记录下来,以后定期修整并添加新的感悟: 1. 了解需求,对现有需求,未来可能的需求均要了解,需求变化很正常,从架构层面做到开闭原则,以便可持续发展,如何做到,比如osgi这种插件化思想,小内核,新功能新插件,还比如一些设计模式:适配器模式 2. 分而治之,比如:按照高内聚低耦合的思路对系统进行垂直拆分,便于对子系统进行精细化的制定设计,并且屏蔽系统演变一定层度上只发生在子系统避免波及整个系统,这种拆分的思想还在别的很多地方出现:分库分表 3. 服务化,系统被拆解了,要实现业务逻辑或者数据的共享,需考虑服务化,通过服务的方式把数据暴露出来,以及把一些逻辑封装…

2014-10-22 13:50 · 架构 · java · 评论(0)

生产环境遇到的rabbitmq队列堆积原因分析和解决方案

在8月5、6、7连续三天晚上10点出现充值相关几个消息堆积的问题,经过分析发现主要问题是充值项目对mq的使用存在一些不合理的地方,当mq负载高时会出现堆积现象。 具体原因如下: 1、采用的消息模式是get模式,而不是高效的deliver模式,经过在新搭建的mq服务器测试发现,get模式:5000条/秒便会出现严重堆积, deliver模式:20000条/秒不会堆积,如果按照充值项目的写法由于存在后续的问题,每秒几百条的写入就会经常出现消息堆积; 2、消息的生产和消费共用mq链接和channel a) 共用链接会导致:当触发mq的限流控制时,阻塞消费; b) mq的客户端channel实现为避…

2014-09-22 19:07 · rabbitmq · 线上事故 · 评论(0)

hbase之RPC详解

Hbase的RPC主要由HBaseRPC、RpcEngine、HBaseClient、HBaseServer、VersionedProtocol 5个概念组成。 1、HBaseRPC是hbase RPC的实现类,核心方法: 1)、RpcEngine getProtocolEngine():返回RpcEngine对象 2)、<T extends VersionedProtocol> T waitForProxy():调用RpcEngine的getProxy()方法,返回一个远程代理对象,比如:第一次访问HRegionServer时需要执行该方法,设置代理后,会缓存该对象到HConnection…

2014-09-21 01:31 · hbase · 评论(2)

android启动模式android:launchMode(转)

在android里,有4种activity的启动模式,分别为: “standard” (默认) “singleTop” “singleTask” “singleInstance” 它们主要有如下不同: 1. 如何决定所属task “standard”和”singleTop”的activity的目标task,和收到的Intent的发送者在同一个task内,除非intent包括参数FLAG_ACTIVITY_NEW_TASK。 如果提供了FLAG_ACTIVITY_NEW_TASK参数,会启动到别的task里。 “singleTask”和”singleInstance”总是把activity作为…

2014-09-05 10:49 · android · 评论(0)

Activity 的属性之android:screenOrientation(转)

Activity在屏幕当中显示的方向。属性值可以是下表中列出的一个值: " unspecified " 默认值,由系统来选择方向。它的使用策略,以及由于选择时特定的上下文环境,可能会因为设备的差异而不同。 " user " 使用用户当前首选的方向。 " behind " 使用Activity堆栈中与该Activity之下的那个Activity的相同的方向。 " landscape " 横向显示(宽度比高度要大) " portrait " 纵向显示(高度比宽度要大) " reverseLandscape " 与正常的横向方向相反显示,在API Level 9中被引入。 " reversePor…

2014-09-05 10:29 · android · 评论(0)

Android Permission大全(转)

android.permission.ACCESS_CHECKIN_PROPERTIES允许读写访问"properties"表在checkin数据库中,改值可以修改上传( Allows read/write access to the "properties" table in the checkin database, to change values that get uploaded) android.permission.ACCESS_COARSE_LOCATION允许一个程序访问CellID或WiFi热点来获取粗略的位置(Allows an application to acces…

2014-09-04 17:33 · android · 评论(0)