您的位置: 宜春信息港 > 法律

坚若盘石淘宝网技术发展回顾5Java时期

发布时间:2019-05-14 22:47:32

1 : 淘宝技术发展回顾(5) Java时期:坚若盘石

已有读者在迫不及待的问怎样去掉了IOE,别急,在去掉IOE之前还有很长的路要走。行癫他们买回来小型机以后,我们用上了Oracle,7公带着1帮DBA在优化SQL和存储,行癫带着几个架构师在研究数据库的扩大性。Oracle本身是1个封闭的系统,用Oracle怎样做扩大?用现在1个时兴的说法就是做分库分表。

我们知道1台Oracle的处理能力是有上限的,它的连接池有数量限制,查询速度跟容量成反比。简单的说,在数据量上亿、查询量上亿的时候,就到它的极限了。要突破这类极限,简单的方式就是多用几个Oracle数据库。但1个封闭的系统做扩大,不像散布式系统那样轻松。我们把用户的信息依照ID来放到两个数据库里面(DB1/DB2),把商品的信息随着卖家放在两个对应的数据库里面,把商品类目等通用信息放在第3个库里面(DBcommon)。这么做的目的除增加了数据库的容量以外,还有1个就是做容灾,万逐一个数据库挂了,全部站上还有1半的数据能操作。

数据库这么分了以后,利用程序有麻烦了,如果我是1个买家,买的商品有DB1的也有DB2的,要查看我已买到的宝贝的时候,利用程序怎样办?必须到两个数据库里面分别查询出来对应的商品。要按时间排序怎样办?两个库里面我已买到的宝贝全部查出来在利用程序里面做合并。还有分页怎样处理?关键字查询怎样处理?这些东西交给程序员来做的话会很悲催,因而行癫在淘宝的第1个架构上的作品就来解决了这个问题,他写了1个数据库路由的框架DBRoute,这个框架在淘宝的Oracle时期1直在使用。后来随着业务的发展,这类分库的第2个目的容灾的效果就没有到达。像评价、投诉、举报、收藏、我的淘宝等很多地方,都必须同时连接DB1和DB2,哪一个库挂了都会导致全部站挂掉。

上1篇说过,采取EJB实际上是和Sun的工程师让步的结果,在他们走了以后,EJB也逐步被冷落了下来。在05、06年的时候,spring大放异彩,正好利用spring的反射(IoC)模式替换了EJB的工厂模式,给全部系统精简了很多代码。

上1篇还说过,为了减少数据库的压力,提高搜索的效率,我们引入了搜索引擎。随着数据量的继续增长,到了2005年,商品数有1663万,PV有8931万,注册会员有1390万,这给数据和存储带来的压力仍然山东大学,数据量大,性能就慢。亲,还有甚么办法能提升系统的性能?1定还有招数可以用,这就是缓存和CDN(内容分发络)。

你可以想象,9千万的访问量,有多少是在商品详情页面?访问这个页面的时候,数据全都是只读的(全部从数据库里面读出来,不写入数据库),如果把这些读操作从数据库里面移到内存里,数据库将会多么的感激涕泣。在那个时候我们的架构师多隆大神,找到了1个基于 Berkeley DB 的开源的缓存系统,把很多不太变动的只读信息放了进去。其实初这个缓存系统还比较弱,我们并没有把全部商品详情都放在里面,1开始把卖家的信息放里面,然后把商品属性放里面,商品详情这个字段太大,放进去受不了。说到商品详情,这个字段比较恐怖,有人统计过,淘宝商品详情打印出来平均有5米长,在系统里面其实放在哪里都不招人待见。笔者清楚的记得,我来淘宝以后担负项目经理做的第1个项目就是把商品详情从商品表里面给移出来。这个字段太大了,查询商品信息的时候很多都不需要查看详情,它跟商品的价格、运费这些放在1个表里面,拖慢了全部表的查询速度。在05年的时候,我把商品详情放在数据库的另外1张表里面,再往后这个大字段被从数据库里面请了出来,这也让数据库再1次感激涕泣。

到现在为止,全部商品详情的页面都在缓存里面了,眼尖的读者可能会发现现在的商品详情不全是只读的信息了,这个页面上有个信息叫阅读量,这个数字每刷新1次页面就要写入数据库1次,这类高频度实时更新的数据能用缓存吗?如果不用缓存,1天几10亿的写入,数据库会怎样样?1定会挂掉。那怎样办?亲先不回答你(下图不是广告,让你看看阅读量这个数据在哪里)

CDN这个工作相对照较独立,跟别的系统1样,1开始我们也是采取的商用系统。后来随着流量的增加,商用的系统已撑不住了,LVS的开创人章文嵩博士带人搭建了淘宝自己的CDN络。在本文的引言中我说过淘宝的CDN系统支持了800Gbps以上的流量,作为对比我们可以看1下国内专业做CDN的上市公司ChinaCache的介绍ChinaCache是中国第1的专业CDN服务提供商,向客户提供全方位络内容快速散布解决方案。作为首家获信产部许可的CDN服务提供商,目前ChinaCache在全国50多个大中城市具有近300个节点,全处理能力超过500Gbps,其CDN络覆盖中国电信、中国通、中国移动、中国联通、中国铁通和中国教育科研等各大运营商。这样你可以看得出淘宝在CDN上面的实力,这在全球都是数一数二的。另外由于CDN需要大量的服务器,要消耗很多能源(消耗多少?在前两年我们算过1笔帐,淘宝上产生1个交易,消耗的电足以煮熟4个鸡蛋)。这两年章文嵩的团队又在研究低功耗的服务器,在绿色计算领域也做了很多首创性的工作。淘宝CDN的发展需要专门1个章节来说,想先睹为快的可以看1下笔者对章文嵩的专访:

回想起刚用缓存那段时间,笔者还是个小菜鸟,有1个经典的毛病常常犯,就是数据库的内容更新的时候,忘记通知缓存系统,结果在测试的时候就发现我改过的数据怎样在页面上没变化呢。后来做了1些页面上的代码,修改CSS和JS的时候,用户本地缓存的信息没有更新,页面上也会乱掉,在论坛上被人说的时候,我告知他用ctrl+F5刷新页面,然后赶快修改脚本文件的名称,重新发布页面。学会用ctrl+F5的会员对我佩服的5体投地,我却惭愧的无地自容。

有些技术的发展是顺其自然的,有些却是突如其来的。到2007年的时候,我们已有几百台利用服务器了,这上面的java利用服务器是weblogic,而weblogic是非常贵的,比这些服务器本身都贵。有1段时间多隆研究了1下jboss,说我们换掉weblogic吧,因而又省下了很多银两。那1年,老马举行了第1届的侠大会,会上来的大侠中有1位是上文提到的章文嵩,还有1位曾在jboss团队工作,我们也把这位大侠留下了,这样我们用起jboss更加有底气了。

这些杂7杂8的修改,我们对数据分库、放弃EJB、引入Spring、加入缓存、加入CDN、采取开源的Jboss,看起来没有章法可循,其实都是围绕着提高容量、提高性能、节俭本钱来做的,由于这些不算大的版本变迁,我们姑且叫它2.1版吧,这个版本从构图上来看有3只脚,是不是是稳定了很多?

架构图以下:

下集预告:创造技术 散布式文件系统TFS、散布式kv缓存tair、搜索引擎升级

原文地址:?tj=1

淘宝技术发展回顾(4):Java时期 洗心革面

2 : 心如盘石,态若风

即便前方行将降临1场狂风暴雨,即便周围的1切都会随之飘荡,即便明知自己会面临死亡,我也要心如盘石,态若风,勇往直前,无怨无悔地往前冲,那样,具有那方的天空才会更广,更湛蓝。

赏花草,邀明月,品天文,思地理,1颗珍珠惟有经历无数沙粒的淘洗,才能构成1颗其实不完全的珍珠,散发夺目的光彩;梅花只有经历风霜的洗涤,才能散发淡淡的香味;雨后的彩虹唯有积聚无数的水汽才能演变成斑斓的色采世间万物都知道只有心如盘石,态若风,不怕不悔地经历人生的每一个旅程,才能称之为完善的人生,才能看到鱼游浅底的水天1色。

帝王蛾的幼虫时期是在洞口极狭窄的茧中度过,当它的生命要产生质的奔腾时,这天定的狭窄通道无疑成了它的鬼门关,太多的幼虫在往外冲杀的时候力竭身亡,不幸成为飞翔的悲壮祭品。有人怀着悲悯之心,拿来剪刀将洞口剪大,使帝王蛾轻而易举就钻丁出来,可是,它们都不是真实的帝王蛾不管如何它们都飞不起来,只有拖着累坠双翅,在地上笨拙地爬行。原来,唯有两翼充血,帝王蛾才能振翅飞翔,才有搏击长空的机会。难道帝王蛾真的渴望1双怜恤的手帮助它们吗?难道他们不希望有1双纵情飞舞的翅膀吗?

我们不应当惧怕独自穿越黑黑的隧道,更不渴望1双体恤的手来便宜的帮助,我们应心如盘石,态若风,无怨无悔地大步向前迈进。万物如此,聪明的人类呢?杜甫的1贬再贬,仕途不顺,壮志未酬,才有了出师未捷身先死,长使英雄泪满襟的千古名句,才有了杜甫本日在文学史中的显赫地位。人就应当不畏经历人生的曲折,不悔坚持自我原则,将血肉铸成1支勇敢无畏的箭簇,带着咆哮的风声,载着永不坠落的梦想,拼力穿透命运设置的重要险阻,义无返顾地射向那辽阔而美丽长天。

独步人生,我们会遇到种种困难,长路漫漫,有时我们走得其实不萧洒浪漫,乃至寸步难行,但都可以悲观失望,我们应保持心如磐石,态若风的态度,决不放弃,无怨无悔地走好人生的每一个里程,这样才足以让我们的戈壁滩开满鲜花,才足以滋润眼睛的鲜活,奋斗的鲜活,才能让我们的人生散发淡淡的金子般的光辉。

简评:这篇习作是篇之作,题目就是全文的中心论点,开头1段,用工整的句式,用比较的方法,鲜明表明自己的观点;中间部份由动物写到人类,运用具体典型事例论述了中心论点。语言优美,形象生动。

3 : 1299元起华硕ZenFone新机售价公布:屏幕坚若盘石

华硕刚刚发布了ZenFone家族的3款新机,现在售价正式揭晓。

具体来讲,ZenFone Selfie,前后双1300万摄像头,主打自拍,其中标准版1699元,晶钻版1799元,都是3G RAM+16G ROM的组合。

ZenFone Max,采取5000mAh大电池,支持反向充电,2G RAM+16G ROM,售价1299元。

ZenFone2 Laser镭射系列,6寸1080P大屏,钻石切割工艺,3G RAM+32G ROM售价1699元。

值得1提的是,3款均采取高通骁龙处理器,其中Selfie为骁龙615处理器,Laser为骁龙64位8核(应为骁龙61X系列),Max为骁龙410。屏幕均为康宁第4代大猩猩玻璃、主摄像头1300万像素,0.03秒激光对焦技术。

另外,Selfie和Laser都设计为华硕独特的背部按键。

即日起,ZenFone Selfie便开始在京东预约,11月4日现货开抢。

宫颈炎怎么治疗好
盆腔炎怎么引起的
宫颈炎怎样能好
猜你会喜欢的
猜你会喜欢的