一次上线事故，30岁+的程序员踩坑经验之谈

点击上方关注 “终端研发部”

设为“星标”&＃xff0c;和你一起掌握更多数据库知识

遇到的一些坑

事故发生在11月8号&＃xff0c;虽然做的不是什么电商项目&＃xff0c;但是对于双十一活动来讲&＃xff0c;作为拥有几百万用户量的在线医疗项目&＃xff0c;我们也进行了双十一7天的优惠折扣活动的升级改造&＃xff0c;毕竟是敏捷性开发&＃xff0c;两天应该差不多能搞定。但是在上线前的这一天&＃xff0c;有几个接口在大量数据请求&＃xff0c;之前我在项目中做了一个日志服务&＃xff0c;全量存储分析日志后的数据&＃xff0c;每天大概有1亿左右的数据。

第一次安装测试时&＃xff0c;我只部署了一个opentsdb&＃xff0c;读写都一个&＃xff0c;经常出现opentsdb假死&＃xff0c;只能重启opentsdb才能解决问题。

后来&＃xff0c;我干脆部署了两台opentsdb&＃xff0c;发现写数据的opentsdb运行稳定&＃xff0c;而读的opentsdb依然经常假死&＃xff0c;我也只是查询最近24小时的数据&＃xff0c;究竟是什么问题造成的呢&＃xff1f;

然后接着google&＃xff0c;百度&＃xff0c;最终在官网网站上看到一条有用的信息&＃xff1a;建议不要跨太大时间范围查询&＃xff0c;否则容易出现内存不足。因为opentsdb是根据查询条件把所有的符合条件的数据都查到内存再聚合&＃xff0c;时间范围太大容易导致内存不足。

最终搞到凌晨1点多&＃xff0c;通过调度任务&＃xff0c;先把全量的数据按5s,2min,5min,10min等聚合&＃xff0c;后台又简历多个hbase集群&＃xff0c;一个专门存储原始的监控数据&＃xff0c;另外一个存储聚合后的监控数据。可以极大提高查询效率。

勉勉强强给自己加了一个鸡腿&＃xff0c;然后有一股凉凉的感觉&＃xff1a;我太难了&＃xff01;

PS: 这里不得不吐槽一下opentsdb了&＃xff0c;有时候让人感觉很堪忧啊

opentsdb特别依赖hbase&＃xff0c;增加维护hadoop和hbase的难度&＃xff0c;有很多的数据冗余&＃xff0c;比如指标uid会存储多次&＃xff0c;tagk&＃xff0c;tagv也会存储多次&＃xff1b;虽然做了编码的工作&＃xff0c;将字符串转化为3字节的数字&＃xff0c;但是依旧有很大的冗余&＃xff0c;hbase上多维查询困 &＃xff0c;聚合能力不足

但是优点也有的&＃xff0c;一个小时的数据一行&＃xff0c;容易范围查询 一个列簇 &＃xff0c;一个指标的数据在一个文件中&＃xff0c;所以前面的人时序数据库的选择方面才会使用吧&＃xff01;

有人要问了&＃xff0c;于哥&＃xff0c;你都这么大了&＃xff0c;做了管理还搞开发啊&＃xff1f;

纳尼&＃xff1f;谁说做leader不用搞开发了&＃xff1f;

你们不做管理&＃xff0c;不知道做管理的痛苦&＃xff01;管的事情比较多不说&＃xff0c;项目中遇到问题了还得亲自上&＃xff01;况且我目前还是在做敏捷开发&＃xff0c;简直是夜不能寐啊&＃xff01;

啥&＃xff0c;敏捷性开发&＃xff1f;

那么&＃xff0c;我就给大家普及一下的敏捷性开发的知识吧

敏捷性开发的程序员有多难&＃xff1f;

我们都知道&＃xff0c;敏捷开发模式是项目进入实质开发迭代阶段&＃xff0c;用户很快可以看到一个基于架构版的产品。敏捷注重市场快速反应能力&＃xff0c;也即具体应对能力&＃xff0c;主要体现在个体和交互胜过过程和工具。

缺点就是敏捷注重人员的沟通&＃xff0c;忽略文档的重要性&＃xff0c;若项目人员流动大太&＃xff0c;又给维护带来不少难度&＃xff0c;特别项目存在新手比较多时&＃xff0c;老员工比较累。

作为一家敏捷开发的项目经理&＃xff0c;每天加班熬夜的盯着项目&＃xff0c;我只能说我自己太难了

比如&＃xff0c;作为管理者在企业中经常会遇到下面几个问题&＃xff1a;

1、自己的技术栈该如何提高&＃xff1f;

2、提让保证项目快速开发和迭代&＃xff1f;

3、怎么保证高风险的项目实施 

4、怎么做好构架、需求和设计出自于自组织的团队&＃xff1f;

最终的目的是要保证项目的快速高效运转起来&＃xff0c;这才是我们想要的一个效果。

所以&＃xff0c;我一直强调&＃xff0c;作为管理&＃xff0c;或者作为大龄程序员&＃xff0c;你一定要做好定位&＃xff0c;不然你卷到35岁&＃xff0c;失业就会找上你&＃xff01;

大龄程序员的职业发展

我觉得你可以朝着以下几个方向发展

1、做技术方面的专家&＃xff0c;那这里需要对代码非常的热爱&＃xff0c;并且能够静下心来学习

2、可以做项目管理&＃xff0c;像我一样&＃xff0c;你可以走技术管理路线&＃xff0c;或者是产品管理路线&＃xff0c;一开始可能是先从程序员做起&＃xff0c;慢慢发展为项目组长&＃xff0c;到项目经理&＃xff0c;再到cto

3、做产品&＃xff0c;一朋友现在转了产品&＃xff0c;薪资福利待遇也是不错的

4、在家接私活&＃xff0c;做外包私活&＃xff0c;做一个佛系程序员(其实有点不建议的)

5、做转测试

6、创业&＃xff0c;目前的行情下&＃xff0c;不建议创业&＃xff0c;就像360老总说的那样&＃xff0c;失败是必然的&＃xff0c;成功是偶然的&＃xff0c;这里呢&＃xff0c;我推荐指数1颗星&＃xff0c;难度5颗星

无论你走哪一行&＃xff0c;我都希望你时刻保持学习&＃xff0c;持续精进技术&＃xff01;

如何提高核心竞争力呢&＃xff1f;这里我也分享了自己的心得&＃xff0c;助力大家能在职场技术上有一个提高

编程的学习

这里都需要学习那些知识呢&＃xff1f;

年龄越大&＃xff0c;你要对自己的技术栈有个详细的认知和规划

对于技术栈的要求&＃xff1a;Java 集合&＃xff0c;前端了解&＃xff0c;mysql&＃xff0c;redis&＃xff0c;spring&＃xff0c;Springboot&＃xff0c;Springcloud&＃xff0c;jvm&＃xff0c;Linux&＃xff0c;Mybatis&＃xff0c;SSM&＃xff0c;消息中间件rabbitmq等 JVM、多线程、Spring全家桶、Dubbo、Netty、Elasticsearch。数据库肯定是必须且非常必要的&＃xff0c;无论将来是运维还是管理&＃xff0c;还是深究技术&＃xff01;

编程进阶的话你可以学习和《Java编程思想》和《大型网站技术架构》这两本书籍&＃xff0c;作为进阶是必须要学的一些编程有深度的两本书&＃xff0c;分布式也是非常的重要的。

《Java编程思想》在我看过的所有Java书籍里面&＃xff0c;这是最全、最有深度的一本&＃xff0c;如果错过了那就太可惜了。

当然&＃xff0c;如果你Java基础不怎么好&＃xff0c;可能看到后面会有点费劲&＃xff0c;那么你可以从《Java核心技术》这本看起&＃xff0c;它会比较合适&＃xff0c;这本书有I卷和II卷&＃xff0c;都非常不错。

这本书剖析大型网站技术架构模式&＃xff0c;深入讲述大型互联网架构设计的核心原理&＃xff0c;并通过一组典型网站技术架构设计案例&＃xff0c;为读者呈现一幅包括技术选型、架构设计、性能优化、Web 安全、系统发布、运维监控等在内的大型网站开发全景视图&＃xff0c;并且适合产品经理、项目经理、测试运维人员等了解网站技术架构 一本很值得看的书籍&＃xff01;

数据库的学习

除了 Mysql&＃xff0c;mongodb&＃xff0c;Oracle&＃xff0c;redis&＃xff0c;你也应该了解主流的时序数据库&＃xff0c;比如opentsdb &＃xff0c;Prometheus&＃xff0c;Influxdb&＃xff0c;TDengine等。

补充一下&＃xff1a;可能有很多人不知道什么是时间序列数据&＃xff1f;

时间序列数据就是一个数据源会每隔一段时间产生一条数据&＃xff0c;除了时间戳和值不一样&＃xff0c;其他都相同。比如一个cpu的使用率&＃xff0c;随着时间的变化不断变化&＃xff0c;那么它产生的数据就是时间序列数据。

物联网、大数据和互联网监控等拥有海量时序数据的场景 &＃xff0c;在穿戴设备中也会用到时间序列&＃xff0c;比如心率&＃xff0c;体温随时间的变化。

常见时序数据库对比

PS: 于是有人要问了&＃xff0c;于哥&＃xff0c;**像我上述的时序踩坑经历那样&＃xff0c;**有没有更快更适合更成熟的时序数据场景数据库设计方案呢&＃xff0c;毕竟有时间需要不停的更换存储方案 &＃xff01;毕竟对于想敏捷性质的开发公司来说&＃xff0c;高效开发&＃xff0c;节省存储空间&＃xff0c;提高时序数据的查询&＃xff0c;减少研发和运维的复杂度这才是王道&＃xff01;

答案肯定是有的——那就是开源的TDengine开源时序数据库&＃xff01;

github项目地址
https://www.taosdata.com/cn/

这个是一个非常不错的时序数据库解决方案,该项目在Github上很受欢迎&＃xff0c;目前在已经有17.5k star&＃xff01;fork也有4000多了。

TDengine优势主要是在于数据插入、查询的性能比通用的大数据平台好10倍以上&＃xff0c;存储空间也大为节省&＃xff0c;采用SQL接口&＃xff0c;与第三方软件能无缝集成&＃xff0c;大幅简化了物联网平台的系统架构&＃xff0c; TDengine可广泛运用于物联网、车联网、工业互联网、IT运维等领域。

更主要的是&＃xff0c;兼容OpenTSDB等时序数据库&＃xff0c;可以通过taosAdapter等软件无缝迁移&＃xff0c;学习起来比较方便&＃xff0c;技术开发和运维&＃xff0c;省事产品可以更直观的学习和使用代码 &＃xff01;

TDengine核心代码开源&＃xff0c;真正的国产自研数据库,国产的数据库&＃xff0c;绝对要去支持的&＃xff01;

目前很多大型互联网公司都在使用这个时序数据库方案&＃xff0c;记得同心源基金管理公司&＃xff0c;数据量比较庞大&＃xff0c;并且对数据的插入和查询要求是极高的

这张图中我们也可以看出&＃xff0c;一些其他常用的函数比如max、last&＃xff0c;基于TDengine的缓存等技术也都实现了毫秒级返回数据。

因此&＃xff0c;如果在这种大数据&＃xff0c;互联网监控拥有海量时序数据的场景&＃xff0c;使用这个解决方案&＃xff0c;将大幅减少了研发和运维的复杂度与成本。

项目链接&＃xff1a;https://github.com/taosdata/TDengine
官方地址&＃xff1a;https://www.taosdata.com/cn/

总结

对于开发年龄大的程序员来讲&＃xff0c;在目前大数据时代&＃xff0c;唯有持续性的去学习&＃xff0c;找到适合自己的目标和定位&＃xff0c;培养架构思维。

除了技术&＃xff0c;你还应该学会

1.向比你厉害的人讨教&＃xff0c;三人行必有我师

同时将学会的东西分享给其他人。学与教的过程中&＃xff0c;能快速把知识给掌握牢固&＃xff0c;学以致用

2.可以多去学习一下数据库&＃xff0c;时序数据库是主流&＃xff0c;TDengine是一个不错的解决方案&＃xff0c;学习的时候可以多做些笔记&＃xff0c;写写博客啥&＃xff0c;对自己找工作也是很有帮助的

3、不要局限于当前自己所负责的那一块&＃xff0c;了解上游的一些业务会对你接下来的架构有很大的帮助

4、多思考&＃xff0c;有优秀的人打交道&＃xff0c;无形之中你也会有所收获&＃xff0c;有规划&＃xff0c;有所定位的

好&＃xff0c;我是架构师小于哥。

欢迎关注我&＃xff0c;我会偶尔出没&＃xff0c;分享软件架构和编程相关的知识。

今日好文推荐

GitHub上非常实用的40个开源JAVA项目

XShell收费太贵&＃xff1f;快试试开源的NuShell&＃xff0c;好用&＃xff01;

GET 和 POST请求的本质区别是什么&＃xff1f;看完觉得自己太无知了...

MyBatis批量插入数据你还在用foreach&＃xff1f;你们的服务器没崩&＃xff1f;

点个在看少个 bug &＃x1f447;