ITeye博客

旁观者(郑昀)

zhengyun_ustc · 共 49 篇文章

容器私有云和持续发布都要解决哪些基础问题 第一集

郑昀编著,文字资料来自于张帆、白俊华、刘飞宇以及网络资料 创建于2015/10/21 最后更新于2015/10/29 关键词:Docker,容器,持续集成,持续发布,CI,私有云 本文档适用人员:广义上的技术人员 提纲: 集装箱还是卷挂载? Host Networking 还是 Bridge Networking? 容器要固定IP吗? 容器内部如何获取宿主机的IP? 待续 首先,你要明白容器并不是虚拟机,虽然它可以解决虚拟机能够解决的问题,同时也能够解决虚拟机由于资源要求过高而无法解决的问题,但它真的不是虚拟机。以往我们的开发、配置管理、部署发布、监控报警思路都要跟着变。 其次,一开始注定只…

2015-11-05 09:54 · 技术架构 · Java · 评论(0)

技术高手如何炼成

郑昀 创建于2015/6/30 最后更新于2015/10/13 关键词:成长,知识体系,学习金字塔,论坛,博客,RCA,分享会 本文档适用人员:技术人员 面试的时候,我会问面试者,你日常如何构建自己的知识体系,如何让自己更高更快更强?多数工程师并没有深入地思考过这个问题,基本上是零敲碎打,随机性大。 本着不能让你白来一趟的精神,好为人师的我会娓娓道来: 第一阶段 认真构建完整的知识体系 十几年前我投身软件行业的时候,光是讲解数据库原理、操作系统、TCP/IP、组网、算法等等基础知识的英文原版书摞起来就等身,认认真真看完,各种上手实践,入行后,读遍 C++ 各种经典著作,读遍各种协议原文,认认…

2015-11-02 22:29 · 最佳实践系列 · 职场管理 · 评论(0)

电商交易背景知识合集第一季

郑昀编纂 基于网络资料 创建于2015/9/7 最后更新于2015/9/7 特别感谢知乎梁川、天顺等知乎网友的精彩答案 关键词:在线支付,POS,第三方支付,清算,银企直连,快捷支付,对公对私,支付宝,对账,App 本文档适用人员:交易领域的产品研发人员 提纲: 银联 一些错综复杂的关系 银联是什么 银联商务是什么 快捷支付绕过银联了吗 能通过卡号判断是对公账户或对私账户吗 快捷支付 为什么要推快捷支付 POS POS签单上的各种号码 信用卡刷卡后都发生了什么 第三方支付公司 为什么需要有备付金 直联网关和间联网关 何谓银企直连 支付宝是怎么对账的 我们作为商户如何接入 预付费卡牌照与第三方…

2015-09-08 17:53 · 电商课题 · 评论(0)

真刀真枪压测:基于TCPCopy的仿真压测方案

郑昀 基于刘勤红和石雍志的实践报告 创建于2015/8/13 最后更新于2015/8/19 关键词:压测、TCPCopy、仿真测试、实时拷贝流量 本文档适用人员:技术人员 提纲: 为什么要做仿真测试 TCPCopy是如何工作的 实作:仿真测试的拓扑 实作:操作步骤 可能会遇到的问题 ip_conntrack 少量丢包 离线重放 不提取7层信息 观测的性能指标 0x00,为什么要做仿真测试 线下的传统压力测试,难以模拟真实流量,尤其难以模拟正常流量混杂着各色异常流量。所以,线下压得好好的系统,上线后可能某天突然雪崩, 说好能支撑 5 倍流量的系统重构,也许流量一翻倍就彻底挂了。 但办法总比问题…

2015-09-08 17:52 · 最佳实践系列 · 评论(0)

安全基础教育第二季第1集:屡战屡败的找回密码

郑昀 创建于2015/5/19 最后更新于2015/8/7 关键词: Web安全、系统安全、Web开发、找回密码、重置密码 本文档适用人员:广义的技术人员 提纲: 堡垒是从内部攻破的 员工无知者无畏 运维配置暴露细节 后台不设防 常犯常新,屡战屡败 找回密码 图形和短信验证码 平行权限 MD5等于明文 处处留心皆学问 表单被篡改 App被篡改 跨站请求伪造 0x00. 前言: 第一季培训 主要宣导两点,第一,白帽子或黑客都很有耐心,他手里可能捏着你多个漏洞,他一直在等机会,他也有很多工具在扫在寻找机会,第二,一次成功的入侵渗透,并不需要是多么高危的漏洞,几个普普通通的中等漏洞,加上一次社会工…

2015-09-08 17:49 · 最佳实践系列 · 电商课题 · 评论(1)

从宏观到微观——天机与鹰眼联手

郑昀 创建于2015/6/23 最后更新于2015/6/25 关键词:Google Dapper、窝窝Tracing、鹰眼、天机、性能、调用链分析、散点图、瀑布图 本文档适用人员:技术人员 提纲: Google Dapper是怎么做的 天机里如何从宏观看到微观 0x00,Google Dapper的交互方式 Google 的 Dapper 是淘宝鹰眼、点评CAT、京东Hydra、eBay CAL、Twitter Zipkin、窝窝Tracing的鼻祖。很多年前,Google 说,大部分用户都是通过这么个控制台来使用 Dapper 的,典型流程如下图所示: 图1 dapper 用户输入他感兴趣…

2015-07-15 12:20 · 技术架构 · Java · 评论(0)

挖坑和踩雷

郑昀 创建于2015/2/6 最后更新于2015/7/8 关键词:挖坑、埋雷、踩雷、RCA、对题集 本文档适用人员:技术人员 引子 在讲挖坑之前,先引述台湾作家侯文咏讲的一个真实的故事。 话说上世纪九十年代,为了迎接两岸三通的商机,台湾一窝蜂成立了很多小航空公司。注意几个关键词,大干快上,市场卡位,就像我们搭建技术体系一样呼啦啦大厦起。 在这样的背景下,一架民航小飞机失事了,有这么几个离奇之处。 第一,毫无预警,驾驶员刚通报飞机失速,随即就坠毁了。 第二,机体严重变形,但飞机没有爆炸。 第三,一个负责监视引擎燃烧状况的警示灯,钨丝严重烧坏变形,所以它在出事时可能是点亮的。 于是调查小组请专家…

2015-07-13 14:51 · 随手小记 · 评论(0)

我们过去几年做对了哪些事

郑昀 创建于2014/11/10 关键词:财富观、对题集、一票否决、业务收敛、持续集成、预研、培训、公开演讲、传承 本文档适用人员:研发干部 提纲: 研发财富观——问题和事故都是财富 挤出人力做预研课题 减少痛苦和抱怨——持续集成 QA一票否决 风险收敛——关键业务逻辑收敛到业务中心 技术分享和职场培训并行 0x00,我们一定做对了什么,当然,也做错了很多 话说曾鸣教授曾曰过, 什么叫战略? ——做对了一定会有好结果。 什么叫执行? ——中间的苦,一步也少不了。 对于我们而言,经历了多年的血雨腥风,勉强算是屹立不倒,肯定是做对了某些事情,当然做错的可能更多。 0x01,研发财富观:问题和事故…

2015-06-28 11:58 · 最佳实践系列 · 评论(0)

安全基础教育第一季:堡垒是从内部攻破的

郑昀 创建于2015/4/10 最后更新于2015/4/28 关键词: Web安全、系统安全、社工、社会工程学、弱密码、github、svn 本文档适用人员:广义的技术人员 提纲: 堡垒是从内部攻破的 员工无知者无畏 运维配置暴露细节 后台不设防 常犯常新,屡战屡败 处处留心皆学问 0x00. 背景: 技术团队第一忙于业务逻辑,第二大量新人涌入,会把过去大家在安全上栽的跟头重新趟一遍,因此该做的培训咱还得做,该说的经验教训还得说,一次不行就两次,两次不行三次,重复再重复。 0x01. 堡垒是从内部攻破的: 一次成功的入侵渗透,并不需要是什么高危漏洞,几个普普通通的中等漏洞,搭配一次社会工程学…

2015-06-28 11:57 · 电商课题 · 评论(0)

#研发解决方案介绍#基于StatsD+Graphite的智能监控解决方案

郑昀 基于李丹和刘奎的文档 创建于2014/12/5 关键词:监控、dashboard、PHP、graphite、statsd、whisper、carbon、grafana、influxdb、Python 本文档适用人员:研发和运维员工 一,监控平台要做到什么程度?为什么要自己做? 运维监控满满都是着各种开源系统以及它们的 Dashboard: Zabbix Nagios Centreon Logstash Ganglia+Cacti 以及各种业务指标趋势的 Dashboard。 我们认为,监控不能只是各种数据的采集和罗列,不仅仅是弄若干个报表并进一步配置成仪表盘, 而是有一定智能,仿照我们…

2015-01-23 09:53 · 技术架构 · 电商课题 · 评论(0)

#研发中间件介绍#定时任务调度与管理JobCenter

郑昀 最后更新于2014/11/11 关键词:定时任务、调度、监控报警、Job、crontab、Java 本文档适用人员:研发员工 没有JobCenter时我们要面对的: 电商业务链条很长,业务逻辑也较为复杂,需要成百上千种定时任务。窝窝的大多数定时任务其实调用的是本地或远端 Java/PHP/Python Web Service。如果没有一个统一的调度和报警,在集群环境下,我们会: 不知道哪一个定时任务执行失败或超时,不见得能第一时间知道——直到最终用户投诉反馈过来; 要求每一个定时任务输出统一格式的日志供监控系统解析? 对每一位定时任务维护者提出高要求?这不是我们的解题思路。 不知道哪一…

2014-12-27 19:59 · 技术架构 · 电商课题 · 评论(1)

#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

郑昀 创建于2014/10/30 最后更新于2014/10/31 一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师; 要求数据分析师掌握查询SQL查询脚本编写技巧,掌握不同业务的数据存储在不同的数据集市里; 不管他们的计算任务是提交给 数据库 还是 Hadoop,计算时间都可能会很长,不可能在线等待; 所以, 使用者提交了一个计算任务(PIG/SQL/Hive SQL),控制台告知任务已排队,给出大致的计算时间等友情提示, 这些作业的权重较低, 使用者和管理员可以查看排队中的计算任务,包括已执行…

2014-12-22 13:25 · 电商课题 · 评论(0)

#研发解决方案介绍#Recsys-Evaluate(推荐评测)

郑昀 基于刘金鑫文档 最后更新于2014/12/1 关键词:recsys、推荐评测、Evaluation of Recommender System、piwik、flume、kafka、storm、redis、mysql 本文档适用人员:研发 推荐系统可不仅仅是围着推荐算法打转 先明确一下,我们属于工业领域。很多在学术论文里行之有效的新特奇算法,在工业界是行不通的。当年我们做语义聚合时,分词、聚类、相似性计算、实体词识 别、情感分析等领域最终还都采用了工业界十几年前乃至于几十年前就流行的成熟算法。如果算法不能决定命运,那什么是关键呢? 算法+规则库+人工干预 (整理语料、标识、调参数等),大…

2014-12-17 14:30 · 技术架构 · Java · 电商课题 · 评论(0)

#研发解决方案介绍#Tracing(鹰眼)

郑昀 最后更新于2014/11/12 关键词:GoogleDapper、分布式跟踪、鹰眼、Tracing、HBase、HDFS、 本文档适用人员:研发 分布式系统为什么需要 Tracing? 先介绍一个概念: 分布式跟踪 ,或 分布式追踪 。 电商平台由数以百计的分布式服务构成,每一个请求路由过来后,会经过多个业务系统并留下足迹,并产生对各种Cache或DB的访问,但是这些分散的数据对于问题排查,或是流程优化都帮助有限。对于这么一个跨进程/跨线程的场景,汇总收集并分析海量日志就显得尤为重要。 要能做到追踪每个请求的完整调用链路,收集调用链路上每个服务的性能数据,计算性能数据和比对性能指标(S…

2014-12-17 14:28 · 技术架构 · Java · 电商课题 · 评论(0)

#研发中间件介绍#异步消息可靠推送Notify

郑昀 基于朱传志的设计文档 最后更新于2014/11/11 关键词:异步消息、订阅者集群、可伸缩、Push模式、Pull模式 本文档适用人员:研发 电商系统为什么需要 NotifyServer? 如子柳所说,电商系统『需要两种中间件系统,一种是实时调用的中间件(淘宝的HSF,高性能服务框架)、一种是异步消息通知的中间件(淘宝的Notify)』。那么用传统的 ActiveMQ/RabbitMQ 来实现 异步消息发布和订阅 不行吗? 2013年之前我们确实用的是 ActiveMQ,当然主要是订阅者 Pull 模式,选 MySQL 做消息持久化存储,SA 还为此反复测试了各种高可用方案,如下图所示…

2014-12-16 09:00 · 技术架构 · Java · 电商课题 · 评论(0)