从决定做袋鼠云的那一天,我就在思考,做为一家云计算和大数据的技术服务公司,做什么样的产品能给客户提供价值?
从年开始,我一直在做一个移动日志分析产品,类似于友盟和TalkingData,不过因为各种原因,这个产品主要为阿里集团内部的各个App提供服务,基本上成为了集团内部标配的工具,每天处理日志量超过亿条,顺利渡过了几次双十一大屏的大考,在稳定性和数据准确性方面都经受了挑战。
但除了数据量和电商业务中的交易链路跟踪和转化率的变态需求之外,移动日志分析从某种意义上来说还是简单的,因为日志数据的格式是预定义的,并且标准也由我们团队来制定。控制了源头,后续整个流动过程处理起来就相对容易。
年开始,我们也为阿里云的部分客户提供移动分析服务,经常碰到的一个问题就是,除了App,还有PC网页能一起分析么?说实话,这是一个合理的需求,所以今年友盟、CNZZ和缔元信的合并,变成友盟+,是一个非常自然的演进,但要真正做到跨屏数据的融合分析,就不是那么容易的事情了。
那么,除了移动App日志,PCWeb日志,还有各种其他的日志,比如Linux的登录日志、Web服务器的AccessLog、MySQL数据库的ErrorLog,Oracle数据库的AlertLog、应用程序打的各种Debug日志,等等。这些日志格式各异,分布在不同服务器的不同地方,如何集中、结构化、分析和展现这些数据,从中挖掘出更多的价值,是一件有挑战的事情。
年成立的Splunk应该是最知名的一家用搜索的思路来做日志产品的公司,但最初是以C/S架构做的,其云端产品虽然功能强大,但试用过后易用性只能说一版。而它的独立部署版本,据一些合作伙伴反馈,部署成本也很高。所以类似SumoLogic、LogEntries、Logz.io等新兴的日志创业公司也是一个接一个,并且都获得了不错的融资。
而开源领域,ELK技术栈也是因为日志的需求而获得了极高的