T1，京东数科的金融新基建

本篇文章2986字，读完约7分钟

如今，按市值排名世界前五名的公司，即苹果、亚马逊、谷歌、微软和facebook，都有一个共同的特点。他们是世界上拥有最多数据并且能够最好地使用数据的公司。

吴军在《浪潮之巅》中揭示了当前产业革命的范式:现有产业+大数据=新产业。

如何正确使用大数据，使公司现有业务和市场规模更大，已经成为几乎所有企业都必须思考的问题。大数据平台是解决这个问题的方法之一。

对此，雷(公开号:雷)采访了京东数码t1大数据平台负责人。

他向我们介绍了京东数码t1大数据平台的产品特点和技术特点，以及在金融领域的服务情况和具体实施过程中遇到的困难。

以下是对话的记录:

雷锋。t1大数据平台是什么样的产品？

T1大数据平台是一整套自下而上的一站式大数据平台，涵盖数据采集、处理和处理，包括数据资产管理、数据服务和数据应用。

该平台有两个特点。首先，它是一个一站式平台，可以快速帮助用户从底层构建一套完整的大数据系统，帮助客户快速完成数据的资产和价值，并通过数据服务层的功能组合支持各种业务场景，如数据接口或肖像、标签和相关系统。

其次，整个大数据平台本身是一个高度可配置的自动化系统，可以为用户提供良好的操作体验，大大降低用户的操作门槛。

雷锋。t1大数据平台面对什么样的客户？

一般来说，它是一个金融机构。目前，我们做的比较多的有民营银行、股份制银行和城市商业银行，这可以简单的分为三类:

第一类金融机构目前没有高效的实时处理和分析功能，需要构建实时大数据处理平台。

例如，一家中型银行每年可以生成数十万亿字节的数据，涵盖各种数据源和格式，如应用程序数据、行为数据和系统日志。没有适当的操作控制工具，这些数据只能在后台“睡眠”，而不能发挥其价值。

第二类金融机构拥有传统的数据仓库，可以满足分析报告的需求，它们需要构建一个全面的大数据解决方案。

第三类金融机构拥有良好的大数据平台能力，但它们的建设是分散和孤立的，它们的业务之间存在差距。他们需要一些产品，如数据接口或肖像系统，来弥合大数据平台和应用程序之间的差距。

雷锋。如果客户已经有了大数据平台，当他们连接到t1大数据平台时会遇到什么问题？

客户在现有大数据平台上购买和集成其他大数据产品时，主要会遇到兼容性和适应性的问题。

与行业内某些产品的封闭性和排他性相比，t1大数据平台是一个开放的架构，它不仅可以将整个平台输出给用户，还可以按需输出一些子产品作为客户能力的补充。

T1的子产品与外部依赖兼容，保留了一些对接接口，可以快速与客户的现有系统对接。例如，t1大数据平台曾经向客户出口肖像产品，这需要与客户现有的etl系统进行调度和对接。由于调度和对接的接口是为纵向产品预留的，对接工作完成得非常顺利。

雷锋。金融机构非常重视安全问题。京东数码分公司做了什么？

事实上，金融公司对数据的属性很敏感。t1大数据平台提供私有化部署服务，可以将大数据平台部署到客户的环境中，并将数据划分到某个区域。非公司内部人员不可能直接访问相关数据，从而从机制上确保数据安全。

在使用大数据平台时，JD.com数字分公司为企业客户内部的运营商提供数据全生命周期的安全管理服务，并对敏感数据进行不同层次的分类。这样，操作员只能访问一定范围内的数据，保证了操作过程中的数据安全。

雷锋。t1大数据平台有直销产品吗？Cloudera和hortonworks在国外上市，神州信息、华为、星环和罗明数据等大数据平台产品在中国上市。与这些制造商相比，t1大数据平台的优势和劣势是什么？

京东数字分公司t1大数据平台具备实时异构海量数据处理能力，如实时数据处理平台，已达到tb级数据在线实时处理，可提供毫秒级延迟。

此外，京东数字分公司的t1大数据平台也提供了新的数据服务架构。在以前的传统架构中，只能处理结构化数据，而t1可以实现对各种结构化、半结构化和非结构化异构数据的统一数据访问、数据集成、数据处理和分析。

雷锋。你之前说过t1大数据平台是一个完整的解决方案。你能告诉我们它在哪里吗？它独特的组成部分在哪里？

t1大数据平台的“完整性”主要体现在三个方面:一是产品功能涵盖了从异构数据采集、存储、处理到使用的整个数据生命周期的端到端过程，具有数据类型完整、采集时效性高、使用方式灵活多样的特点。

二是产品运营模式覆盖了所有具备大数据技能的用户群体，不仅提供了一种无需专业大数据技能的拖放式、智能便捷的运营模式，还为算法工程师、数据科学家等高层用户提供了一个免费的数据探索门户，最大限度地发挥了平台的作用。

第三，可以为大数据价值链传输中的整个数据应用场景提供良好的支持，数据接口、标签、模型等服务可以与上层数据应用场景无缝集成对接。

有相当多与众不同的组件或功能，例如，数据复制组件可以实时分析和收集许多主流数据库的数据，如mysql、oracle、db2、hbase和mongodb，其功能在整个行业的同类产品中也非常领先和突出。标签人像组件不仅具有处理和查看标签人像的功能，还提供了与上层业务的快速对接方式和应用效果评估，从而解决了使用中的“最后一英里”问题。

雷锋。对于目前一些规模较小或积累数据较少的公司，有些人认为没有必要建立这个系统。暂时租aws和阿里巴巴云就足够了。对于数据量大但数据分析要求简单的公司，他们可以直接购买软件或服务，如tableau、splunk、hp vertica或ibm db2。您认为大数据平台上的数据量或记录规模必须达到什么水平？

大数据平台的使用可能与数据量没有直接关系。

某些行业的一些初创企业或公司对数据使用和数据归属的要求较低；一些公司目前需要解决一些业务运营分析，他们确实可以购买一些公共服务。然而，当这些公司发展到一定阶段，如果他们想做得更好，如营销推广，在线个人信用或风险控制，他们需要有大数据平台的能力。

雷锋。t1大数据平台是开源的吗？

t1大数据平台的底层是基于开源生态系统构建的，它可以帮助我们的客户利用开源生态系统的一些功能并支持业务发展。但是就产品本身而言，它目前还不是开源的。

雷锋。t1大数据平台定制和正式使用通常需要多长时间？

目前，t1大数据平台是一个非常成熟和标准化的产品。我们还提供一键式安装和部署服务，可以将t1大数据平台标准化地集成到客户的it系统中。基本上，它可以在一周内投入运行。

雷锋。你提到产品部署可以在一周内完成。将产品从0到1部署到银行原始it系统的一般流程是什么？本周你主要做什么？

为了确保交付效率和给客户的体验，t1大数据平台将在本周外做出更多努力。从技术层面来看，t1大数据平台可以实现自动化和集装箱化的安装部署模式；在交付方式上，专业交付实施团队将提前与客户一起规划部署架构，并在t1大数据平台的自有演练环境中完成部署演练，以实现在客户现场最快的部署。

雷锋。在本周的部署中，你认为你需要帮助银行it部门解决的最复杂的技术和系统对接问题是什么？

在实际部署阶段之前，我们将与银行it部门共同解决适应和对接问题。在银行登陆过程中，存在一些问题，如基础环境的兼容性、现有系统的对接以及客户自身工作流程的衔接等。相对而言，现有系统的对接是一个相对复杂的部分。t1大数据平台的每个子产品都抽象出可能有外部交互的功能逻辑，并通过接口和插件实现了成本最小化的对接。