腾讯大数据云平台TBDS

腾讯云大数据平台套件TBDS（Tencent Big Data Suite）是基于开源体系，融入腾讯内部海量数据处理先进实践，面向数据全生命周期，提供一站式、满足政企级性能和容灾需要、全面支持信创、安全可信的大数据统一存储、计算、分析平台。为企业快速构建海量数据处理平台/数据中台解决方案提供完善的平台和工具支撑。通过对海量数据信息进行统一汇聚、实时和离线的分析和挖掘，帮助企业从海量数据中获取真正的价值，及时洞察和决策新的机会和风险。

【主要功能】：数据字典：支持企业下全域数据快速查找与定位。数据血缘：支持租户级别下表、字段级别数据血缘全局、分层 展示，提供跨空间血缘链路追溯。数据温度：提供任务开发关联数据表使用温度统计。元数据：提供元数据异构数据元采集及统一管理。

【主要功能】：基于40+系统规则模版，支持用户对数据进行离线质量 监控检测任务的配置和运维管理。同时支持周期性的质量分析概览。

【主要功能】打通ranger权限策略体系，实现责任到人，数据粒度到表 的权限管控能力。提供权限申请和审批通道，安全开放数据访问控制能力。

【主要功能】：数仓规划设计：按项目进行数仓架构设计，定义数据分层、 分类、主题域、业务过程，并进行业务打标和规范检查动 作。逻辑模型设计：支持关系/维度建模，通过关系设计、维 度指标绑定，实现逻辑模型规范定义，通过模型发布实现 物化落地。

【主要功能】：指标生产管理：进行基础指标、衍生指标业务定义、计算 规则管理，通过指标发布实现自动生产和物化落地。维度生产管理：对维度进行分类定义管理（日期、业务限 定、普通维度、退化维度），实现维表自动生成。

【主要功能】：敏捷开发：可视化画布拖拽式开发，集成算子能力，包括 筛选、计算、连接、聚合等数据处理能力；单环节快速数 据查看和预览，方便调试和问题排查。自动调度：配置发布后无缝提交至调度平台，将任务实例纳入统 一运维管理。模板算子：将基础算子和自定义函数为工具来进行通用业务逻辑 片段或指标参数的模版化开发，通过处理单元的组合抽象形成一 批标准的指标模板。

【主要功能】：开发环境：提供交互式Jupyter Notebook为开发环境。主流算法/框架：支持业内主流计算框架，提供多种统计分析和机器学习算法包；支持从数据清洗、特征工程、模 型训练、超参配置、评价指标的全流程开发的需求。工作流编排：一键式的从代码转换到工作流的编排能力， 降低使用门槛。数据探索：可视化的数据探索工具，提供列统计、相差性 分析、缺失值检测、数据预览等通用功能。

【主要功能】：输出可视化：节点运行结果以可视化方式进行展示，方 便用户的代码调试。DAG展示：流水线以动态DAG图方式呈现，实时显示 节点状态，并按节点统计日志、输出、结果可视化 等，方便用户监控任务。任务调度：支持一次和周期性的任务调度策略，周期 任务支持中止和重跑操作。

【主要功能】：分析看板：可插拔、自服务式的可视化看板，通过集 成自定义分析卡片，支持定时更新和分发功能，高效 支撑业务人员差异化指标分析场景；探索模型：按场景需求分类构建自定义探索分析模型， 模型可组装形成通用分析卡片，基于统一服务能力对 外输出。

腾讯内部海量大数据开发运维经验和自研引擎能力加持

集开发、调试、部署及运维于一体的一站式可视化。实时实时大数据处理平台。3种应用搭建方式，满足不同层次的用户需求。丰富的上下游生态，无缝对接不同业务线。自助调试，快速验证应用的开发逻辑。多维度实时指标+多渠道告警，助力业务轻松运维。计算结果实时可视化。

满足跨DC、跨引擎的异构数据源统一关联分析。作为统一的融合SQL引擎，提供统一的异构数 据管理和分析入口。优化集群资源使用，解决业务资源使用瓶颈。

支持海量存储，单表能够存储超过万亿行、万列，实现真正的大宽表存储海量数据。针对百亿/千亿级数据，数秒~数十秒耗时，实现数据精确查询/模糊匹配。能够快速实现大宽表内千亿级数据量的复杂多维分析。能够对千亿级/万亿级数据量，快速实现全文检索、模糊。

Oceanus 是一个基于Flink框架，集开发、调试、部署及运维于一体的一站式可视化实时实时 大数据处理平台。平台在提供应用管理、计算引擎和资源管理等能力的同时，通过日志、监控、告警等周边服务打 通了实时业务的全生命周期。画布、SQL、JAR三种应用搭建方式，满足不同用户需要。算子粒度调优，自主调试，逻辑验证。深度集成TBDS，租户管理、资源细粒度管控。

项目验证：Hermes150台服务器规模，单机256GB内存、32核CPU、2T*12 SAS盘。每天数据采集增量超过200亿行，目前存量超过2.5万亿行、2PB数据存量。最大的大宽表有7000亿行数据，500个维度指标，约600TB数据量。在数百亿行数据中，进行实时查询和全文检索，耗时约4~10秒之间。在数千亿行数据中，进行实时查询和全文检索，耗时约8~60秒之间。

腾讯多年海量数据处理经验之上，结合开源Hadoop生态和自研组件服务，对外提供的可靠、安全、易用的数据处理平台，为了便于用户和 合作伙伴更灵活的使用产品和二次开发，已将内部核心能力以API方式开放，API已有200+个。

简介：结合当前阶段信息化发展实际及城市未来发展需求,武汉市开展 智慧城市基础平台建设，智慧城市基础平台是基于城市学的生命体、 有机体理念，以系统科学为指引，利用云计算、大数据、物联网、人 工智能、区块链、5G等新一代信息技术，为城市交通治理、公共安全、 应急管理、政务服务、医疗卫生、旅游、环境保护、城市精细化管理 等构建的智慧城市基础平台，推动建设并打通各类城市数字化管理平 台，利用实时全量的城市数据，即时修正运行短板，优化城市公共资 源，实现城市治理模式、服务模式和数字产业发展的高质量突破。智 慧城市基础平台数据中枢是新时代智慧城市建设的前瞻性最佳实践， 是未来城市不可或缺的新基础平台。 数据中枢是智慧城市基础平台的重要支撑，建设智慧城市数据中枢有 利于武汉市加快打造智慧化的多维感知、整合共享、分析决策、精细 管理、精准调控等基础核心能力，是实现政府治理体系和治理能力现 代化，助推武汉市经济社会高质量发展的重要手段。

数据归集。全市政务基础数据汇 聚在中金云，已归集31个委办局， 664项数据资源，共计24.69亿 数据，初步形成6大基础库。但 数据更新频率较慢、数据来源单 一，归集的单位规模还有待提升。

构建数据全流程一体化大数据中枢， 实现从数据采集、处理、分析、服务 到应用的全流程贯通，形成全市覆盖、 技术领先、服务一流的大数据支撑体 系，沉淀城市数据资产，统一的数据 标准规范，深挖数据潜在价值，提供 统一权威的数据支撑。

推动全市基础数据资源归集， 梳理市直部门及公共服务机构 的“三清单一目录”。 深入推进数据治理、提升政务 数据质量，完成市、区共计 157个部门的数据的清洗处理。 沉淀数据资产，完善数据资源 体系，建设7大基础库，17大主题库。

简介：XX农商2020-2022年发展战略规划将“坚定数字转型”确定为 三个核心战略之一。加快数字化转型、提升数字化发展水平，既是战 略推进的需求，也是服务上海市数字化转型战略任务、履行市属金融 国企责任的体现。XX农商将通过数据能力中心建设项目加快金融科技 数字化转型，推进数据、科技、业务紧密深入融合，同步实现数据开 发和数据服务的统一管理，提升数字化对业务发展的支撑能力。数据 能力中心建设项目不仅是信息系统建设项目，更是与数字化转型战略 相匹配的管理项目。

数据服务:无法打通与访问全部数据，没有便利的数据服务接口,无客户统一视图及统一客户管理。 数据处理:没有实时数据处理能力，数据处理滞后。 数据治理:没有全行级的数据管理、数据质量低、数据不完整。

统一数据服务：构建数据共享和开放 服务体系，实现全行对外提供数据服 务、数据查询、数据分析的统一化。统一数据开发：搭建流计算、离线计 算、分布式数据存储的大数据平台， 引入统一的分布式数据模型，并在此 基础上构建用户指标体系、标签体系。统一数据运维：构建数据全生命周期 的集中统一运维平台。统一标准落标：在建模阶段就引用数据标准，解决数据落标难的问题。

引入服务平台和统一数据门户后， 将现有散布各处的数据服务能力集 中整合（量化指标待提供）。数据能力中心围绕风控、标签、分 析、报表等维度，构建了更完善的 “全”、“便”、“享”、“快”的技术服 务体系（量化指标待提供）。实现全行内外部数据规范化、体系 化、平台化、服务化的集中管控目 标，确保了数据来源唯一性，解决 了业务取数难、取不准的问题。

统一数据集成：客户内部有 多种数据源需要统一集成到 大数据平台，同时需要覆盖 离线和实时接入的场景。数据中心信创专区：客户构 建全信创数据中心，从底层 基础设施到操作系统及上层 服务全链路信创。

构建tbds大数据集成平台：对各 种不同数据源进行配置、管理， 以及元信息同步。通过离线任务 及实时任务实现不同场景下的数 据集成。构建tbds大数据信创版本：支持 客户在信创专区的部署及使用， 实现信创与非信创不同环境的产 品落地。

在统一的集成平台之上进行各种集 成任务的管理，简化使用成本及运 维管理复杂度。全面覆盖客户各场景下大数据平台 的产品落地，北京生产及测试环境、 上海灾备环境，信创专区生产及测 试环境等。

企业简介：公司于2002年12月29日正式挂牌成立并开始运作，供电 区域为广东、广西、云南、贵州和海南五省及港澳地区，负责投资、 建设和经营管理南方区域电网，经营相关的输配电业务，参与投资、 建设和经营相关的跨区域输变电和联网工程；从事电力购销业务，负责电力交易与调度；从事国内外投融资业务。

各平台独立建设导致组件的重复 封装和部署，资源管理和利用效 率低下。架构陈旧，开源大数据平台运维 能力不足，性能低，无法支撑微 信账单、设备台账等业务。业务系统自行建设数据应用，难 以实现公共数据积淀，无法形成 企业统一管理视图。

统一数据湖，包含大数据平台 +MPP数据仓库。TBDS基于腾讯内部业务场景优 化后的大数据组件，提供性能 优化参数。升入业务场景，协 助设计新业务架构。各业务数据统一归集到数据湖 底座，数据服务层作为数据中 心对外提供服务能力的应用层。