万字详解：知乎用户画像与实时数仓的架构与出发点

他用户所画种系统与 Apache Doris 因应主导建设项目，下降年轻人配对的速度（比如说参阅）

4、适合于度

1）种系统对样本再加有不多从未能 count、sum 效益。再加有不多都是适合于去正和典型本联合计数的意味着。

以播放量为例。在启播、暂停、完播、心跳等多个条件下，亦会同时有多个点，要顺利进行去正。同时基于音频看看、音频的彼此间和双笔记联合音乐创作的彼此间，并不需要叠加有，同时尽确实在父子以下内容显现出异常状态的意味着下管控管控过程其中所之内外播放暴力行为。

2）年轻人统计分析的业务，努力多角度、各维度顺利进行年轻人关连计数，同时基于极少有部其他用户理论上特征针对理论上年轻人和对比年轻人顺利进行 TGI 计数，配对出显著理论上特征，如何妥善解决？

通过其他用户所画种系统与 Apache Doris 因应主导建设项目，妥善解决适合于的年轻人统计分析（比如说参阅）

3）的业务样本中所有减 / 续 / 改回命题，如何种系统对连动？

种系统对样本内嵌种系统与 Apache Doris 因应主导建设项目，妥善解决减 / 续 / 改回命题（比如说参阅）

4）明细样本显现出异常找到滞后，显现出异常找到后，并不需要近期修正构建方式，及回溯样本修整，如何妥善解决？

通过选择 Lambda 体系结构作为样本体系结构妥善解决（比如说参阅）

三、实践及潜能回馈

1、更进一步性的业务体系结构

基于理论上的的业务，从顶层至底层顺利进行了整合。主要可分ASP、的业务数学方法有层、的业务辅助工具层、典范设施层。基于我们理论上的的业务共通点，自上而下。

ASP：负责理论上我们的的业务运用于，实际上为的业务给予辅助工具或给予的业务的某些模块，与的业务共担尽确实，为的业务赋能。 的业务数学方法有层：支持ASP建设项目和一定的种系统对统计分析并能，同时也作为的业务某一个报注记的新功能模块互联用到，为内外部的业务和自身ASP建设项目，与的业务共担尽确实，为的业务赋能。 的业务辅助工具层：支持ASP和的业务数学方法有层的研发，给予通用的辅助工具，面向下降ASP和的业务数学方法有层的建设项目成本较低，下降更进一步性建设项目的工程项目品质，尽确实的业务稳定和样本可用性准确。 典范设施：高效率中所台给予的典范设施和云服务，给予稳定可用的典范新功能，尽确实上层建筑的特性。

2、种系统对样本的样本体系结构大批量

妥善解决理论上解决办法的样本体系结构，一般有 Lambda 体系结构和 Kappa 体系结构。针对理论上的业务适应性，计数适合于、偶发的显现出异常解决办法并不需要大样本量回溯等适应性。理论上种系统对样本的样本体系结构采行的是 Lambda 体系结构。由 Doris 构成分钟级的批管控，Flink 来构成秒行政级别恰当命题的迳管控。完全一致如下：

3、ASP建设项目潜能回馈

1）种系统对样本种系统

①的业务情景

种系统对样本种系统主要有两个大朝向：种系统对的业务样本和种系统对迭代理论上特征。

种系统对的业务样本 通过给予种系统对的的业务加有权，妥善解决的业务对不太可能、发展前景的把驭，助力装配、折扣，提 升优质音乐创作量及以下内容折扣并能。 给予种系统对的适合于计数的也就是说加有权，扩大其他用户感官，妥善解决的业务口通过后上端脚本计数的较低保证成本较低和适合于度，节约成本较低，下降人效。 种系统对迭代理论上特征 以种系统对样本为典范，给予典型的种系统对迭代理论上特征，与中选迭代制作第一组主导下降 DAU、残存、其他用户仅限等框架加有权。

②引发的十分困难

缺少样本源多，计数前提适合于。以我们的播放量计数为例： 暴力行为有多条，并不需要针对暴力行为顺利进行去正。 管控管控过程和加有和前提很多，并不需要缺少多个样本源的相同样本结果顺利进行计数。

星期特异性较低 以迭代理论上特征为例，其他用户上传某以下内容后，针对早先行关连的一系列计数后，并不需要在一定星期内生产量计数结果（10min 未能生产量早先行中选准确性亦会有反转，26min 该理论上特征的准确性亦会降为 0） 集中行政管控过程中所协调成本较低较低 并不需要集中行政种系统中所，同时能识别 kafka 迳折扣的预期和护航顺利顺利进行意味着。 并不需要严苛拉齐多个缺少的折扣预期，当达到统一预期后，集中所顺利进行早先行护航计数。 样本仓库：集中行政种系统

③新高效率

木料种系统对样本基座，建设项目可视的样本数学方法有，下降建设项目成本较低。

针对缺少样本众多、计数前提适合于、可用性难以尽确实等解决办法。通过建设项目辅助工具下降妥善解决解决办法的成本较低。 通过建设项目种系统对样本内嵌和种系统对样本集中行政的并能，应有样本互联和样本数学方法有建设项目的速度，下降互联星期，下降的业务互联工作效率（完全一致见下方） 通过建设项目种系统对样本可用性中所心，应有样本可用性，下降找到样本可用性解决办法的星期，下降找到工作效率，尽确实的业务下线结果（完全一致见下方） 星期特异性较低，扩大防范、与 Doris 战略性主导下降吞吐工作效率和计数工作效率： 木料只读延期、计数延期等防范，短时间找到解决办法。 Doris 战略性顺利进行数值变动，调整试验性只读的样本量、星期和频率等顺利进行最优化。

理论上我们的 Load 主要有 Broker Load 和 Routine Load。其中所一般性允许较低的是 Routine Load。我们近期的顺利进行了数值调整。

Doris 减大了 Runtime Filter，通过 BloomFilter 下降 Join 性能。

Doris 战略性在 0.14 新版本中所加有入了 Runtime Filter 的管控管控过程，针对 Join 大量 key 被管控管控过程的意味着有微小下降；该变动针对我们理论上的几个的业务集中行政性能，有微小下降。星期从 40+s 下降至 10s 大约。

2）其他用户所画种系统 DMP

①的业务情景

其他用户所画种系统主要有两大新功能：其他用户检索和其他用户统计分析。

其他用户检索。

正点在于短时间顺利顺利进行年轻人辅助工具箱圈选同时在圈选条件变动管控过程中所，并不需要短时间计数出预计能圈的其他用户有哪些？

其他用户统计分析。

正点在于多年轻人辅助工具箱的各个维度对比统计分析，通过统计分析结论找到最微小的其他用户理论上特征（通过 TGI 值确实）

②引发的十分困难

样本装配能力大。我们理论上是 200+ 个标签，每个标签内外有相同的计数值，总计有 300+ 万的 tag。tag 对其他用户的打标相比之下在 900+ 亿条记录。由于标签每日格内外新转换成相比之下十分大。 配对响应星期允许较低。针对恰当的配对，允许在秒行政级别出结果，针对适合于的年轻人配对，配对后年轻人量大的意味着，允许在 20s 内顺利顺利进行年轻人辅助工具箱生成。 年轻人辅助工具箱除了 long 类型的其他用户 id 内外，还并不需要有多种相同的仪器 id 和仪器 id md5 作为配对结果。 其他用户统计分析情景下，针对 300+ 万 tag 的多年轻人直叉 TGI 计数，并不需要在 10min 内顺利顺利进行。

③新高效率

DMP 的业务体系结构

DMP 的业务报注记

性能解决办法近期妥善解决；样本装配能力大，下降转换成性能，全盘。 样本数学方法有变动，整合份文件。

Doris 的存储器是按照 Tablet 分散在战略性上的。通过调整样本数学方法有，尽确实分布内外匀及每个份文件尽确实的小。

转换成变动，整合转换成。

由于每个 Broker Load 转换成都是有性能瓶颈的，将 900+ 亿行样本，拆可分 1000+ 个 Broker Load 的转换成护航，尽确实每个转换成总量都足够小。

下降年轻人配对和年轻人统计分析的计数速度，全盘。 的业务命题变动，整合其他用户。 将其他用户每 0 ～ 100 万拆可分一第一组。 针对极少有部其他用户的直并再加有，可定义于对所有第一组其他用户直并再加有后的并集。 针对极少有部其他用户的直并再加有的总数，可定义于对分第一组其他用户直并再加有后的总数顺利进行 sum。 样本数学方法有变动，整合份文件。 特设 bitmap 的分第一组数值，将分第一组特设为 colocate group。尽确实每个分第一组的直并再加有计数内外在自己所在 BE 顺利顺利进行，无需 shuffle。 将 bitmap 注记的分桶整合格内外多，通过格内外多份文件同时计数格内外快结果。 计数数值变动，下降并发。

由于计数管控过程通过分治的暴力行为，拆可分多个小护航。通过下降并行度 parallel_fragment_exec_instance_num 再实质性最优化计数速度。

④准确性

APP后，互联了知乎多个主要情景的的业务，支持多的业务方的年轻人定向和统计分析并能。为的业务助长曝光量、转化率等实际上加有权的下降。

同时在辅助工具性能上，有如记现：

转换成速度。理论上每日 900+ 亿行样本，在 3 小时内顺利顺利进行转换成。 年轻人预估。年轻人预估理论上可在 1s 内顺利顺利进行，P95 985ms。 年轻人圈选。年轻人圈选管控过程在 5s 内顺利顺利进行，更进一步性圈人在 2min 大约。（待下降中所参阅） 年轻人统计分析。年轻人统计分析管控过程在 5min 内顺利顺利进行。

⑤待下降

新功能扩展 缺乏定制的年轻人游离并能。多的业务情景对才有年轻人顺利进行游离有适合于且典型的效益。 缺乏其他用户年轻人染色剂，能够再多个环节顺利顺利进行其他用户准确性的多余和顺利进行早先行的统计分析。 性能下降 理论上 Doris 的行列转换新功能在建设项目中所。在其他用户所画的业务中所，将其他用户 id 格内外换为仪器 id，年轻人缩减（将完全一致年轻人辅助工具箱缩减为一个比较小的年轻人辅助工具箱用于早先行服务于手势）管控过程是通过的业务示例实现的，下降了性能。早先行结果由行列转换后，其他用户所画结果管控报注记中所亦会将仪器 id 提供方式通过 join 维度注记来实现，年轻人缩减通过 order by rand limit 来实现，亦会有比较微小的性能下降。 理论上 Doris 的读取 bitmap 新功能在建设项目中所。的业务示例能够读取到 bitmap，勉强先行通过 bitmap_to_string 方法有读取到转换为文本的 bitmap，加有大了以太网量，下降了圈选性能。早先行可以实际上读取 bitmap 后，的业务命题中所亦会替换为实际上提供 bitmap，亦会很大层面的减少样本以太网量，同时的业务命题可以近期CPU。 针对年轻人预估命题，理论上是通过例如 bitmap_count(bitmap_and) 两个算子顺利顺利进行的，早先行 Doris 亦会给予 bitmap_and_count 原属为一个算子，替换后可下降计数工作效率。

4、辅助工具层建设项目潜能回馈

1）样本内嵌

①的业务情景

“巧妇难为无米之炊”，从未能样本也就从未能后面的一切，样本采集作为典范至关极其正要。Doris 样本仓库自带的多种样本转换成方式 对于样本入仓十分便利，但是在我们的用到管控过程中所也遇上了一些解决办法。比如：

在从离线数仓顺利进行 broker load 的时候样本缺少丢失，沿河样本错误能够评量受都对的范围； 并不需要编写冗长的 etl 管控命题示例，小的操驭变动报注记内都，并不需要极少有报注记（多于 30 分钟）的APP操驭； 此内外每次部署操驭还有确实遇上各种初始化 MQ 折扣者的解决办法； 缺少运行状态防范，显现出显现出异常解决办法能够在分钟甚至小时行政级别的星期找到； 在线转换成极少支持 kafka json，沿河的 pulsar、protobuf 样本仍并不需要示例研发顺利进行转发，引发每次互联样本都并不需要转换算子的研发以及同样极少有报注记的APP操驭； 的业务命题中所，努力的业务是什么样，Doris 中所的样本就是什么样，让的业务无人脑。这种极少有减量连动努力被辅助工具箱住，而不是做很多备有或研发很多示例来实现。

②新高效率

在建设项目种系统对样本数学方法有的管控过程中所。并不需要缺少众多的业务的样本，同时并不需要针对样本塔身建设项目样本数学方法有。摸索并木料了种系统对样本内嵌种系统和种系统对集中行政种系统，并下沉到辅助工具层。

种系统对样本内嵌。建设项目短时间且自定义的备有，针对相同的样本源建设项目转换成并能。 与 Doris 的 Broker Load 和 Routine Load 顺利进行因应，在此典范上木料针对的业务的极少有减量连动。 封装内嵌并能对核心暴露的接口，的业务层无需注记达出来中所间管控过程，只选择连动的样本库和样本注记只需顺利进行种系统对连动。

③准确性

连动备有

连动护航

APP之前 晚期用到 Doris 研发种系统对样本的业务管控过程中所，由于并不需要某个样本极少有/减量连动，同时顺利进行样本转换。并不需要建 Doris 样本数学方法有，顺利顺利进行极少有量样本转换成，建设项目减量样本 ETL 和 Routine Load 等研发，并不需要 1 名设计者 1 天才能将一张注记互联到 Doris 中所并顺利进行极少有减量种系统对连动。 中所间链路多，缺乏向警方，针对极其正要的链路，建设项目打点和向警方成本较低较低，并不需要 0.5 天大约。

极少有量：原始样本库 TiDB -> 中所间之内外（DataX）-> Doris

减量：原始样本库 TiDB -> TiCDC -> C Binlog Kafka -> ETL（填充样本）-> Kafka -> Routine Load -> Doris

APP后 极少并不需要 10min 的备有，样本内嵌辅助工具箱含数学方法有，样本转换成及中所间 ETL 的转化和额内外样本补充以及 Routine Load 极少有部建好。的业务层无需人脑样本中所间链路，极少并不需要刻画我努力那个注记被连动。 APP后无需的业务关心，顺利顺利进行第一步备有后，早先行的防范和向警方以及相一致性，内嵌极少有面妥善解决。

2）样本集中行政

①的业务情景

我们在初期通过 Doris 建设项目种系统对样本的管控过程中所，是通过 Routine Load 后的样本，再定时护航可执行早先行计数命题，后再将计数结果导出到构成存储器，如 Redis、Zetta（知乎自研 HBase 贸易协定） 中所顺利顺利进行内外部舆论压力构成。在这个管控过程中所遇上了如下解决办法：

缺少未能就绪早先行护航就可执行。如不太可能 24 小时的曝光，在 15:05 运行昨日 15:00至今日 15:00 的转发。此时如果 Routine Load 极少转换成到 14:50 的样本，这次可执行结果显现出异常； Doris 资源有限，但很多护航都是某些整点整分钟的，一次性大量的计数护航产生战略性崩溃； 护航有否可执行成功，护航有否延期，有否都对到的业务，无向警方无反馈； 导出存储器管控过程通用，反复示例研发，每次都并不需要 0.5 - 1 天的星期研发只读和的业务接口。

②新高效率

体系结构图

报注记图

③准确性

连动护航

盈余 建立护航缺少机制，通过 kafka 的 offset 和之前置注记有否顺利顺利进行计数，确实理论上计数护航能否可执行。早先行再也从未能显现出过样本还未能转换成就先行开始顺利进行样本计数的意味着。 通过姑息策略，防范理论上 Doris 加有权，在较低负载意味着下能避免呈直 SQL。避峰趋谷，顺利顺利进行资源最大利用。早先行通过这种拟议，一定层面的能避免了瞬时跑较低更进一步性战略性的解决办法。 极少有链路防范护航可执行意味着，和延期意味着，一旦延期向警方，及时沟通妥善解决和回复的业务。一旦护航延期，防范可十分短时间的找到特别解决办法，多数意味着能在的业务可接受范围内顺利顺利进行回复。 APP后，早先行并不需要 1 天的工程项目并能研发星期下降至 0。只并不需要在 Doris 中所有一个可转发的 SQL，经过恰当备有只需顺利顺利进行一定星期下线给的业务特别样本、告示牌的效益。

3） 样本可用性

①的业务情景

样本，已经成为互联网企业十分缺少的极其正要股东权益。样本可用性的好坏实际上彼此间到反馈的准确性，也都对到企业的生存和潜力。Michael Hammer（《Reengineering the Corporation》一书的笔记）曾说过，看起来不起眼的样本可用性解决办法，实际上是舍弃的业务报注记的极其正要标志。样本可用性行政是测度、提较低和验证可用性，以及建构第一许多组织样本的方法有等一套管控原则，而体量大、速度快和典型性的适应性，决定了大样本可用性所需的管控，有别于传统反馈治理计划的可用性行政方式。

完全一致到针对知乎的各个的业务：

AI和平台、放缓制作第一组、以下内容和平台等已经将之内外或极少有部的业务渐渐迁移到种系统对计数和平台，在互联样本格内外种系统对，格内外迅速的互联助长的所渴求的盈余内外，样本可用性格内外加有变得极其正要。

明晰性

样本明晰性解决办法辅助工具箱括：数学方法有设计不明晰，例如：唯一性理论上不明晰、参照不明晰；样本此注记不明晰，例如：样本记录丢失或不可用；样本本体不明晰，例如：样本本体空值。不明晰的样本所能借鉴的价值就亦会大大下降，也是样本可用性解决办法最为典范和常用的一类解决办法；

相一致性

多源样本的样本数学方法有不相一致，例如：取名不相一致、样本结构不相一致、理论上前提不相一致。样本实体不相一致，例如：样本编码不相一致、取名及涵义不相一致、分类复杂性不相一致、生命周期不相一致……相同的样本有多个原件的意味着下的样本不相一致、样本以下内容冲突的解决办法；

可用性

可用性也叫精确性，是用于统计分析和识别哪些是不准确的或无效的样本，不精确的样本确实亦会引发严正的解决办法，亦会产生有缺陷的方法有和糟糕的议程；

唯一性

用于识别和给定反复样本、延时样本。反复样本是引发的业务能够协同、报注记能够追溯的极其正要因素，也是样本治理并不需要妥善解决的最理论上的样本解决办法；

关连性

样本关连性解决办法是所称假定样本关连的样本彼此间不足之处或错误，例如：算子彼此间、特别系数、主内外键彼此间、索引彼此间等。假定样本关连性解决办法，亦会实际上都对样本统计分析的结果，进而都对行政议程；

真实性

样本必须真实准确的揭示客观的实体假定或真实的的业务，真实精确的原始统计样本是企业统计工作的灵魂，是一切行政工作的典范，是经营者顺利进行无论如何经营议程必不可少的第一手资料；

及时性

样本的及时性是所称能否在并不需要的时候获到样本，样本的及时性与企业的样本管控速度及工作效率有实际上的彼此间，是都对的业务管控和行政工作效率的不可或缺加有权。

②新高效率

极少有报注记的样本链路和各级可用性尽确实方法有

的业务体系结构

的业务报注记

③准确性

某的业务有益意味着防范

以通过 DQC 防范的某一个的业务的有益意味着，该的业务由多个导出护航和中所间计数护航及之内外样本源第一组成，理论上意味着是一切正常。期间如果显现出某节点现出异常后，都可及时找到。

某护航中所间命题防范

该护航中所间计数中所其中所之内外前提未能达标，引发该护航未能通过。

④盈余

APP之前 晚期无类似 DQC 种系统尽确实的之前提下，我们很多解决办法都是天行政级别甚至APP后，才找到假定样本显现出异常，显现出过 3 次解决办法，产生的返工和下线不靠谱的意味着，对的业务都对很大。 晚期研发中所，在研发管控过程并不需要不断针对各种细节前提顺利进行比对，总亦会花费一定星期塔身接收者，成本较低很大。 APP后 在APP 1 个年底内，通过 DQC 种系统前提，理论上已找到了 14 个错显现出异常，在 1 - 2h 大约找到，立即修整。对的业务的都对下降到最小。 在种系统APP后，在研发管控过程中所，研发完特别样本，如有显现出异常，就产生了显现出异常向警方，不断节省了人工找到的成本较低，因为修整星期早，在早先行研发启动之前，就已经修整，很大层面下降研发管控过程中所的返工成本较低。

四、总结和展望

1、盈余总结

1）的业务转变总体

①针对种系统对的业务样本

给予了基于一般性的不太可能、发展前景的把驭。格内外快的业务在装配、折扣总体的用到，进而下降优质音乐创作量及其他用户对以下内容折扣并能。 同时给予了给予种系统对的适合于计数的也就是说加有权，扩大其他用户感官，下线了的业务后上端通过脚本计数加有权的方法有，下降了的业务的适合于度，节约了成本较低，下降人效。

②针对种系统对迭代理论上特征

给予了基于音乐笔记、以下内容、折扣者的种系统对迭代理论上特征，与迭代制作第一组主导在多个项目中所，针对 DAU、残存、其他用户仅限等框架加有权有了微小的下降。

③针对其他用户所画

充实和替换其他用户配对，做到多维、多类型的定向配对，并互联了服务于和平台、电子商务和平台等种系统，提较低了的业务工作效率，下降了的业务人员顺利进行年轻人定向的成本较低。 木料和充实其他用户统计分析，做到多角度其他用户统计分析，定向其他用户统计分析报告 0 成本较低，助力的业务部门短时间相反框架的产品美国市场。

2）辅助工具建设项目总体

顺利顺利进行了种系统对样本运用于和其他用户运用于的布局，建设项目了特别的研发和保证辅助工具，妥善解决了先行之前在此总体无典范设施，无的业务辅助工具，研发成本较低较低的解决办法。 木料了内嵌、集中行政、可用性种系统。通过辅助工具的方式下降了的业务转变和迭代的成本较低，让的业务短时间转变，同时也尽确实了下线可用性提较低了的业务基线。

3）人员第一许多组织总体

自上而下的整合了种系统对样本和其他用户所画的并能，可分ASP、的业务数学方法有层、的业务辅助工具层和典范设施层。通过第一许多组织划定，明确了相同复杂性的边界和格内外快了的业务尽确实的达成。 木料并充实了多复杂性制作第一组人员梯队。根据针对相同朝向的同学，给予相同的 OKR 尽确实，做到跨复杂性朝向隔离，同复杂性朝向相一致，同模块尽确实相一致。主导为更进一步性种系统对样本与其他用户所画服务建设项目而努力。

2、下一代展望

从 2021 年 8 年底成立至今，我们一直思考如何给予格内外好的种系统对样本服务？种系统对样本能建设项目什么总体的运用于，为的业务建构价值？如何将其他用户所画服务做？其他用户所画服务的配对、统计分析并能如何为的业务建构格内外大价值？摸着石头过河的同时，我们也在不断摸索和建设项目特别的的业务并能和典范建设项目。在明年的转变中所，我们还亦会针对以下总体实质性转变：

1）基于种系统对样本

加有速典范并能辅助工具层的建设项目，过后下降基于种系统对样本总体的建设项目、下线成本较低。 下降样本可用性辅助工具构成并能，为的业务数学方法有给予可用性应有，并给予基于种系统对样本的所画可用性应有并能。 基于理论上的业务诉求，之内外情景针对 5 分钟级种系统对能够满足，实质性探索秒行政级别适合于意味着种系统对并能，并给予并能支持。

2）基于其他用户所画

扩大并针对其他用户所画、其他用户注记达出来、其他用户推断出 Simon 数学方法有等实质性建设项目。通过与完全一致的业务结合，建设项目贴合的业务情景的其他用户注记达出来实践中和可视的统计分析并能，找到的业务的残存点。 实质性扩大新的辅助工具并能的建设项目，通过建设项目其他用户注记达出来辅助工具、其他用户统计分析辅助工具，下降产生注记达出来及对的业务统计分析的成本较低，下降的业务工作效率，短时间找到的业务价值。

笔记丨侯容

来源丨网址：

dbaplus社群热烈欢迎广大高效率人员新潮，新潮邮箱：editor@dbaplus.cn

关于我们

dbaplus社群是描绘出Database、BigData、AIOps的企业级大学本科社群。资深大的大、高效率干货，每天精品原创篇名推送，每周线上高效率回馈，每年底线下高效率沙龙，每季度GdevopsSimonDAMS行业大亦会。

瞩目政府部门号【dbaplus社群】，提供格内外多原创高效率篇名和精选辅助工具下载

。

用什么可以抗风湿治疗
奥美拉唑对胃溃疡有用吗
艾得辛对风湿效果好吗
阳痿需要多少钱
关节炎用什么药好
金笛复方鱼腥草合剂流感能用吗
哪种血糖仪比较好测量准确
肠炎怎么治疗好得快
新冠腹泻吃肠炎宁管用吗
胃反酸吃金奥康奥美拉唑怎么样