ecogofit
本站致力于IT相关技术的分享
利用CDC、Pulsar与Neo4j构建事务一致的实时图数据管道 利用CDC、Pulsar与Neo4j构建事务一致的实时图数据管道
在真实的业务场景中，将关系型数据库（如PostgreSQL）作为核心交易系统（OLTP）的黄金标准，而使用图数据库（如Neo4j）进行深度关系分析、欺诈检测或实时推荐，是一种常见的异构持久化架构。这里的核心挑战在于如何维持两者之间的数据同步
2023-10-27 数据工程与存储
框架与工具 Neo4j Pulsar Debezium CDC
基于CDC实现单一数据源到ClickHouse与Solr的近实时双写架构权衡 基于CDC实现单一数据源到ClickHouse与Solr的近实时双写架构权衡
在构建复杂的业务系统时，一个常见的技术挑战是数据需要以多种形式被消费。例如，核心业务数据存储在PostgreSQL或MySQL这类关系型数据库中，以保证事务的ACID特性；同时，运营和分析团队需要对这些数据进行高性能的即席SQL查询，这正是
2023-10-27 数据工程
ClickHouse Kafka Solr SQL 搜索 CDC
构建基于Jupyter Notebook的静态站点搜索引擎：Solr与Elasticsearch的架构权衡与插件化实现 构建基于Jupyter Notebook的静态站点搜索引擎：Solr与Elasticsearch的架构权衡与插件化实现
我们的内部技术知识库积累了数千个Jupyter Notebook，这些文件通过一个定制的SSG（静态站点生成器）流程发布为内部静态网站。然而，随着内容量的激增，基于JavaScript的客户端搜索方案已经完全失效——浏览器在加载庞大的索引文
2023-10-27 系统设计
Solr SSG Jupyter Elasticsearch 设计模式
构建基于Saga模式连接Prometheus TSDB与Hadoop的分布式计量架构 构建基于Saga模式连接Prometheus TSDB与Hadoop的分布式计量架构
一个看似简单的需求摆在面前：我们需要为云服务构建一个计量（Metering）系统。它必须能处理每秒数十万次的资源使用事件，为运营团队提供近乎实时的监控视图，同时，这些数据必须100%可靠地归档，用于月底的精确计费和年度的业务分析。实时性要求
2023-10-27 分布式架构
Prometheus TSDB Hadoop Saga Pattern 分布式事务 数据工程
构建面向分片OpenSearch集群的Next.js高性能日志SDK实践 构建面向分片OpenSearch集群的Next.js高性能日志SDK实践
技术痛点：失控的前端日志风暴我们维护着一个庞大的、由数十个Next.js应用组成的前端微服务体系。随着业务量的激增，前端日志的采集与分析逐渐成为一个瓶颈。最初采用的第三方日志服务，通过在每个页面加载一个重量级的JS脚本来采集数据，带来了几个
2023-10-27 全栈开发
Next.js OpenSearch Rollup 数据库分片 可观测性
8 / 8