ecogofit
本站致力于IT相关技术的分享
构建高基数时序数据平台的异构技术栈架构权衡 构建高基数时序数据平台的异构技术栈架构权衡
挑战定义：工业物联网的高基数实时监控设想一个场景：为一个大型制造工厂部署一套监控系统。该系统需要实时追踪上万个传感器（从温度、压力到振动频率）的数据。每个传感器每秒上报一次数据点，每个数据点包含时间戳、值以及一组描述传感器的元数据标签（如
2023-10-27 后端架构
Solid.js Turbopack Haskell Laravel 时序
基于 GitHub Actions 构建从 SQL 到 NoSQL 的双写数据一致性校验管道 基于 GitHub Actions 构建从 SQL 到 NoSQL 的双写数据一致性校验管道
我们的用户中心服务，其核心数据模型一直存在于一个 PostgreSQL 数据库的 users 和 user_profiles 表中。随着业务迭代，profile 表的字段变得越来越臃肿，频繁的 ALTER TABLE 操作不仅在生产环境风险
2023-10-27 数据工程
GitHub Actions SQL NoSQL PostgreSQL MongoDB CI/CD
构建一套由Java服务编排的混合式RAG数据管道 构建一套由Java服务编排的混合式RAG数据管道
我们面临的挑战并非简单的信息检索。用户提交的查询是模糊的、上下文相关的，而知识库则分裂为两部分：一部分是存储在关系型数据库中高度结构化的实体数据，另一部分是散落在文档、报告和笔记中的海量非结构化文本。单纯的关键字匹配或全文搜索早已失效，而单
2023-10-27 架构与设计
Solid.js Java spaCy Weaviate GraphQL
为多租户 Spark 集群构建基于 Tonic 的即时 IAM 凭证颁发服务 为多租户 Spark 集群构建基于 Tonic 的即时 IAM 凭证颁发服务
在管理一个共享的、多租户的 Apache Spark 集群时，数据访问的权限控制是一个无法回避的核心挑战。当不同的租户作业需要在隔离的 S3 存储桶中读写数据时，如何安全、动态地为其授予最小权限，同时避免凭证泄露，成为架构设计的关键。一个常
2023-10-27 分布式系统
gRPC IAM Rust Apache Spark Tonic
构建基于CQRS与Puppeteer的弹性图数据ETL管道及死信队列实践 构建基于CQRS与Puppeteer的弹性图数据ETL管道及死信队列实践
最初的需求听起来并不复杂：从十几个合作方的旧版门户网站上抓取供应链的上下游依赖数据，并构建一个可视化的依赖关系图。然而，现实很快给了我们沉重一击。这些门户网站的稳定性极差，网页结构频繁变更，时不时还会弹出无法预测的验证码。一个简单的定时任务
2023-10-27 分布式架构
CQRS Puppeteer Dead Letter Queue Neo4j RabbitMQ 事件驱动架构
Go语言实现支持REST与WebSocket的并发PostCSS远程编译服务 Go语言实现支持REST与WebSocket的并发PostCSS远程编译服务
团队内部的前端开发环境一致性一直是个隐蔽的痛点。不同开发者机器上的 Node.js 版本、npm 包依赖、全局安装的 CLI 工具链差异，时常导致“在我这儿能跑”的经典问题。CI/CD 流水线需要为每次构建重新 npm install，耗时
2023-10-27 后端架构
Go WebSockets RESTful API PostCSS DevOps
4 / 8