ecogofit
本站致力于IT相关技术的分享
构建基于CQRS与Puppeteer的弹性图数据ETL管道及死信队列实践 构建基于CQRS与Puppeteer的弹性图数据ETL管道及死信队列实践
最初的需求听起来并不复杂：从十几个合作方的旧版门户网站上抓取供应链的上下游依赖数据，并构建一个可视化的依赖关系图。然而，现实很快给了我们沉重一击。这些门户网站的稳定性极差，网页结构频繁变更，时不时还会弹出无法预测的验证码。一个简单的定时任务
2023-10-27 分布式架构
CQRS Puppeteer Dead Letter Queue Neo4j RabbitMQ 事件驱动架构
构建基于OCI的动态Puppeteer工作负载调度网关并利用CockroachDB实现任务持久化与全文检索 构建基于OCI的动态Puppeteer工作负载调度网关并利用CockroachDB实现任务持久化与全文检索
在规模化场景下运行无头浏览器（Headless Browser）任务，尤其是像 Puppeteer 这样的资源密集型应用，从来都不是一件简单的事。内存泄漏、僵尸进程、环境依赖地狱，这些问题在并发量上来之后会变得极其尖锐。最初的方案往往是一个
2023-10-27 分布式系统
CockroachDB Puppeteer 网关与代理 搜索 OCI
为多租户 Spark 集群构建基于 Tonic 的即时 IAM 凭证颁发服务 为多租户 Spark 集群构建基于 Tonic 的即时 IAM 凭证颁发服务
在管理一个共享的、多租户的 Apache Spark 集群时，数据访问的权限控制是一个无法回避的核心挑战。当不同的租户作业需要在隔离的 S3 存储桶中读写数据时，如何安全、动态地为其授予最小权限，同时避免凭证泄露，成为架构设计的关键。一个常
2023-10-27 分布式系统
gRPC IAM Rust Apache Spark Tonic
基于 Raft 与 AWS SNS 构建一个分布式实时特性开关服务的实践 基于 Raft 与 AWS SNS 构建一个分布式实时特性开关服务的实践
最初的需求是在一个迭代周期（我们遵循Scrum）中提出的：我们需要一个高可用的特性开关（Feature Flag）系统。团队厌倦了依赖配置文件和复杂的部署流程来切换功能。市面上的商业方案因数据隐私和成本问题被否决，而基于Redis的简单方案
2023-10-27 分布式系统
Raft 协议 AWS SNS Caddy Qwik Scrum
Go语言实现支持REST与WebSocket的并发PostCSS远程编译服务 Go语言实现支持REST与WebSocket的并发PostCSS远程编译服务
团队内部的前端开发环境一致性一直是个隐蔽的痛点。不同开发者机器上的 Node.js 版本、npm 包依赖、全局安装的 CLI 工具链差异，时常导致“在我这儿能跑”的经典问题。CI/CD 流水线需要为每次构建重新 npm install，耗时
2023-10-27 后端架构
Go WebSockets RESTful API PostCSS DevOps
构建基于 NestJS 与 Milvus 的 RAG 管道以实现前端组件的语义化搜索 构建基于 NestJS 与 Milvus 的 RAG 管道以实现前端组件的语义化搜索
我们团队的内部组件库已经膨胀到了一个临界点。最初的基于元数据和组件名的文本搜索，在面对数百个功能相似但命名各异的组件时，效率低得令人发指。在一个敏捷回顾会上，前端团队提出的一个核心痛点是：“我无法找到一个我记得‘长什么样’或‘做什么用’的组
2023-10-27 全栈开发
NestJS Milvus CSS Modules 敏捷开发 RAG
5 / 8