数据开放平台架构设计（四）：数据转换与加工

mumu — Thu, 23 Apr 2026 00:00:00 +0000

上一篇： 数据开放平台（三）：鉴权与访问控制

SQL 查出来的原始数据，通常不能直接给调用方用。数据库字段名是 user_name，调用方要 userName；手机号 13812345678 不能直接暴露，得打成 138****5678；日期格式是 2026-04-23 10:30:00，调用方只要 2026-04-23。

这些"末尾一公里"的数据加工，就是数据转换引擎干的事。它不是替代数仓 ETL，也不应该把复杂计算都塞到接口层；它更适合做轻量、在线、和接口返回强相关的处理。

一、整体设计

数据转换引擎用规则驱动的架构。用户在界面上配置转换规则，运行时引擎按规则依次处理。每条规则是一个独立的 Handler，可插拔、可组合。

数据转换流水线要把字段形态写清楚，避免后续在响应层临时拼逻辑：

flowchart LR A["原始结果集
db_column"] --> B["字段映射
apiField"] B --> C["脱敏
maskedField"] C --> D["格式化
displayValue"] D --> E["字段计算
computedField"] E --> F["小结果集聚合
summary"] F --> G["字段权限过滤
visibleFields"] G --> H["响应包装
data、meta、traceId"]

        
        
        
    
@Component
public class DataTransformEngine {

    // 所有 TransformHandler 按 Order 排序
    @Autowired
    private List<TransformHandler> handlers;

    public List<Map<String, Object>> transform(TransformConfig config,
                                                 List<Map<String, Object>> rawData) {
        if (config == null || config.isEmpty()) {
            return rawData;
        }

        List<Map<String, Object>> result = new ArrayList<>(rawData);
        for (TransformHandler handler : handlers) {
            if (handler.supports(config)) {
                result = handler.apply(config, result);
            }
        }
        return result;
    }
}

生产里我会给转换引擎加两个边界：第一，单次处理行数不能无限大，超过阈值必须分页或异步导出；第二，规则执行要记录耗时，某条自定义正则特别慢时能快速定位。

字段映射 - tag - 沐木

数据开放平台架构设计（四）：数据转换与加工

一、整体设计