从金蝶云星空到轻易云平台的供应商同步数据实现

ETL转换与写入：金蝶供应商信息集成案例分析

2023-06-04 19:39:44
轻易云集成顾问-张妍琪

【仅查询】金蝶供应商信息：从金蝶云星空到轻易云集成平台的实现

在实际业务中，数据对接和集成往往需要应对各种技术挑战与复杂性。在本文中，我们将详细解析如何通过API接口，将金蝶云星空中的供应商信息高效、准确地同步到轻易云数据集成平台。我们的目标是确保每一步都精准无误，实现全程监控和错误重试机制。

API调用与数据抓取

首先，通过executeBillQuery接口，我们能够从金蝶云星空获取供应商数据信息。这个过程必须考虑分页和限流问题，以避免因大量请求导致性能下降或被目标系统限流。例如：

POST /k3cloud/Kingdee.BOS.WebApi.ServicesStub.DynamicFormService.ExecuteBillQuery.common.kdsvc HTTP/1.1 
Host: {hostname}
Content-Type: application/json
{
  "formid": "BD_Supplier",
  "fieldKeys": "FNumber,FName,...", // 所需字段列表
  "filterString": "...", // 筛选条件，可为空表示所有记录
  ...
}

我们设置了适当的分页策略，每次拉取100条记录，并通过定时任务来周期性调度上述API调用。这不仅提高了效率，还能分摊系统负载以提升整体性能。

数据格式转换与写入

一旦成功获取到数据，下一步便是将其写入至轻易云集成平台进行处理。在此过程中，由于两者之间的数据格式可能存在差异，我们采用定制化的数据映射方案来实现高效转换。例如，在JSON格式下，可以利用模板映射工具，对字段和值进行相应变换，使得输出格式符合预期需求：

{
  "supplierCode": "{FNumber}",
  "supplierName": "{FName}",
  ...
}

随后，通过轻易云提供的写入空操作API，将这些已转换好的数据批量导入到目标库中，确保过程中的任何异常情况得到有效处理。如若出现错误，还能触发自动重试机制，从而保障最终一致性。

实时监控与日志记录

为了更方便排查潜在的问题以及追踪每一步操作状态，我们还配置了实时监控和详尽的日志记录功能。在执行每个步骤时，无论是抓取、转换还是写入，都有详细的日志条目，这些可以帮助我们快速定位并解决问题。此外，也使得整个流程更加透明，有利于后续优化改进。

综上所述，通过合理设计API调用策略、有效的数据格式转换及批量写入等手段，我成功地完成了【仅查询】金蝶供应商信息项目，为企业打通钉钉数据接口

使用轻易云数据集成平台调用金蝶云星空接口executeBillQuery获取供应商信息

在数据集成过程中，调用源系统的API接口是关键的一步。本文将详细探讨如何使用轻易云数据集成平台调用金蝶云星空的executeBillQuery接口来获取供应商信息，并对数据进行初步加工。

接口基本配置

首先，我们需要了解executeBillQuery接口的基本配置。根据元数据配置，接口的请求方法为POST，主要用于查询（effect: QUERY）。以下是请求参数的详细说明：

FSupplierId: 供应商ID
FNumber: 编码
FName: 名称
FCreateOrgId_FNumber: 创建组织
FUseOrgId_FNumber: 使用组织
FDescription: 描述
FShortName: 简称
FMinPOValue: 最小订单量
FCountry_FNumber: 国家
FBusinessStatus: 业务状态
FProvincial_FNumber: 地区
FWebSite: 公司网址
FCustomerId_FNumber: 对应客户
FPayCurrencyId_FNumber: 结算币别
FSettleTypeId_FNumber: 结算方式
FPayCondition_FNumber: 付款条件
FSettleId_FNumber: 结算方
FPayAdvanceAmount: 单次预付额度
FChargeId_FNumber: 收款方
FInvoiceType: 发票类型
FProviderId_FNumber: 供货方
FRegisterAddress: 注册地址
FDeptId_FNumber: 负责部门
FStaffId_FNumber: 负责人
FSupplierClassify_FNumber: 供应商分类编码
FSupplyClassify: 供应类别

此外，还有一些分页和过滤参数，如Limit、StartRow、TopRowCount、FilterString等，用于控制查询结果的范围和条件。

请求示例

为了更好地理解如何调用该接口，我们来看一个具体的请求示例。假设我们需要查询所有在某个时间段内审核通过的供应商信息，可以构建如下请求：

{
    "FormId": "BD_Supplier",
    "FieldKeys": [
        "FSupplierId",
        "FNumber",
        "FName",
        "FCountry.FNumber",
        "FBusinessStatus"
    ],
    "FilterString": "FAuditDate >= '2023-01-01' AND FAuditDate <= '2023-12-31'",
    "Limit": 100,
    "StartRow": 0,
    "TopRowCount": true,
    "autoFillResponse": true,
    "condition": [
        {
            "field": "FBusinessStatus",
            "logic": "=",
            "value": "审核通过"
        }
    ]
}

在这个请求中，我们指定了表单ID为BD_Supplier，并选择了几个关键字段进行查询。同时，通过设置过滤条件和分页参数，确保查询结果符合我们的需求。

数据处理与清洗

获取到原始数据后，需要对其进行初步加工和清洗，以便后续的数据转换和写入操作。以下是一些常见的数据处理步骤：

字段映射与转换 根据业务需求，将原始字段映射到目标系统所需的字段。例如，将金蝶中的FSupplierId映射到目标系统中的供应商ID。
数据格式化 对日期、金额等字段进行格式化处理，确保符合目标系统的数据格式要求。
数据过滤 根据业务规则，对不符合条件的数据进行过滤。例如，只保留业务状态为“审核通过”的记录。
异常处理 对缺失或异常数据进行处理，如填充默认值或记录日志，以便后续排查问题。

实践案例

假设我们需要将查询到的供应商信息写入另一个系统。在轻易云平台上，可以通过以下步骤实现：

配置源系统接口：使用上述元数据配置，设置金蝶云星空的API接口。
数据清洗与转换：编写脚本或使用平台提供的工具，对获取到的数据进行清洗和转换。
配置目标系统接口：设置目标系统的API接口，将处理后的数据写入目标系统。
实时监控与日志记录：利用平台提供的监控功能，实时跟踪数据流动和处理状态，并记录日志以便后续分析。

通过以上步骤，可以高效地实现不同系统间的数据集成，确保数据的一致性和准确性。钉钉与WMS系统接口开发配置

数据集成生命周期中的ETL转换与写入：金蝶供应商信息案例

在数据集成的生命周期中，ETL（Extract, Transform, Load）过程是至关重要的一环。本文将深入探讨如何将从金蝶系统中提取的供应商信息，通过ETL转换为轻易云集成平台API接口所能接收的格式，并最终写入目标平台。

数据请求与清洗

在数据集成的第一阶段，我们已经完成了从金蝶系统中提取供应商信息的数据请求与清洗。此时，我们手头上有一份经过清洗的原始数据，准备进行下一步的转换和写入操作。

数据转换

数据转换是ETL过程中的核心步骤之一。在这个阶段，我们需要将原始数据转换为目标平台所需的格式。这通常涉及以下几个步骤：

字段映射：将源数据中的字段映射到目标平台对应的字段。例如，金蝶系统中的“供应商名称”字段可能需要映射到轻易云平台中的“vendorName”字段。
数据类型转换：确保源数据中的数据类型与目标平台要求的数据类型一致。例如，将字符串类型的数据转换为日期类型。
数据校验：检查并确保所有必填字段都有值，并且值符合预期格式。

假设我们从金蝶系统中提取到如下供应商信息：

{
    "supplierName": "ABC公司",
    "supplierCode": "123456",
    "contactNumber": "010-12345678"
}

我们需要将其转换为轻易云集成平台API接口所能接收的格式：

{
    "vendorName": "ABC公司",
    "vendorCode": "123456",
    "phoneNumber": "010-12345678"
}

数据写入

在完成数据转换后，我们需要将这些数据写入到目标平台。根据提供的元数据配置，我们使用轻易云集成平台API接口进行写入操作。以下是具体实现步骤：

API接口配置：根据元数据配置，确定API接口的基本信息。

{
   "api": "写入空操作",
   "effect": "EXECUTE",
   "method": "POST",
   "idCheck": true
}

构建HTTP请求：使用POST方法构建HTTP请求，将转换后的数据作为请求体发送到指定API接口。
身份验证：由于idCheck为true，需要进行身份验证，以确保只有授权用户才能执行该操作。
发送请求并处理响应：发送HTTP请求，并处理响应结果，确保数据成功写入目标平台。

以下是一个示例代码片段，展示如何使用Python实现上述步骤：

import requests
import json

# 转换后的供应商信息
data = {
    "vendorName": "ABC公司",
    "vendorCode": "123456",
    "phoneNumber": "010-12345678"
}

# API接口配置
api_url = 'https://api.qingyiyun.com/execute'
headers = {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_ACCESS_TOKEN'
}

# 发送POST请求
response = requests.post(api_url, headers=headers, data=json.dumps(data))

# 处理响应结果
if response.status_code == 200:
    print("数据成功写入目标平台")
else:
    print(f"写入失败: {response.text}")

通过上述步骤，我们成功地将从金蝶系统中提取并清洗后的供应商信息，经过ETL转换后，通过轻易云集成平台API接口写入到目标平台。这一过程不仅提高了数据处理效率，还确保了各系统间的数据一致性和完整性。钉钉与ERP系统接口开发配置