本技術實施例涉及互聯(lián)網(wǎng),尤其涉及一種數(shù)據(jù)核對方法、裝置、電子設備及存儲介質。
背景技術:
1、隨著互聯(lián)網(wǎng)發(fā)展,軟件架構從單體架構到分布式架構升級。如購物軟件將后臺服務拆分成諸如支付、訂單、商品、店鋪、營銷、供應鏈等獨立服務并集群部署;運行商將服務拆分成管理臺服務和遍布全國池子的網(wǎng)元服務,管理臺和池子內服務格子分布式集群部署。
2、分布式架構中各業(yè)務獨立技術演進;平臺整體可以承載更大的流量;管理上團隊邊界更加清晰。但是也帶來了分布式事務數(shù)據(jù)一致性,需要及時進行數(shù)據(jù)核對。
3、相關技術中,通過將核對邏輯編寫為核對腳本,利用定時任務或者變更日志文件(binlog)構建消息觸發(fā)核對腳本執(zhí)行。
4、然而,腳本開發(fā),難度較大,且實現(xiàn)邏輯無法控制,存在數(shù)據(jù)安全風險。
技術實現(xiàn)思路
1、本技術實施例提供了一種數(shù)據(jù)核對方法、裝置、電子設備及存儲介質,用以高效、安全地進行數(shù)據(jù)核對。
2、第一方面,本技術實施例提供了第一種數(shù)據(jù)核對方法,該方法包括:
3、基于核對表的錄入信息,確定標準化核對數(shù)據(jù);其中,所述核對表包括多個選擇框,所述選擇框中的選項是在對待核對數(shù)據(jù)源進行結構化處理后生成的;所述錄入信息包含目標數(shù)據(jù)標識以及目標核對條件;
4、基于所述標準化核對數(shù)據(jù),填充數(shù)據(jù)庫核對模板,得到目標核對信息;
5、基于所述目標核對信息,對所述目標數(shù)據(jù)標識對應的待核對數(shù)據(jù)源進行核對。
6、一些可選的實施方式中,基于核對表的錄入信息,確定標準化核對數(shù)據(jù)之前,還包括:
7、對各待核對數(shù)據(jù)源進行結構化處理,生成各待核對數(shù)據(jù)源對應的標識以及接入表;其中,所述接入表包含多個字段以及各字段對應的參數(shù);
8、顯示包含第一數(shù)量的標識選擇框以及第二數(shù)量的核對條件選擇框的核對表;其中,任一標識選擇框的選項包括部分或全部待核對數(shù)據(jù)源對應的標識;任一核對條件選擇框包括第一字段選擇框、運算符選擇框以及目標選擇框;所述目標選擇框為第二字段選擇框或者輸入框;所述第一字段選擇框以及所述第二字段選擇框的選項包括所述接入表中的字段;所述運算符選擇框的選項包括多個預設運算符;
9、響應于針對所述標識選擇框的選擇指令確定所述目標數(shù)據(jù)標識;以及,響應于針對所述核對條件選擇框的選擇指令,確定所述目標核對條件。
10、一些可選的實施方式中,部分或全部核對條件選擇框還包括聚合函數(shù)選擇框;所述聚合函數(shù)選擇框的選項包括多個預設聚合函數(shù)。
11、一些可選的實施方式中,基于核對表的錄入信息,確定標準化核對數(shù)據(jù),包括:
12、基于所述目標數(shù)據(jù)標識生成所述標準化核對數(shù)據(jù)中的表格塊;以及,基于所述目標數(shù)據(jù)標識和所述目標核對條件生成所述標準化核對數(shù)據(jù)中的查詢塊。
13、一些可選的實施方式中,基于所述標準化核對數(shù)據(jù),填充數(shù)據(jù)庫核對模板,得到目標核對信息,包括:
14、基于所述標準化核對數(shù)據(jù)以及所述目標數(shù)據(jù)標識對應的接入表,確定數(shù)據(jù)庫核對模板的目標填充參數(shù);
15、基于所述目標填充參數(shù)填充所述數(shù)據(jù)庫核對模板,得到所述目標核對信息。
16、一些可選的實施方式中,若所述標準化核對數(shù)據(jù)中有通過輸入框輸入的參數(shù),則確定數(shù)據(jù)庫核對模板的目標填充參數(shù)之前,還包括:
17、對所述通過輸入框輸入的參數(shù)進行防注入處理。
18、一些可選的實施方式中,基于所述目標核對信息,對所述目標數(shù)據(jù)標識對應的待核對數(shù)據(jù)源進行核對之后,還包括:
19、若對所述待核對數(shù)據(jù)源中的字段核對失敗,則通過預設通知方式進行通知。
20、第二方面,本技術實施例提供了第一種數(shù)據(jù)核對裝置,該裝置包括:
21、轉化模塊,用于基于核對表的錄入信息,確定標準化核對數(shù)據(jù);其中,所述核對表包括多個選擇框,所述選擇框中的選項是在對待核對數(shù)據(jù)源進行結構化處理后生成的;所述錄入信息包含目標數(shù)據(jù)標識以及目標核對條件;
22、所述轉化模塊,還用于基于所述標準化核對數(shù)據(jù),填充數(shù)據(jù)庫核對模板,得到目標核對信息;
23、核對模塊,用于基于所述目標核對信息,對所述目標數(shù)據(jù)標識對應的待核對數(shù)據(jù)源進行核對。
24、一些可選的實施方式中,還包括結構化模塊,用于:
25、對各待核對數(shù)據(jù)源進行結構化處理,生成各待核對數(shù)據(jù)源對應的標識以及接入表;其中,所述接入表包含多個字段以及各字段對應的參數(shù);
26、表格設置模塊,用于:
27、顯示包含第一數(shù)量的標識選擇框以及第二數(shù)量的核對條件選擇框的核對表;其中,任一標識選擇框的選項包括部分或全部待核對數(shù)據(jù)源對應的標識;任一核對條件選擇框包括第一字段選擇框、運算符選擇框以及目標選擇框;所述目標選擇框為第二字段選擇框或者輸入框;所述第一字段選擇框以及所述第二字段選擇框的選項包括所述接入表中的字段;所述運算符選擇框的選項包括多個預設運算符;
28、響應于針對所述標識選擇框的選擇指令確定所述目標數(shù)據(jù)標識;以及,響應于針對所述核對條件選擇框的選擇指令,確定所述目標核對條件。
29、一些可選的實施方式中,部分或全部核對條件選擇框還包括聚合函數(shù)選擇框;所述聚合函數(shù)選擇框的選項包括多個預設聚合函數(shù)。
30、一些可選的實施方式中,轉化模塊,具體用于:
31、基于所述目標數(shù)據(jù)標識生成所述標準化核對數(shù)據(jù)中的表格塊;以及,基于所述目標數(shù)據(jù)標識和所述目標核對條件生成所述標準化核對數(shù)據(jù)中的查詢塊。
32、一些可選的實施方式中,轉化模塊,具體用于:
33、基于所述標準化核對數(shù)據(jù)以及所述目標數(shù)據(jù)標識對應的接入表,確定數(shù)據(jù)庫核對模板的目標填充參數(shù);
34、基于所述目標填充參數(shù)填充所述數(shù)據(jù)庫核對模板,得到所述目標核對信息。
35、一些可選的實施方式中,若所述標準化核對數(shù)據(jù)中有通過輸入框輸入的參數(shù),則確定數(shù)據(jù)庫核對模板的目標填充參數(shù)之前,轉化模塊,還用于:
36、對所述通過輸入框輸入的參數(shù)進行防注入處理。
37、一些可選的實施方式中,基于所述目標核對信息,對所述目標數(shù)據(jù)標識對應的待核對數(shù)據(jù)源進行核對之后,核對模塊,還用于:
38、若對所述待核對數(shù)據(jù)源中的字段核對失敗,則通過預設通知方式進行通知。
39、第三方面,本技術實施例提供一種電子設備,包括至少一個處理器以及至少一個存儲器,其中,所述存儲器存儲有計算機程序,當所述程序被所述處理器執(zhí)行時,使得所述處理器執(zhí)行上述第一方面任一所述的數(shù)據(jù)核對方法。
40、第四方面,本技術實施例提供一種計算機可讀存儲介質,其存儲有可由處理器執(zhí)行的計算機程序,當所述程序在所述處理器上運行時,使得所述處理器執(zhí)行上述第一方面任一所述的數(shù)據(jù)核對方法。
41、本實施例,通過對待核對數(shù)據(jù)源進行結構化處理后生成核對表,只需進行表格信息錄入,基于核對表的錄入信息,生成機器可識別的標準化核對數(shù)據(jù)(邏輯語言);進而基于標準化核對數(shù)據(jù),生成最終核對所需的目標核對信息,對待核對數(shù)據(jù)源進行核對。無需復雜的代碼或者腳本開發(fā),減小核對難度,提高了核對效率;另外,通過設計核對表的選項,限制可配置的核對邏輯,從而消除或者降低核對邏輯不可控、訪問數(shù)據(jù)不可控帶來的風險,從而高效、安全地進行數(shù)據(jù)核對。