新用戶掃碼下載
掃碼下載APP
及時接收最新考試資訊及
備考信息
大中型數據庫數據導入中存在的部分問題及對策
隨著計算機審計技術的不斷發展，數據導入技術的水平已躍上一個新的臺階，體現出快速、高效和通用的特點。但是伴隨審計對象的數據庫系統趨于集中性、大型性和異構性，在一些實際工作中，已有的數據導入軟件并不能完全有效的導入數據，本文針對一些數據導入過程中存在的問題進行分析并提出處理的方法。
一、利用數據庫特定數據導出工具
（1）審計背景
審計署南京辦在對某省農村衛生資金的調查中，在審計準備階段，針對特定的審計目標，選取對審計實施過程中有用的數據表，來方便審計實施過程中數據的處理和分析。被審計單位的數據后臺環境是WINDOWS版本的ORACLE，前臺是用友8.0，數據量中等，由于所使用的審計數據采集軟件沒有對應用友8.0的接口，并且客觀上也不允許直接連上后臺數據庫采集數據，因此我們只能使用數據庫特定數據導出工具。
（2）采集的過程與使用的技術方法
為了減少數據采集過程中對被審計對象系統產生的風險，我們使用了Oracle中的Spool緩沖池技術，這種技術可以實現直接從后臺數據庫導出數據，導出數據的格式為文本文件。我們通常按照以下步驟來使用這種技術：
1. 打開Oracle PL/SQL窗口，在其中輸入緩沖開始命令，并指定處理完輸出的路徑與文件名。
2. 在命令行中輸入SQL查詢。
3. 在命令行中輸入緩沖結果命令。
我們可以參照一個范例來詳細介紹如何使用該技術，例如我們要將Oracle數據庫中Customer表中所有的數據導入D盤的customer.txt中，我們可以采取以下步驟來實現我們的目的。
1. spool D：customer.txt；
2. Select * from Customer；
3. Spool off；
這樣系統就將執行查詢進入緩沖池中的結果都輸出到customer.txt文件中，文件的列分隔符為TAB鍵，行分隔符為回車換行，然后我們使用審計數據采集軟件中已成熟的文本文件導入工具可以很方便的導入customer.txt中的數據。
二、自力更生開發數據清洗工具
（1）審計背景
審計署南京辦在對某商業銀行審計中，在審計準備階段，針對特定的審計目標，分析銀行數據的特點，選取對審計實施過程中有用的字段，方便審計實施過程中數據的處理和分析。面對銀行的大容量數據，審計組決定將該銀行自行開發的CMS信貸管理信息系統和ABIS信息系統的后臺數據，導入SQL Server數據庫進行整理和分析。
（2）出現的問題
該商業銀行根據上級要求提供了TXT格式的WINRAR壓縮數據文件，審計組在本地機上進行了解壓縮，然后導入SQL Server數據庫，在導入過程中，由于該商業銀行所使用的數據庫有兩套，分別是Sybase和DB2，相對應的操作系統是AIX和AS400，機器架構都不是x86的，所以提供的數據文件格式和分隔符都存在不規范的現象，給實際導入工作帶來了不小的難度。
我們通常采用DTS和使用DTS技術的衍生工具來導入數據。DTS作為一個將文本文件高速裝載進SQL Server數據庫中的工具，提供了一種圖形化的數據導入方式。但是我們發現在本次數據導入過程中，當以雙引號為文本限定符，以逗號作為列分隔符，以回車換行作為行分隔符時，某些大文本數據格式中有多余的換行或雙引號等字符，致使導入數據格式不正確，數據會在導入過程中出錯，一些出錯的情況如下圖所示：圖1至圖4是一些出錯的原因，圖5與圖6是導入數據過程中DTS產生的錯誤。
圖1 出現不合規雙引號
圖2出現不合規換行符
圖3出現不合規換頁符
圖4出現不合規文本結束符
圖5 格式不正確
圖6 導入失敗
（3）處理方法
由于導入數據記錄數量很大，其中出錯情況分布沒有規律并且數目也很多，如果采取手工替換的方式會極大的浪費人力和時間，因此審計人員決定根據該銀行的數據特征，開發出適合該銀行數據特征的數據清洗工具ABCDCT.下面我們分步驟討論開發設計思路：
1、指定源文件，并選取目標文件。
2、預讀文件，確定一行記錄中各文本限定符（即雙引號）的具體位置，寫入位置數組，確定每行記錄的總字符數。
3、從源文件中讀取一行字符串，程序掃描該字符串，如果發現有雙引號不在位置數組中，則該雙引號為非法的雙引號，替換該雙引號，并清除不合要求的字符，即回車符（0x0D）、換行符（0x0A）、分頁符（0x0C）、制表符（0x09）和文本結束字符（0x00），我們采取的可行辦法是將這些非法的字符用空格（0x20）來代替。
4、將清洗完的字符串寫入目標文件。
軟件設計流程圖如下：
圖7 流程圖
（4）軟件運行界面
軟件運行時的界面與顯示結果的界面如下圖所示。
圖8 運行界面圖
圖9 運行結果圖
（5）結論
審計人員通過使用ABCDCT只花費了兩周就完成了以往手工糾錯需一個多月時間完成的任務，極大的提高了工作效率。但是在使用的過程中也發現存在一些不足：通用性不夠，只能清洗以雙引號為文本限定符，以逗號作為列分隔符，以回車換行作為行分隔符的文本文件；沒有使用多線程技術提升清洗的效率；由于設計時假定分隔符的位置是固定的，因此對字段不定長的文本不能適用，這就需要在以上方面對軟件做進一步的改進。
綜上所述，針對不同的審計數據環境，我們采用了兩種方法來完成數據導入的任務，一種是利用已有的幾種技術結合起來的方法，一種是根據客觀實際的需要來自主解決的方法。我們可以看到，由于各部門信息化的程度和實施角度的差異，導致了數據環境也千變萬化，存儲方式的不同，平臺的異構性，數據庫系統的差異，多種多樣，指望借助一種通用的方法來解決所有的數據導入問題是行不通的，就需要我們根據審計對象數據特點，因地制宜的解決數據導入問題。
下一篇：論電算化會計的風險及其防范
學員討論（0）
相關資訊
實務學習指南
距6月報稅結束還有天
新用戶掃碼下載
京公網安備 11010802044457號