本來這次處理公司的問題是要用Perl解決,但因為需要一次性的更新145萬筆左右的資料,目標資料表的資料量那是好幾個億筆,而且隨時都在異動中,又加上是線上系統.如果真的使用Perl讀CSV檔後,再一筆一筆的更新資料,真不知道要處理多久.所以在寫了一些的測試程式發現效能太差後,就決定改用SQL指令來批量處理.
第一件要做的事就是把外部檔案匯入到資料庫,需要使用sqlldr指令來完成
sqlldr CONTROL= sqlldr_load_data.ctl LOG= sqlldr_load_data.ctl.log