【質問】
CSV1とCSV2を縦方向に結合(SQLのUNION)して、CSV3を作る処理を作りたい。
CSV1とCSV2ではデータが重複している。
重複排除したCSV3を作るのに良い方法はあるか。
データが大量なためLoopでひとつずつ突き合わせる方法は避けたい。
【回答】
CSVファイルに対してODBC接続を行いSQLでデータを取得する方法があります。
(ただし、ODBC(Microsoft Access Text Driver)が
使用可能であることが前提となります。)
使用可能であれば、
「データベース - SQL接続を開く」アクションで接続を構築し、
「データベース - SQLクエリー」アクションでSQL文を定義します。
select * from %USERPROFILE%\desktop\TEST_CSV.csv UNION SELECT * from %USERPROFILE%\desktop\TEST_CSV2.csv
のような形で重複排除したものをデータセット化し、
そのまま「ファイル システム - CSVからデータセットへ」アクションなどで書き込みます。
(なお、「ファイル システム - CSVからデータセットへ」アクションはUTF-8で書き込まれるためご注意下さい)