最近、Webサービスの持つデータベースを一括で編集する機会が多いです。
一括でレコードを追加したり、一括でレコード内のフィールドを編集したりしています。
これは、嬉しいという気持ちはあります。
普通にやってたら、1つずつ編集しなきゃいけないものが、一人でできてしまう。
例えば8000件のレコードを手動で追加するのは無理ゲーです。
しかし一括で追加する術があると、できてしまう。
自分の万能感を感じ、神になった気分ですね。
一方、悩みもあります。
強い力を持つということは、破壊できる範囲も大きいということ。
8000件、誤ったレコードを追加することもできるわけです。
もう、怖くて仕方ないわけです。
先日も大量のレコードを一括追加する仕事をしました。
作業の流れは
エクセルで表を作る
↓
エクセル上で整形&チェックする
↓
エクセルをCSVファイルに変換する
↓
テキストエディタ(秀丸)で変換&チェックする
↓
ツールでデータベースに取り込む
↓
取り込み結果をチェックする
って感じです。
ここで困っているのは
エクセルからCSVファイルへの変換
です。
必ず、問題が起きる。
セル内改行は行がずれるので、もうインポートデータとしては致命的にヤバいです。
これはエクセル上で「Ctrl+J」で検索して撲滅できています。
しかし、何故か必ずダブルクォーテーション「"」が入る。
エクセルでは検索してもヒットしないのに、入る。
仕方ないので変換後のテキストファイルで検索して編集しています。
で、今回、新たな問題が。
念のため目視でCSVファイルを見ていると、違和感のある箇所が。
ん?と思って見てみると、なんと、タブが余分に入っているではないですか!!!
こんなファイルをインポートしてしまうと、データが壊れちゃう。
なんでこんな事に・・・と思い、エクセルファイルを調べてみました。
すると、驚くべきことにセル内のデータにタブが入力されていたのです。
セル内にタブなんて入力したくてもできないじゃないですか?
なんでこんな事に・・・。
というわけで、次回からはタブが連続しているデータを検索しなきゃです。
こんな感じでデータの変換は、全く信頼性がありません。
なので私は、毎回データをざっとではありますが全部目視で確認しています。
もうこんなしんどい作業はやめたい・・・
ちょっとでも楽に進められるよう、今後も工夫していきたいと思います。
