膨大なデータからの重複の削除No.08012
hidehidemaruo さん 15/12/05 16:08
 
超(?)〜重複行削除マクロ(DLL版) Ver1というマクロを使って、数十万件の2つの
データから重複の削除はできますか?データが膨大になると、作動しませんか?デー
タが膨大でも、重複を削除できるマクロはありますか?

[ ]
RE:08012 膨大なデータからの重複の削除No.08014
山紫水明 さん 15/12/05 21:26
 
 hidehidemaruoさん,

>超(?)〜重複行削除マクロ(DLL版) Ver1というマクロを使って、数十万件の2
>つのデータから重複の削除はできますか?データが膨大になると、作動しませ
>んか?データが膨大でも、重複を削除できるマクロはありますか?

 通常,重複行の削除というのは1つのファイルの中で重複している行(デー
タ)を削除することを指すと思います。「超(?)〜重複行削除マクロ(DLL版) 」
もそれを目的にしたマクロです。
 おたずねの件は,それぞれ数十万行の2つのファイルがあり,一方のファイル
のデータ(行)がすでに他方のファイルに存在していれば,それを削除したいと
いうことでしょうか。
 そういうマクロがすでに存在するかどうかは知りません。できるかできないか
と問われれば,処理時間を考慮しなくてもいいということであれば,できるでし
ょう。あるいは私が知らない適切な方法があるかもしれません。
 この件については他の方のコメントがあるかもしれません。

                    山紫水明

[ ]
RE:08014 膨大なデータからの重複の削除No.08017
IKKI さん 15/12/07 01:11
 
こんばんは。ユーザーのIKKIと申します。

> そういうマクロがすでに存在するかどうかは知りません。できるかできないか
>と問われれば,処理時間を考慮しなくてもいいということであれば,できるでし
>ょう。あるいは私が知らない適切な方法があるかもしれません。

マクロで太刀打ちできるサイズではないですね。
むしろ Microsoft Access などのデータベース系ソフトを使うべき場面かと思います。

もしどうしてもテキストのまま処理したいのであれば、とりあえず coreutils の co
mm コマンドを試してみて、それから次の手を考えるといいんじゃないでしょうか。
http://unxutils.sourceforge.net/
http://www.gnu.org/software/coreutils/manual/coreutils.html#comm-invocation

[ ]