【Python】同じような画像が色々な組み合わせで存在する場合に重複分を削除するスクリプトを作った話

はじまり#

135ml

あー、そういえば、重複した同じような画像が色々な組み合わせで出てきた際に、一気に削除してくれるスクリプトを作ったのを思い出したわ。今回はそれを紹介するぜ。

リサちゃん

急だな

ツールの紹介#

起動する関数は、RemoveDuplication()です。

今回重複を削除するファイルはこれらの画像になります。

スクリプトを起動して、それらの画像があるフォルダを選択します。

まず、削除する前に「Assessment」モードを選択します。

評価方法を選びます。「PixelMatch」を使います。

すると、画像の重複がどれぐらいあるのかをテキストファイルに吐き出します。

今回、Assessmentで調査した結果のテキストファイルから、前の画像と0.87の割合でピクセルが合致していたら、その画像を削除することにします。

再度、スクリプトを起動して、「Remove」モードにして「PixelMatch」モードを選択して、「87」（＝0.87）を入力します。

削除処理が完了しました！（ちょっとデバッグしながらお届けしてます・・・。）

左が削除する前にバックアップしておいたもので、右が実際に削除したものです。

87%以上合致している画像は削除されています。

スクリプトの紹介#

こちらがスクリプトになります。

1
def RemoveDuplication(folderList):
2
    '''
3
    folderList    : List String absolutely path, of file filtered with extension in the selected folder.
4
    extracted_dir : String absolutely path of directory has selected file
5
    match_rate    : Float rate
6
    border_line   : border line
7
    '''
8
    if len(folderList) == 0:
9
        print('\nImageEditor exits because of no target files.')
10
        sys.exit(0)
11

12
    extracted_dir = os.path.dirname(folderList[0])
13

14
    # Error Handling
15
    if InputController.CheckWhetherSjisExists([folderList[0], extracted_dir], __file__) == True:
16
        sys.exit(0)
17

18
    # Decide to remove or don't
19
    executeMode = InputController.RepeatInputWithMultiChoices('\nYou wanna Remove or Assessment overlapped images? (R/A)', ['R', 'A'])
20

21
    assessMode = 'N'
22
    border_line = 70
23
    listForText = []
24
    # compare both image to remove img1 or not
25
    for i in range(0, len(folderList) - 1):
26
        imgName1 = os.path.splitext(os.path.basename(folderList[i]))[0]
27
        imgName2 = os.path.splitext(os.path.basename(folderList[i+1]))[0]
28
        # Decide method of assessment
29
        while assessMode != 'F' and assessMode != 'P':
30
            assessMode = InputController.RepeatInputWithMultiChoices('\nWhich method to assess?\n[ F: FeaturePoint, P: PixelMatch ] : ', ['F', 'P'])
31
            if executeMode == 'R':
32
                if assessMode == 'F':
33
                    border_line = InputController.RepeatInputWithMultiChoices('How many matches are required not to remove? : ', [0, 100])
34
                elif assessMode == 'P':
35
                    border_line = InputController.RepeatInputWithMultiChoices('How many matches are required to remove? : ', [0, 100])
36
            elif executeMode == 'S':
37
                pass
38
        # do assessment
39
        if assessMode == 'F':
40
            match_rate = JudgeMatchRateByFeaturePoint(folderList[i], folderList[i+1])
41
            match_rate = int(match_rate * 100)
42
            print('degree of similarity between "{imgName1}" and "{imgName2}" is {rate}'.format(imgName1=imgName1,imgName2=imgName2,rate=match_rate))
43
        elif assessMode == 'P':
44
            match_rate = JudgeMatchRateByPixelMatch(folderList[i], folderList[i+1])
45
            match_rate = int(match_rate * 100)
46
            print('match rate between "{imgName1}" and "{imgName2}" is {rate}'.format(imgName1=imgName1,imgName2=imgName2,rate=match_rate))
47
        listForText.append('"{imgName1}" and "{imgName2}" is {rate}'.format(imgName1=imgName1,imgName2=imgName2,rate=match_rate))
48
        # Remove files
49
        if executeMode == 'R':
50
            if assessMode == 'F':
51
                if match_rate <= border_line:
52
                    os.remove(folderList[i])
53
            elif assessMode == 'P':
54
                if match_rate >= border_line:
55
                    os.remove(folderList[i])
56
    # write to .txt file
57
    TextEditor.WriteText(DirEditor.GenerateFileName(extracted_dir, sep, 'match_rate.txt'), listForText)
58

59
    print('RemoveDuplication is terminated.\nCheck directory "{dirname}"'.format(dirname=extracted_dir))