[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

2 B# J* D" k0 S感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
import imagehash
from PIL import Image
2 H; @3 H( T2 j( h; N
def compute_image_hash(image_path):
    # image = Image.open(image_path)
    # return imagehash.average_hash(image)
1 z& u9 ?! x: y/ ^. h7 }    try:
        with Image.open(image_path) as image:
            return imagehash.average_hash(image)
' R+ x0 g; v9 e' C    except (OSError, IOError) as e:
        print(f"处理图像 {image_path} 时出错: {e}")
9 l. [1 i/ I$ x) F% Z1 [        return None
" m0 P: }! G- L& j
def remove_duplicates(image_folder):
: c* V8 L" b! T% i6 u6 b' T3 C: |    hash_dict = {}
" L* q) O) \1 |) u6 `    duplicates = []

+ L% \; [6 i  L9 j, k    for filename in os.listdir(image_folder):
        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
  O: b8 ~+ h. j9 j6 \5 R            image_path = image_folder + "\\" + filename
0 f$ ^+ L' D( M! A            image_hash = compute_image_hash(image_path)

            if image_hash in hash_dict:
                duplicates.append(image_path)
            else:
                hash_dict[image_hash] = image_path
; B" g; h5 ~  x, d' ~5 B        else:
& M) F9 Y) Y0 h, ]' V% a  ]            pass

9 ~/ s" W# I8 S4 |( w+ Q    for duplicate in duplicates:
+ X4 P2 p8 T4 _        os.remove(duplicate)
        print(f"Removed duplicate image: {duplicate}")

/ z6 I2 t! T* L5 ?! ~  x    print("Duplicate removal complete.")
! M3 J1 y3 @4 A6 J9 ]/ Z
. Y, E+ p6 R* C& b+ i0 cimage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
" @6 u7 y& t$ z  C* N9 U$ R' O6 [remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
$ z  J+ `! w& o- ~, F" ?有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

  C$ n+ \( d* ~# A6 u, T+ l' Q; [有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai
% B, Q+ u6 w9 U: i