-
-
Save isagalaev/4554182 to your computer and use it in GitHub Desktop.
| #!/usr/bin/env python | |
| # coding: utf-8 | |
| # | |
| # Video of this screencast: https://vimeo.com/57296525 | |
| # | |
| # | |
| import os | |
| import random | |
| from PIL import Image as pImage | |
| import numpy | |
| BLOCK_SIZE = 20 | |
| THRESHOLD = 60 | |
| def image_data(filename): | |
| """ | |
| Get data from image ready for comparison | |
| """ | |
| filename = filename | |
| img = pImage.open(filename) | |
| small = img.resize( (BLOCK_SIZE, BLOCK_SIZE), | |
| pImage.BILINEAR ) | |
| t_data = numpy.array( | |
| [sum(list(x)) for x in small.getdata()] | |
| ) | |
| del img, small | |
| return filename, t_data | |
| def distance(data1, data2): | |
| """ | |
| Logical distance between two images on a scale 0..400 | |
| """ | |
| return sum(1 for x in data1 - data2 if abs(x) > THRESHOLD) | |
| def html(dirname): | |
| """ | |
| Generates HTML from a set of images in a directory. | |
| All files must be *.jpg. | |
| """ | |
| images = \ | |
| [image_data(os.path.join(dirname, filename)) \ | |
| for filename in os.listdir(dirname) | |
| if filename.endswith('.jpg')] | |
| # random.shuffle(images) | |
| res = ['<html><body>'] | |
| for img in images: | |
| distances = sorted([ (distance(img[1], x[1]), x) for x in images ]) | |
| res += [ | |
| '<img src="' + os.path.basename(x[0]) + '" width="200"/>' + str(dist) | |
| for dist, x in distances if dist < 220] | |
| res += ['<hr/>'] | |
| res += ['</body></html>'] | |
| return '\n'.join(res) | |
| if __name__ == '__main__': | |
| reference = open('reference.html').read() | |
| result = html('/home/maniac/Desktop/4554182') + '\n' | |
| print(reference == result) |
Да, так короче и лучше, спасибо. Хотя, @bobuk говорит, что он померил, и numpy там вообще выигрыша по скорости не даёт, большую часть времени съедает загрузка и уменьшение картинок.
В 42 строке лучше вместо списка генерить итератор
В 43 строке в sorted тоже можно передать итератор
Есть ещё один вариант реализации distance():
def distance(data1, data2):
...
return sum(abs(x) > THRESHOLD for x in data1 - data2)Впрочем, он аналогичен варианту @reclosedev, только без numpy.
В 43 строке в sorted тоже можно передать итератор
Хм… Я всегда считал, что sorted требует объекта с длиной, а потому открытый генератор ему не подходит. Впрочем, может так и было в старых Питонах… Спасибо!
В 42 строке лучше вместо списка генерить итератор
Там, в общем-то это совсем неважно, потому что список файлов вряд ли будет достаточно большим, чтобы это оправдать. Но можно, да.
Первым делом я бы добавил argv
В images можно избавиться от f (как вы и пытались в скринкасте), а в 42 строке вместо images итерировать по zip(files, images). Тогда переменная filename не нужна.
upd: пардон, не получится из-за random.shuffle(images)
Как это numpy выигрыша не дает? Вот пара тестов на коленке ("загрузка" включает в себя ресайз):
387 картинок, 272 МБ 860 картинок, 587 МБ
numpy | нет | есть numpy | нет | есть
------------+----------+-------- ------------+----------+--------
Загрузка | 61.43 s | 60.63 s Загрузка | 131.14 s | 149.80 s
Сравнение | 121.11 s | 6.11 s Сравнение | 605.53 s | 38.49 s
------------+----------+-------- ------------+----------+--------
Итого | 182.55 s | 66.74 s Итого | 736.67 s | 188.29 s
Ускорение | x1 | x2.7 Ускорение | x1 | x3.9
(Python 2.7.2 x86, Windows 7)
Оба этапа упираются в процессор, скорость диска особо не влияет.
Загрузка/ресайз идет за O(n), сравнение за O(n^2), можно легко оценить выигрыш от быстрого сравнения, подставив две константы...
В 27й строчке наверно имеет смысл в комментарии сослаться не на число 400, а на BLOCK_SIZE^2. А то если вдруг поменяется значение BLOCK_SIZE, этот комментарий потеряет актуальность
@nnemkin
Интересные результаты. При большем BLOCK_SIZE разница была бы еще заметнее.
Можно еще загрузку немного ускорить:
def image_data(filename):
"""
Get data from image ready for comparison
"""
img = Image.open(filename).resize((BLOCK_SIZE, BLOCK_SIZE), Image.BILINEAR)
return numpy.asarray(img).sum(axis=2).ravel()
В 27й строчке наверно имеет смысл в комментарии сослаться не на число 400, а на BLOCK_SIZE^2.
Верно :-). Я о чём-то параллельно думал в тот момент, поэтому в итоге забыл исправить.
@reclosedev именно так я и делаю (только c dtype=np.int16 и без ravel). Но на фоне Image.resize разница не заметна.
Кстати если еще переписать оба главных цикла с использованием parallel_map = multiprocessing.Pool().map (буквально), то на 4х ядерном процессоре ускорение на обоих этапах ~3.3.
В 42 строке лучше вместо списка генерить итератор
В 43 строке в sorted тоже можно передать итератор
В 23 видимо тоже генераторное выражение к месту.
Поддержу противников однобуквенных переменных :) При чтении кода строка 42
for f, d in images
совсем не понятна. Что такое f? Что такое d? ИМХО лучше было бы написать
for filename, data in images
так длиннее и многословнее, зато понятнее при просмотре.
def html_group(group):
return ''.join(
'<img src="%s" width="%s"/>%s' % (os.path.basename(f), WIDTH, dist)
for dist, f in group
)
Я думаю можно заменить на
def html_group(group):
tmpl = '<img src="%s" width="%s"/>%s'
return ''.join(tmpl % (os.path.basename(f), WIDTH, dist) for dist, f in group)
Что улучшит читаемость и сократит код на 2 строки.
Хорошо получилось.
distance()можно и numpy доверить: