Андрей Юткин. Media Picker — to infinity and beyond

Media PickerTo infinity and beyond!

Андрей Юткин

UIImagePickerController

UIImagePickerControllerлибо камера, либо галерея

должен быть представлен модально

UIImagePickerControllerлибо камера, либо галерея

должен быть представлен модально

может крэшиться до вызова метода делегата

Камера: готовые решенияMWPhotoBrowser

DBCamera

FastttCamera

LLSimpleCamera

SKFCamera

ALCameraViewController

TGCameraViewController

MMSCameraViewController

AVFoundation

AVCaptureSession

AVFoundation

AVCaptureSession

AVCaptureDeviceInput

AVCaptureDevice (Camera)

AVFoundation

AVCaptureSession

AVCaptureStillImageOutput AVCaptureMovieFileOutput

AVCaptureConnection AVCaptureConnection

AVFoundation

AVCaptureSession

AVCaptureStillImageOutput AVCaptureMovieFileOutput

Настройка AVCaptureSession

Настройка AVCaptureSessionlet videoDevices = AVCaptureDevice.devices(withMediaType: AVMediaTypeVideo)

let backCamera = videoDevices?.first { $0.position == .back }

let input = try AVCaptureDeviceInput(device: backCamera)

Настройка AVCaptureSessionlet videoDevices = AVCaptureDevice.devices(withMediaType: AVMediaTypeVideo)

let backCamera = videoDevices?.first { $0.position == .back }

let input = try AVCaptureDeviceInput(device: backCamera)

let output = AVCaptureStillImageOutput() output.outputSettings = [AVVideoCodecKey: AVVideoCodecJPEG]

Настройка AVCaptureSessionlet captureSession = AVCaptureSession() captureSession.sessionPreset = AVCaptureSessionPresetPhoto

if captureSession.canAddInput(input) { captureSession.addInput(input) }

if captureSession.canAddOutput(output) { captureSession.addOutput(output) }

captureSession.startRunning()

В фоновом потоке!

Отображение превьюlet layer = AVCaptureVideoPreviewLayer(session: captureSession)

cameraOutputView.layer.addSublayer(layer)

1 AVCaptureSession = 1 AVCaptureVideoPreviewLayer

Несколько AVCaptureSession не могут работать одновременно

1 AVCaptureSession = 1 AVCaptureVideoPreviewLayer

AVCaptureStillImageOutput

Несколько превью

AVCaptureSession

AVCaptureStillImageOutput AVCaptureVideoDataOutput

AVCaptureSession

AVCaptureVideoDataOutputSampleBufferDelegate captureOutput(_:didOutputSampleBuffer:from:)

AVCaptureStillImageOutput AVCaptureVideoDataOutput

AVCaptureSession

Рендеринг CMSampleBuffer

UIViewCMSampleBuffer

iPhone 5s и выше

Рендеринг CMSampleBuffer

UIViewCMSampleBuffer

AVCaptureVideoDataOutputSampleBufferDelegate

func captureOutput( _: AVCaptureOutput?, didOutputSampleBuffer sampleBuffer: CMSampleBuffer?, from _: AVCaptureConnection?) { let imageBuffer: CVImageBuffer? = sampleBuffer.flatMap { CMSampleBufferGetImageBuffer($0) } if let imageBuffer = imageBuffer, !isInBackground { views.forEach { $0.imageBuffer = imageBuffer } } }

var views = [GLKViewSubclass]()

GLKViewSubclass// instance vars: let eaglContext = EAGLContext(api: .openGLES2) let ciContext = CIContext(eaglContext: eaglContext) var imageBuffer: CVImageBuffer?

// draw(_:) implementation: if let imageBuffer = imageBuffer { let image = CIImage(cvPixelBuffer: imageBuffer)

ciContext.draw( image, in: drawableBounds(for: rect), from: sourceRect(of: image, targeting: rect) ) }

OpenGL и background back in AVCaptureVideoDataOutputSampleBufferDelegate

// UIApplicationWillResignActive func handleAppWillResignActive(_: NSNotification) { captureOutputDelegateBackgroundQueue.sync { glFinish() self.isInBackground = true } }

// UIApplicationDidBecomeActive func handleAppDidBecomeActive(_: NSNotification) { captureOutputDelegateBackgroundQueue.async { self.isInBackground = false } }

Summary: превью камеры

AVCaptureVideoDataOutput

AVCaptureSession

Output Delegate

AVCaptureSession

Output Delegate

AVCaptureSession

Output Delegate

AVCaptureSession

Источники фотографий

Источники фотографийфайловая система

пользовательская галерея

Источники фотографийфайловая система

пользовательская галерея

сеть

Что нам нужно от фото?

Что нам нужно от фото?отобразить в UI

получить оригинал

узнать размер

отменить загрузку

— асинхронно

Отображение в UI

Отображение в UIlet viewSize: CGSizelet contentMode: ContentMode // enum: aspectFit/aspectFill

let handler = { (image: UIImage?) in imageView.image = image}

Отображение в UIlet viewSize: CGSizelet contentMode: ContentMode // enum: aspectFit/aspectFill

let handler = { (image: UIImage?) in imageView.image = image}

let deliveryMode: DeliveryMode // enum: progressive/best

Отображение в UIfunc requestImage(

viewSize: CGSize, contentMode: ContentMode, deliveryMode: DeliveryMode, handler: @escaping (UIImage?) -> ())

Отображение в UIfunc requestImage(

handler: @escaping (UIImage?) -> ()) options: ImageRequestOptions,

struct ImageRequestOptions { let viewSize: CGSize let contentMode: ContentMode let deliveryMode: DeliveryMode }

Отображение в UIprotocol InitializableWithCGImage { init(cgImage: CGImage) }

extension UIImage: InitializableWithCGImage {} extension NSImage: InitializableWithCGImage {}

Отображение в UIfunc requestImage<T: InitializableWithCGImage>( options: ImageRequestOptions, handler: @escaping (

) -> ())T?

-> ImageRequestId) -> ())T?

-> ImageRequestId

struct ImageRequestResult<T> { let image: T? let degraded: Bool let requestId: ImageRequestId }

) -> ())ImageRequestResult<T>

ImageSourceprotocol ImageSource { func requestImage<T: InitializableWithCGImage>( options: ImageRequestOptions, resultHandler: @escaping (ImageRequestResult<T>) -> ()) -> ImageRequestId

func fullResolutionImageData(completion: @escaping (Data?) -> ())

func imageSize(completion: @escaping (CGSize?) -> ()) func cancelRequest(_: ImageRequestId) }

Фотогалерея пользователя

Photos.framework

PHPhotoLibrary

PHAssetPHAssetPHAssetPHAsset

Фотогалерея пользователя

Photos.framework

PHPhotoLibrary

PHAssetPHAssetPHAssetPHAssetPHImageManager

UIImage

PHImageManagerfunc requestImage( for: PHAsset, targetSize: CGSize, contentMode: PHImageContentMode, options: PHImageRequestOptions?, resultHandler: @escaping (UIImage?, [AnyHashable: Any]?) -> ()) -> PHImageRequestID

Наш requestImage для PHAssetpublic func requestImage<T : InitializableWithCGImage>( options: ImageRequestOptions, resultHandler: @escaping (ImageRequestResult<T>) -> ()) -> ImageRequestId { let (phOptions, size, contentMode) = imageRequestParameters(from: options) var downloadStarted = false var downloadFinished = false let startDownload = { (imageRequestId: ImageRequestId) in downloadStarted = true if let onDownloadStart = options.onDownloadStart { dispatch_to_main_queue { onDownloadStart(imageRequestId) } } } let finishDownload = { (imageRequestId: ImageRequestId) in downloadFinished = true if let onDownloadFinish = options.onDownloadFinish { dispatch_to_main_queue { onDownloadFinish(imageRequestId) } } } phOptions.progressHandler = { progress, _, _, info in let imageRequestId = (info?[PHImageResultRequestIDKey] as? NSNumber)?.int32Value ?? 0 if !downloadStarted { startDownload(imageRequestId.toImageRequestId()) } if progress == 1 /* это не reliable, читай ниже */ && !downloadFinished { finishDownload(imageRequestId.toImageRequestId()) } }

let id = imageManager.requestImage(for: asset, targetSize: size, contentMode: contentMode, options: phOptions) { [weak self] image, info in let requestId = (info?[PHImageResultRequestIDKey] as? NSNumber)?.int32Value ?? 0 let degraded = (info?[PHImageResultIsDegradedKey] as? NSNumber)?.boolValue ?? false let cancelled = (info?[PHImageCancelledKey] as? NSNumber)?.boolValue ?? false || self?.cancelledRequestIds.contains(requestId.toImageRequestId()) == true let isLikelyToBeTheLastCallback = (image != nil && !degraded) || cancelled // progressHandler может никогда не вызваться с progress == 1, поэтому тут пытаемся угадать, завершилась ли загрузка if downloadStarted && !downloadFinished && isLikelyToBeTheLastCallback { finishDownload(requestId.toImageRequestId()) } // resultHandler не должен вызываться после отмены запроса if !cancelled { resultHandler(ImageRequestResult( image: (image as? T?).flatMap { $0 } ?? image?.cgImage.flatMap { T(cgImage: $0) }, degraded: degraded, requestId: requestId.toImageRequestId() )) } } return id.toImageRequestId() }

resultHandler после отмены запроса

resultHandler после отмены запросаPHImageManager

иногда вызывается, иногда — нет

иногда приходит UIImage, иногда — нет

resultHandler после отмены запросаPHImageManager

иногда вызывается, иногда — нет

иногда приходит UIImage, иногда — нет

ImageSource для PHAsset

не вызывается

resultHandler после отмены запроса Отменен ли запрос?

// внутри resultHandler PHImageManager’а

let cancelled = (info?[PHImageCancelledKey] as? NSNumber)?.boolValue ?? false || cancelledRequestIds.contains(requestId)

if !cancelled { // вызываем "внешний" resultHandler }

Загрузка из iCloud

Загрузка из iCloudclass PHImageRequestOptions { // для PHImageManager var progressHandler: PHAssetImageProgressHandler? // ...}

struct ImageRequestOptions { // для ImageSource var onDownloadStart: ((ImageRequestId) -> ())? var onDownloadFinish: ((ImageRequestId) -> ())? // ...}

Загрузка из iCloudphImageRequestOptions.progressHandler = { progress, _, _, _ in if progress == 1 { callOnDownloadFinish() } }

Загрузка из iCloud// внутри resultHandler: let degraded: Bool = info?[PHImageResultIsDegradedKey]

let looksLikeLastCallback = cancelled || (image != nil && !degraded)

if looksLikeLastCallback { callOnDownloadFinish() }

ImageIO

ImageIO Эффективное получение размера

let source = CGImageSourceCreateWithURL(fileUrl, nil)

let options = CGImageSourceCopyPropertiesAtIndex(source!, 0, nil) let width = options?[kCGImagePropertyPixelWidth] as! Int let height = options?[kCGImagePropertyPixelHeight] as! Int let orientation = options?[kCGImagePropertyOrientation] as! Int

if dimensionsSwapped(in: orientation) { return CGSize(width: height, height: width) } else { return CGSize(width: width, height: height) }

Локальные картинки Эффективный ресайзинг

let options: [NSString: Any] = [ kCGImageSourceThumbnailMaxPixelSize: max(size.width, size.height), kCGImageSourceCreateThumbnailWithTransform: true ]

return CGImageSourceCreateThumbnailAtIndex(source!, 0, options)

Images & memory

Images & memoryдля операций над изображениями — Core Image, ImageIO

создавайте UIImage минимально необходимого размера

Images & memoryдля операций над изображениями — Core Image, ImageIO

создавайте UIImage минимально необходимого размера

не храните больше UIImage, чем помещается на экране

github.com/avito-tech/Paparazzo

github.com/avito-tech/Paparazzoayutkin@avito.ru

Андрей Юткин. Media Picker — to infinity and beyond

Technology

Infinity Corebook

Time Picker

Infinity vip

Brochure Infinity

trituradora Picker/C 180 de Berti

INFINITY MMN

Vacuum Picker

Salida LLegada Picker

Infinity - Tempêtes

Infinity Folder

Infinity Robbe

Axe - infinity

INFINITY - Zumtobel

IMPERIA - mojnabytok.sk · Imperia 04 Imperia 10 . Infinity IS Infinity 20 Infinity 21 Infinity 01 Infinity 07 Infinity 13 Infinity 02 Infinity 08 Infinity 14 Infinity 03 Infinity

ADDERLink Infinity

Perfiles infinity

Infinity Magazine

Infinity loop

Infinity - Trésors

Taste Picker 개발경험기