Cómo comenzar si quiero hacer una aplicación como Lakme Pro desde cero

Apple proporciona una API para detectar rostros en una imagen. Puede usar el marco AV de Apple para transmitir video como una serie de imágenes fijas, pasarlas a una API y modificarlas en tiempo real. No he usado la API de caras de iOS, pero he hecho otro procesamiento en tiempo real.

Funciona bien, aunque es un poco áspero, lo suficientemente bueno como para poner un bigote tonto en una cara, lo que he visto, pero no creo que los dispositivos iOS tengan el poder de procesamiento para aplicar maquillaje de aspecto realista en una cara en tiempo real .

No estoy seguro acerca de Android. Capturar imágenes o incluso videos en Android es moderadamente doloroso, hay muchas trampas y variaciones de dispositivos que pueden causar defectos en modelos específicos de Android. Nunca he jugado con el procesamiento de video de Android de bajo nivel, la captura en tiempo real de transmisiones de video para que pueda modificar las imágenes, por lo que necesitaría investigar esto usted mismo.

Existe una técnica que podría ayudar a reemplazar el límite de velocidad del procesador. Pasar imágenes a un servidor a veces puede ser más rápido que procesar una imagen en un dispositivo móvil. Necesita un servidor costoso para marcar la diferencia, y pierde 2-3 segundos en tránsito, pero utilicé esta técnica para resolver un problema de OCR muy difícil. Pasar imágenes al servidor reduce el tiempo de procesamiento de un minuto a unos segundos.