Nettoyer le bruit d'une image par l'apprentissage en profondeur (Deep learning)

@zafirbel Cette technologie existe depuis 1999 et personne n'a pensé à l'utiliser dans des logiciels pro spécialisés dans la photo ? Si oui lesquels ? parce que visiblement PS ne fait pas parti de ceux-ci.
En faisant des recherches sur les différentes techniques applicables je ne trouve que des résultats décevants très loin de ce que l'on peut voir dans la vidéo ou tes exemples.
Ça donne l'impression qu'en dehors du domaine démonstratif très particulier (avec des photos adaptés pour l'algo, un très long temps de traitement ou un bruit créé artificiellement avec une logique que comprend l'algo et donc non réutilisable avec un bruit trop différent), il est impossible de trouver une utilisation concrète du procédé.
Il y a même un logiciel spécialisé appelé noiseless pro mais les résultats sont loin d'être aussi spectaculaires.

@chopsuey je ne connais pas vraiment les logiciels d'édition de photo donc aucune idée de pourquoi leurs résultats sont moins bons, par contre ce que je peux te dire c'est que les exemples présents dans les deux papiers sont typiques des résultats qu'on peut obtenir en implémentant un algo de réduction de bruit correct.

Le bruit créé artificiellement est en effet un facteur, non pas parce que l'algo comprends sa logique (ça serait sans aucun intérêt pour un papier de recherche), mais parce que c'est la seule déformation de l'image présente, je l'ai évoqué dans mon premier message. Mais la méthode de deep learning de NV fonctionne elle aussi sur du bruit généré artificiellement. Et elle aussi est juste une démo qui présente des résultats de recherche.

Citation :


On s'est pas compris je crois, C'est pas du tout ce que j'ai dit

est-ce qu'un denoiser en ML est facile a programmer? relativement, oui. Ca c'est un fait. Le machine learning c'est pas tres complique
est-ce que l'exemple qui est donne ici est facile a programmer? beaucoup moins. Mais c'est pas le denoiser en soi qui est complexe ici. Ce qui est interessant dans cette approche, c'est qu'elle ne s'appuie pas sur un dataset qui lie une image noisy a sa version non-noisy. Leur recherche propose de le faire a partir d'un dataset qui ne contient que des images noisy. Depuis le debut de la conversation on ne s'attarde que sur la qualite du denoise alors que ce n'est pas vraiment ca qui est montre
est-ce que c'est realisable avec des algos classiques? c'est tout a fait possible oui. Mais la vraie question a se poser c'est "est ce que ca vaut le coup de le faire?". C'est ca en fait la seule question a se poser: est ce que le rapport qualite/(complexite+ressources necessaires) est meilleur en ML ou en algo? Dans le cas du denoising c'est surement gagnant pour le ML. Ce que je dis dans mon message c'est qu'on a tendance a oublier de se poser la question aujourd'hui, et qu'on sousentend trop souvent que le ML est toujours gagant. Selon moi, c'est une connerie
est-ce que ca fonctionne super bien avec n'importe quelle photo? ahah, alors ca, je l'affirmerais pas aussi vite que toi. C'est une demo technique qu'on a ici, on ne te montre que ce qu'on veut bien te montrer le resultat d'un ML est extremement dependant de ton dataset d'apprentissage. Rien ne dit qu'ici il soit aussi generique que tu le crois.
est-ce que ce denoise vaut mieux qu'un de ceux de toshop? difficile de l'affirmer la aussi: un reseau comme celui la a tendance a ecraser le signal pour le remplacer par des choses qu'il connait. Il denoise bien, mais il y a fort a parier qu'il altere en partie l'information d'entree. Parfois il est preferable de garder un peu de bruit plutot que de perdre de l'information (c'est le cas dans le traitement video)

pour repondre a ta question de photoshop, j'avais ecrit une longue reponse mais je l'aie perdue sur une fausse manip. Mais je la resume en une phrase ici: entre faire un prototype de demo tech et avoir la meme feature dans un soft commercial, il y a un gap dont on imagine rarement l'ampleur. De plus, dans une plateforme bien etablie et vaste comme toshop, avec une architecture bien complexe, on ne s'amuse pas a integrer un bout de code en mode yolo. On passe par de tres longues etapes de test, RnD, meeting, validation, discussion, debug et enculages d'insectes divers. A plus forte raison dans une grosse boite comme adobe, il y a une latence enorme (de toutes facons ils sont leaders, c'est pas comme si leur position etait en jeu sur un simple denoising). Rien d'etonnant a ce que ce soit pas implemente donc.

@zafirbel

Citation :

Ça faisait justement parti de mes interrogations..  je comprend mieux maintenant que en gros c'est pas cette technologie basé sur le machin learning qui risque d'avoir de grande répercutions sur les logiciels et que si il y a de telles différences entre les tests d'algos et l'utilisation concrète des softs c'est qu'il y a surement une autre raison (autre que l’existence ou non d'une telle technologie).

@nobrain
Citation :

A mais ça je veux bien te croire, je ne m'y connait pas asse pour avoir un jugement là dessus.

Citation :

Je me suis peut être trop enthousiasmé ^^ mais je précise bien que je suis bluffé sous cette condition "Hors si ce qui est montré dans la vidéo fonctionne aussi bien avec n'importe quelle photo, c'est juste du jamais vue et c'est hyper bluffant."

Citation :

Le denoise de PS altère aussi l'information même en n’enlevant pas tous les grains on peut vite se retrouver avec une netteté et des raccourcis d'interprétation asse dégueux.

Avant (bruit que j'ai ajouté artificiellement)


Après


Et là j'ai poussé le filtre à fond, c'est pour ça que ça déforme autant mais sinon on voit à peine la différence et pourtant je suis loin d'avoir ajouté un bruit aussi chargé que dans la vidéo.

Citation :

Oui je comprend mais pourtant @zafirbel m'a montré des exemples prouvant que la technologie (aussi bluffante que celle utilisé dans la vidéo mais avec des algos classiques) existe depuis minimum 1999 http://ira.lib.polyu.edu.hk/bitstream/10397/221/1/CS_ADSP_V46_1_99.pdf
Ils en ont eu du temps pour l'intégrer quand même

Citation :

c'etait un truc que je disais dans mon message perdu je pense:
le machine learning ca existe depuis 20 ans, mais personne ne l'utilisait parce qu'a l'epoque
-complexite: ca coutait beaucoup de ressources hardware, les temps d'apprentissage etaient tres tres longs. Aujourd'hui cette contrainte est gommee par le parallelisme GPU qui a beaucoup change la donne (relativement recemment)
-qualite: comme ca coutait cher, peu de gens en faisaient et il etait donc difficile d'evaluer l'efficacite de cette approche dans des cas d'utilisation reelle. un cercle vicieux en somme
-ressources necessaires: a l'epoque, la notion de cloud, de collecte de donnees, de profilage utilisateur, de connexion constante de toutes les applis telephone, etc etaient encore a leurs balbutiement comparativement a aujourd'hui. De fait, il etait beaucoup plus complique de constituer un dataset d'apprentissage suffisament vaste

en bref on en revient au rapport qualite/(complexite+ressources necessaires) que j'evoquait: l'emergence du ML ces dernieres annees vient surtout du fait que ce rapport est enfin devenu avantageux

De qui smog-t'on?