Comment ça marche

Comment nous estimons le remplissage d'un bac

Quand vous ajoutez une photo, nous essayons d'estimer automatiquement le niveau de remplissage, pour que vous n'ayez plus qu'à le vérifier. L'estimation est une suggestion : vous la confirmez ou l'ajustez toujours avec le curseur, et nous conservons votre valeur et la nôtre.

Nous essayons plusieurs techniques, l'une après l'autre. Nous commençons par celles qui tournent sur votre appareil : elles sont instantanées, gratuites, et votre photo ne quitte pas votre téléphone pour elles. Si elles ne sont pas assez sûres, nous passons à des techniques plus puissantes, en terminant par un modèle dans le cloud.

1. Vérification rapide de l'image

Sur votre appareil

Un petit bout de code examine les pixels de la photo. Les matériaux collectés comme les bouchons forment une texture chargée d'une couleur typique. Nous notons chaque ligne de l'image pour cette texture et cherchons le point le plus haut atteint par le matériau. Les affiches et cadres devant le contenu sont ignorés, car nous cherchons le sommet du matériau et non le premier vide.

C'est instantané et fonctionne hors ligne, mais cela ne distingue pas un bac d'un sol chargé. Cela ne marche correctement que si la photo a été prise avec le cadre de notre caméra, pour que nous sachions où est le bac. Même alors, nous ne lui faisons confiance qu'à 55 % au maximum ; 35 % pour les photos envoyées.

2. L'IA intégrée à votre navigateur

Sur votre appareil

Les versions récentes de Google Chrome sur ordinateur peuvent inclure un petit modèle d'IA (Gemini Nano) qui tourne entièrement sur l'appareil. S'il est déjà installé, nous lui montrons la partie de la photo dans le cadre et posons des questions simples : y a-t-il des bouchons empilés sur le bac, atteignent-ils le bord supérieur, et jusqu'où montent-ils environ (vide, juste le fond, environ la moitié, presque plein, plein).

Les petits modèles sont mauvais pour donner des pourcentages précis mais meilleurs pour des questions simples ; nous déduisons donc le pourcentage des réponses. Si les réponses se contredisent, nous baissons notre confiance. Nous ne faisons jamais télécharger ce modèle de plusieurs gigaoctets à votre navigateur.

3. Modèle d'IA ouvert dans votre navigateur

Sur votre appareil

CLIP est un modèle d'image ouvert qui évalue à quel point une photo correspond à de courtes descriptions, comme « un bac de collecte à moitié rempli de bouchons » ou « une photo prise dans une bibliothèque ». Nous le faisons tourner dans votre navigateur (sur votre puce graphique si possible) et transformons les scores en niveau de remplissage et en type de lieu.

Le modèle pèse environ 154 Mo. Votre navigateur le garde après le premier téléchargement, mais nous sautons cette étape sur données mobiles, si l'économiseur de données est activé, ou sur les téléphones dont le navigateur n'indique pas le type de connexion (comme Safari sur iPhone). Il reconnaît bien les lieux mais évalue mal le remplissage ; nous ne lui faisons donc pas confiance au-delà de 55 %.

4. IA dans le cloud

Sur notre serveur, avec Claude d'Anthropic

Si les étapes sur votre appareil n'ont pas donné de réponse fiable, notre serveur envoie la photo à Claude, un grand modèle d'IA capable de raisonner sur des images. On lui indique à quoi sert le bac, qu'il doit ignorer les affiches et cadres, et que du matériau empilé dessus signifie que le bac déborde. Il renvoie un niveau de remplissage et sa certitude, les problèmes visibles (dégâts, mauvais déchets, …), le type de lieu, et le point de collecte proche le plus probable.

C'est l'étape la plus précise, et la seule qui peut décider seule. Elle ne reçoit que la photo et la liste des points de collecte proches.