A Microsoft képaláírása képeket ír le, így nem kell

Videó: Playing w/ Microsoft Captionbot.mp4 2024

Videó: Playing w/ Microsoft Captionbot.mp4 2024
Anonim

A Microsoft elindított egy képfelismerő eszközt, amely megkísérel leírni egy kép tartalmát. Ez a mesterséges intelligencia eszköz még fejlesztési szakaszban van, és folyamatosan tanul a felhasználók által feltöltött képekből.

Ami a pontosságot illeti, a leírás néha meglehetősen pontos, míg a CaptionBot néha olyan leírásokat kínál, amelyeknek semmi köze sincs a képhez. Előfordulnak olyan esetek is, amikor az alkalmazás egyáltalán nem tud leírást adni a szélein körülvevő állapot miatt.

A Microsoft úgy tervezte meg a CaptionBot-t, hogy több tapasztalattal tanuljon, azzal a elvárással, hogy a feliratok idővel pontosabbak lesznek. Minél több képet tölt fel a felhasználó, annál jobb lesz az alkalmazás, ahogy a CaptionBot leírja magát:

Megértem minden kép tartalmát, és megpróbálom leírni azt, valamint minden embert. Még mindig tanulok, így megtartom a fotódat, de nincs személyes információ.

A CaptionBot három technológiát használ a képben ábrázolt képek leírására: a Microsoft számítógépes látása, érzelem és Bing képe. A Computer Vision API a képekből gazdag információkat von ki, hogy a vizuális adatokat kategorizálja és feldolgozza, a kép azonosítása és kibontása mellett. Az Emotion API, amint a neve is sugallja, az arcokat elemzi az érzések széles skálájának felismerésére, kezdve a haragtól, a megvetéstől, az undorodástól, a félelemtől, a boldogságig, a semlegességig, a szomorúságig és a meglepetésig. A Bing Image képeket keres az interneten.

A CaptionBot-t teszteltük, és az eredmények az esetek 50% -ában voltak pontosak. Például két képet töltöttünk fel: az egyik játék-egeret ábrázolt, a másik egy halom kártyát. Mindkét esetben az eszköz azt sugallta, hogy egy mobiltelefon. Másrészt a CaptionBot pontosan felismerte az embereket és az arcokat.

A CaptionBotnak nyilvánvalóan megszállottsága van a mobiltelefonok iránt. Az egyik Twitter-felhasználó arról számolt be, hogy az alkalmazás szerint Michelle Obama mobiltelefon volt. További CaptionBot vicces feliratokkal kapcsolatban olvassa el ezt a Twitter oldalt.

Itt is tesztelheti a CaptionBot-t. Próbáld ki: vagy segítesz az eszköz fejlesztésében, vagy jól nevetsz!

A Microsoft képaláírása képeket ír le, így nem kell