Microsoft telah meluncurkan alat pengenalan gambar yang mencoba untuk menggambarkan konten gambar. Alat kecerdasan buatan ini masih dalam tahap pengembangan dan terus belajar dari gambar yang diunggah oleh pengguna.

Sejauh menyangkut akurasi, kadang-kadang deskripsi cukup akurat sementara kadang-kadang CaptionBot menawarkan deskripsi yang tidak ada hubungannya dengan apa yang sedang digambarkan. Ada juga kasus ketika aplikasi tidak dapat memberikan deskripsi sama sekali, karena keadaan kasarnya.

Microsoft merancang CaptionBot untuk belajar dengan lebih banyak pengalaman, dengan harapan captionBotnya akan menjadi lebih akurat seiring waktu. Semakin banyak gambar yang diunggah pengguna, semakin baik aplikasinya, seperti yang dijelaskan oleh CaptionBot:

Saya dapat memahami konten dari gambar apa pun dan saya akan mencoba menggambarkannya sebaik manusia mana pun. Saya masih belajar jadi saya akan memegang foto Anda tetapi tidak ada info pribadi.

CaptionBot menggunakan tiga teknologi untuk menggambarkan apa yang digambarkan dalam gambar: Visi Komputer, Emosi, dan Gambar Bing Microsoft. Computer Vision API mengekstraksi informasi yang kaya dari gambar untuk mengkategorikan dan memproses data visual bersama mengidentifikasi dan mengekstraksi teks dari gambar. API Emosi, seperti namanya, menganalisis wajah untuk mendeteksi berbagai perasaan, mulai dari kemarahan, penghinaan, jijik, ketakutan, kebahagiaan, netralitas, kesedihan, dan kejutan. Bing Image mencari gambar di web.

Kami menguji CaptionBot dan hasilnya akurat dalam 50% kasus. Misalnya, kami mengunggah dua gambar: satu menggambarkan mouse gaming, yang lain tumpukan kartu. Dalam kedua kasus tersebut, alat itu menyarankan itu adalah ponsel. Di sisi lain, CaptionBot secara akurat mendeteksi manusia dan wajah.

Rupanya, CaptionBot memiliki obsesi dengan ponsel. Seorang pengguna Twitter melaporkan bahwa aplikasi itu mengira Michelle Obama adalah ponsel. Untuk keterangan lucu CaptionBot lainnya, lihat halaman Twitter ini.

Anda juga dapat menguji CaptionBot di sini. Cobalah: Anda akan membantu meningkatkan alat atau Anda akan tertawa!