Η OpenAI ανακοίνωσε μια σημαντική ενημέρωση για το ChatGPT που θα κάνει την τεχνητή νοημοσύνη να μπορεί “να βλέπει, να ακούει και να μιλάει”.
Πιο συγκεκριμένα, θα επιτρέπει στα μοντέλα GPT-3.5 και GPT-4 AI να αναλύουν εικόνες και να αντιδρούν σε αυτές στο πλαίσιο μιας συνομιλίας κειμένου. Σύμφωνα με την εταιρεία, η εφαρμογή για κινητά ChatGPT θα προσθέσει επιλογές σύνθεσης ομιλίας που, όταν συνδυαστούν με τις υπάρχουσες λειτουργίες αναγνώρισης ομιλίας, θα επιτρέψουν πλήρως λεκτικές συνομιλίες με τον βοηθό AI.
ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm pic.twitter.com/paG0hMshXb
— OpenAI (@OpenAI) September 25, 2023
Η εταιρεία αναφέρει ότι η νέα δυνατότητα αναγνώρισης εικόνας στο ChatGPT επιτρέπει στους χρήστες να ανεβάζουν μία ή περισσότερες εικόνες για συνομιλία, χρησιμοποιώντας είτε τα μοντέλα GPT-3.5 είτε GPT-4. Στην προωθητική ανάρτηση ιστολογίου της, υποστηρίζει ότι μπορεί να χρησιμοποιηθεί για μια ποικιλία καθημερινών εφαρμογών, όπως το να βρει τι φαγητό να μαγειρέψετε από φωτογραφίες του ντουλαπιού και του ψυγείου ή να καταλάβει ποιο είναι το πρόβλημα και δε λειτουργεί η ψησταριά σας. Λέει επίσης ότι οι χρήστες μπορούν να χρησιμοποιήσουν την οθόνη αφής της συσκευής τους για να κυκλώσουν μέρη της εικόνας στα οποία θα ήθελαν να επικεντρωθεί το ChatGPT.
Η OpenAI δημοσίευσε και ένα βίντεο (που μπορείτε να δείτε παραπάνω) που ένας χρήστης φέρεται να ρωτά πώς να σηκώσει ένα κάθισμα ποδηλάτου, παρέχοντας φωτογραφίες καθώς και ένα εγχειρίδιο οδηγιών και μια εικόνα της εργαλειοθήκης του χρήστη. Το ChatGPT αντιδρά και συμβουλεύει τον χρήστη πώς να ολοκληρώσει τη διαδικασία.
Η εταιρεία σχεδιάζει να διαθέσει αυτές τις δυνατότητες στο ChatGPT στους συνδρομητές Plus και Enterprise «μέσα στις επόμενες δύο εβδομάδες». Σημειώνει επίσης ότι η σύνθεση ομιλίας έρχεται μόνο σε iOS και Android και η αναγνώριση εικόνας θα είναι διαθέσιμη τόσο στην έκδοση web όσο και στην εφαρμογή για κινητά.
