Το VALL-E της Microsoft χρειάζεται 3" για να μιμηθεί την φωνή του καθενός

[Nagata]

Μια νέα ψηφιακή υπηρεσία που βασίζεται στην τεχνητή νοημοσύνη εμφάνισε η Microsoft και ισχυρίζεται πως μπορεί να μιμηθεί οποιαδήποτε ανθρώπινη φωνή. Η νέα δημιουργία της εταιρείας φέρνει την ονομασία VALL-E, όπως και ο προηγούμενος αλγόριθμος DALL-E. Αν δεν γνωρίζετε, το τελευταίο δημιουργεί μια εικόνα με βάση ένα κείμενο.

Το VALL-E μπορεί να μιμηθεί τη χροιά και τον τρόπο ομιλίας ακούγοντας τη φωνή ενός πραγματικού προσώπου σε μόλις τρία δευτερόλεπτα. Αν και ο ήχος μοιάζει λίγο με τη φωνή ενός ρομπότ, το αποτέλεσμα εξακολουθεί να είναι εντυπωσιακό.

Η Microsoft το αποκάλεσε “μοντέλο γλώσσας νευρωνικού κωδικοποιητή”. Το VALL-E κατασκευάστηκε με βάση το EnCodec (έναν κωδικοποιητή ήχου που χρησιμοποιεί τεχνικές μηχανικής μάθησης), που αναπτύχθηκε από τη Meta πριν από ένα χρόνο, το 2022.

Άλλες μέθοδοι μετατροπής κειμένου σε ομιλία λαμβάνουν υπόψη τις κυματομορφές, αλλά το VALL-E δημιουργεί ξεχωριστούς κωδικοποιητές ήχου από κείμενο και ήχο. Στην πραγματικότητα, αναλύει πώς ακούγεται ένα άτομο. Στη συνέχεια, αναλύει αυτές τις πληροφορίες σε ξεχωριστά μέρη (που ονομάζονται “tokens”) μέσω του EnCodec. Και στο τέλος, χρησιμοποιεί δεδομένα προπόνησης για να ταιριάξει με αυτό που “γνωρίζει” για το πώς θα ακουγόταν αυτή η φωνή αν έλεγε άλλες φράσεις εκτός του δείγματος των τριών δευτερολέπτων.

Το VALL-E διδάχθηκε χρησιμοποιώντας ειδική βιβλιοθήκη. Το τελευταίο περιέχει 60.000 ώρες αγγλικής ομιλίας από περισσότερα από 7.000 άτομα. Οι προγραμματιστές προτείνουν ότι η μέθοδος θα μπορούσε να χρησιμοποιηθεί για εφαρμογές μετατροπής κειμένου σε ομιλία υψηλής ποιότητας. Για παράδειγμα, μπορείτε να το χρησιμοποιήσετε για την επεξεργασία εγγραφών ομιλίας όπου επιτρέπεται η αλλαγή ανθρώπινων λέξεων. Ως αποτέλεσμα, μπορείτε να δημιουργήσετε ηχητικό περιεχόμενο (όπως φωνητικά για ηχητικά βιβλία) και πολλά άλλα.

Φυσικά, μια τέτοια τεχνολογία μπορεί επίσης να εγκυμονεί έναν συγκεκριμένο κίνδυνο. Αργά ή γρήγορα, κάποιοι χρήστες θα το κάνουν εργαλείο εκβιασμού. Ας πούμε, μπορούν να χρησιμοποιήσουν την τεχνητή νοημοσύνη για να αποδείξουν ότι διάσημοι άνθρωποι είπαν κάτι που δεν είπαν.

[via]

back to the Article