Η πιο επικίνδυνη τάση deepfake αυτή τη στιγμή

Η εποχή του οπτικού deepfake ήταν απλώς μια απόσπαση της προσοχής. Ενώ το κοινό ανησυχούσε για παραποιημένα βίντεο παγκόσμιων ηγετών, μια πολύ πιο αποτελεσματική και αόρατη απειλή ωρίμαζε αθόρυβα στο παρασκήνιο. Η σύνθεση ήχου έχει γίνει το κύριο εργαλείο για απάτες υψηλής αξίας και πολιτική αποσταθεροποίηση. Δεν πρόκειται πλέον για το «uncanny valley» ενός κινούμενου προσώπου. Πρόκειται για την οικεία χροιά ενός μέλους της οικογένειας ή τον αυταρχικό τόνο ενός διευθύνοντος συμβούλου. Αυτή η αλλαγή είναι σημαντική επειδή ο ήχος απαιτεί λιγότερο bandwidth, λιγότερη επεξεργαστική ισχύ και φέρει μεγαλύτερο συναισθηματικό βάρος από το βίντεο. Σε έναν κόσμο όπου επαληθεύουμε την ταυτότητά μας μέσω φωνητικής βιομετρίας ή γρήγορων τηλεφωνημάτων, η ικανότητα κλωνοποίησης μιας ανθρώπινης φωνής με τρία δευτερόλεπτα υλικού έχει καταστρέψει την εμπιστοσύνη στο σύγχρονο σύστημα επικοινωνίας. Βλέπουμε μια στροφή από τα κινηματογραφικά τεχνάσματα προς την πρακτική εξαπάτηση υψηλού ρίσκου που στοχεύει τα πορτοφόλια των εταιρειών και τα νεύρα του γενικού πληθυσμού. Το πρόβλημα φαίνεται πιο δύσκολο τώρα από ό,τι πριν από έναν χρόνο, επειδή τα εργαλεία μεταφέρθηκαν από πειραματικά εργαστήρια σε εύχρηστα cloud interfaces.

Οι μηχανισμοί της συνθετικής ταυτότητας

Το τεχνικό εμπόδιο για την υψηλής ποιότητας κλωνοποίηση φωνής έχει εξαφανιστεί. Στο παρελθόν, η δημιουργία ενός πειστικού φωνητικού αντιγράφου απαιτούσε ώρες ηχογράφησης σε στούντιο και σημαντικό χρόνο επεξεργασίας. Σήμερα, ένας απατεώνας μπορεί να «ξύνει» τη φωνή ενός ατόμου από ένα σύντομο κλιπ στα social media ή ένα ηχογραφημένο webinar. Τα σύγχρονα νευρωνικά δίκτυα χρησιμοποιούν μια διαδικασία που ονομάζεται zero-shot text-to-speech. Αυτό επιτρέπει σε ένα μοντέλο να υιοθετεί τη χροιά, το ύψος και τη συναισθηματική χροιά ενός ομιλητή χωρίς να χρειάζεται ειδική εκπαίδευση για μέρες. Το αποτέλεσμα είναι ένα ψηφιακό φάντασμα που μπορεί να πει τα πάντα σε πραγματικό χρόνο. Δεν πρόκειται απλώς για μια ηχογράφηση. Είναι ένα ζωντανό, διαδραστικό εργαλείο που μπορεί να συμμετέχει σε μια αμφίδρομη συνομιλία. Όταν συνδυάζονται με large language models, αυτοί οι κλώνοι μπορούν ακόμη και να μιμηθούν το συγκεκριμένο λεξιλόγιο και τις συνήθειες ομιλίας του στόχου. Αυτό καθιστά την εξαπάτηση σχεδόν αδύνατο να εντοπιστεί από έναν ανυποψίαστο ακροατή που πιστεύει ότι έχει μια συνηθισμένη συνομιλία με κάποιον που γνωρίζει.

Η αντίληψη του κοινού συχνά υπολείπεται αυτής της πραγματικότητας. Πολλοί πιστεύουν ακόμα ότι τα deepfakes εντοπίζονται εύκολα λόγω σφαλμάτων ή ρομποτικών τόνων. Αυτή είναι μια επικίνδυνη παρανόηση. Η τελευταία γενιά μοντέλων ήχου μπορεί να προσομοιώσει τον ήχο μιας κακής σύνδεσης κινητής τηλεφωνίας ή ενός πολυσύχναστου δωματίου για να καλύψει τυχόν υπολειπόμενα τεχνουργήματα. Υποβαθμίζοντας εσκεμμένα την ποιότητα του συνθετικού ήχου, οι επιτιθέμενοι τον κάνουν να φαίνεται πιο αυθεντικός. Αυτός είναι ο πυρήνας της τρέχουσας κρίσης. Αναζητούμε την τελειότητα ως σημάδι AI, αλλά τα πιο επικίνδυνα fakes είναι εκείνα που αγκαλιάζουν την ατέλεια. Η βιομηχανία κινείται με ταχύτητα που η πολιτική δεν μπορεί να ακολουθήσει. Ενώ οι ερευνητές αναπτύσσουν τεχνικές υδατογράφησης, η open-source κοινότητα συνεχίζει να κυκλοφορεί μοντέλα που μπορούν να τρέξουν τοπικά, παρακάμπτοντας οποιαδήποτε φίλτρα ασφαλείας ή ηθικά όρια. Αυτή η απόκλιση μεταξύ του τι περιμένει το κοινό και του τι μπορεί να κάνει η τεχνολογία είναι το κύριο κενό που εκμεταλλεύονται τώρα οι εγκληματίες με υψηλή αποτελεσματικότητα.

Η γεωπολιτική της εξαπάτησης μέσω cloud

Η εξουσία πάνω σε αυτή την τεχνολογία είναι συγκεντρωμένη σε λίγα χέρια. Οι περισσότερες από τις κορυφαίες πλατφόρμες σύνθεσης ήχου εδρεύουν στις Ηνωμένες Πολιτείες, βασιζόμενες στο τεράστιο κεφάλαιο και την υποδομή cloud που παρέχει η Silicon Valley. Αυτό δημιουργεί μια μοναδική ένταση. Ενώ η κυβέρνηση των ΗΠΑ προσπαθεί να συντάξει οδηγίες για την ασφάλεια της AI, η βιομηχανική ταχύτητα αυτών των εταιρειών καθοδηγείται από μια παγκόσμια αγορά που απαιτεί περισσότερο ρεαλισμό και χαμηλότερο latency. Ο έλεγχος cloud που ασκούν εταιρείες όπως η Amazon, η Microsoft και η Google σημαίνει ότι είναι ουσιαστικά οι φύλακες των πιο ισχυρών εργαλείων εξαπάτησης στον κόσμο. Ωστόσο, αυτές οι πλατφόρμες είναι επίσης οι κύριοι στόχοι για κακή χρήση. Ένας απατεώνας σε μια χώρα μπορεί να χρησιμοποιήσει μια υπηρεσία cloud με έδρα τις ΗΠΑ για να στοχεύσει ένα θύμα σε μια άλλη, καθιστώντας την επιβολή του νόμου εφιάλτη. Το βάθος κεφαλαίου αυτών των τεχνολογικών κολοσσών τους επιτρέπει να χτίζουν μοντέλα που είναι πολύ ανώτερα από οτιδήποτε θα μπορούσε να παράγει ένα μικρό έθνος, ωστόσο στερούνται τη νομική εντολή να αστυνομεύουν κάθε bit ήχου που παράγεται στους servers τους.

Η πολιτική χειραγώγηση είναι το επόμενο σύνορο για αυτή την τεχνολογία. Βλέπουμε μια μετατόπιση από ευρείες εκστρατείες παραπληροφόρησης σε επιθέσεις υπερ-στόχευσης. Φανταστείτε μια τοπική εκλογή όπου οι ψηφοφόροι λαμβάνουν ένα τηλεφώνημα με τη φωνή ενός υποψηφίου το πρωί της ψηφοφορίας, λέγοντάς τους ότι η τοποθεσία του εκλογικού τμήματος έχει αλλάξει. Αυτό δεν απαιτεί ένα viral βίντεο. Απαιτεί μόνο μια λίστα τηλεφώνων και λίγο χρόνο στον server. Η ταχύτητα αυτών των επιθέσεων τις καθιστά ιδιαίτερα αποτελεσματικές. Μέχρι να μπορέσει μια καμπάνια να εκδώσει μια διόρθωση, η ζημιά έχει γίνει. Γι’ αυτό το πρόβλημα φαίνεται πιο επείγον από ό,τι σε προηγούμενους κύκλους. Η υποδομή για μαζική εξατομικευμένη εξαπάτηση είναι πλήρως λειτουργική. Σύμφωνα με την Ομοσπονδιακή Επιτροπή Εμπορίου (FTC), η αύξηση της απάτης που σχετίζεται με τη φωνή κοστίζει ήδη στους καταναλωτές εκατοντάδες εκατομμύρια δολάρια ετησίως. Η πολιτική απάντηση παραμένει κολλημένη σε έναν κύκλο μελέτης και συζήτησης, ενώ η βιομηχανική πραγματικότητα προχωρά με ιλιγγιώδη ταχύτητα. Αυτή η αποσύνδεση δεν είναι απλώς μια γραφειοκρατική αποτυχία. Είναι μια θεμελιώδης αναντιστοιχία μεταξύ της ταχύτητας του νόμου και της ταχύτητας του λογισμικού.

Ένα πρωινό Τρίτης στο γραφείο του μέλλοντος

Σκεφτείτε την ημέρα στη ζωή μιας εταιρικής ταμία που ονομάζεται Sarah. Είναι ένα πολυάσχολο πρωινό Τρίτης. Λαμβάνει ένα τηλεφώνημα από τον CEO, του οποίου η φωνή είναι αδιαμφισβήτητη. Ακούγεται αγχωμένος και αναφέρει ότι βρίσκεται σε ένα θορυβώδες αεροδρόμιο. Χρειάζεται μια επείγουσα μεταφορά χρημάτων για να εξασφαλίσει μια συμφωνία που βρίσκεται στα σκαριά εδώ και μήνες. Αναφέρει το συγκεκριμένο όνομα του project και τη νομική εταιρεία που εμπλέκεται. Η Sarah, θέλοντας να φανεί χρήσιμη, ξεκινά τη διαδικασία. Η φωνή στην άλλη άκρη απαντά στις ερωτήσεις της σε πραγματικό χρόνο, κάνοντας μάλιστα ένα αστείο για τον κακό καφέ στον τερματικό σταθμό. Αυτό δεν είναι ηχογράφηση. Είναι μια ζωντανή συνθετική φωνή που ελέγχεται από έναν επιτιθέμενο που έχει περάσει εβδομάδες ερευνώντας την εσωτερική γλώσσα της εταιρείας. Η Sarah ολοκληρώνει τη μεταφορά. Μόνο ώρες αργότερα, όταν στέλνει ένα email παρακολούθησης, συνειδητοποιεί ότι ο CEO βρισκόταν σε συνεδρίαση του διοικητικού συμβουλίου όλη την ώρα. Τα χρήματα έχουν χαθεί, μεταφερμένα μέσω μιας σειράς λογαριασμών που εξαφανίζονται σε λίγα λεπτά. Αυτό το σενάριο δεν είναι πλέον μια θεωρητική άσκηση. Είναι μια συχνή πραγματικότητα για τις επιχειρήσεις σε όλο τον κόσμο.

Αυτός ο τύπος απάτης είναι πιο αποτελεσματικός από το παραδοσιακό phishing επειδή παρακάμπτει τον φυσικό μας σκεπτικισμό. Είμαστε εκπαιδευμένοι να ψάχνουμε για τυπογραφικά λάθη στα email, αλλά δεν είμαστε ακόμη εκπαιδευμένοι να αμφισβητούμε τη φωνή ενός μακροχρόνιου συναδέλφου. Η συναισθηματική πίεση ενός τηλεφωνήματος περιορίζει επίσης την ικανότητά μας να σκεφτόμαστε κριτικά. Για έναν αναλυτή ασφαλείας, η ημέρα αναλώνεται πλέον στο κυνήγι ανωμαλιών στα πρότυπα επικοινωνίας αντί για την απλή παρακολούθηση firewalls. Πρέπει να εφαρμόσουν νέα πρωτόκολλα, όπως φράσεις «πρόκλησης-απόκρισης» που δεν κοινοποιούνται ποτέ ψηφιακά. Μια ομάδα ασφαλείας μπορεί να περάσει το πρωί της εξετάζοντας τις τελευταίες γνώσεις για την τεχνητή νοημοσύνη για να παραμείνει μπροστά από το επόμενο κύμα επιθέσεων. Δεν πολεμούν πλέον μόνο hackers. Πολεμούν την ψυχολογική βεβαιότητα που παρέχουν τα αυτιά μας. Η πραγματικότητα είναι ότι η ανθρώπινη φωνή δεν είναι πλέον ένα ασφαλές διαπιστευτήριο. Αυτή η συνειδητοποίηση αναγκάζει σε μια συνολική επανεξέταση του τρόπου με τον οποίο εδραιώνεται η εμπιστοσύνη σε ένα εταιρικό περιβάλλον. Το κόστος αυτής της αλλαγής δεν είναι μόνο οικονομικό. Είναι η απώλεια της χαλαρής επικοινωνίας υψηλής εμπιστοσύνης που κάνει τους οργανισμούς να λειτουργούν αποτελεσματικά. Κάθε κλήση φέρει πλέον έναν κρυφό φόρο αμφιβολίας.

Τα δύσκολα ερωτήματα για μια συνθετική εποχή

Πρέπει να εφαρμόσουμε έναν σωκρατικό σκεπτικισμό στην τρέχουσα πορεία αυτής της τεχνολογίας. Αν οποιαδήποτε φωνή μπορεί να κλωνοποιηθεί, ποιο είναι το κρυφό κόστος της διατήρησης μιας δημόσιας εικόνας; Ουσιαστικά λέμε σε κάθε δημόσιο ομιλητή, στέλεχος και influencer ότι η φωνητική τους ταυτότητα είναι πλέον δημόσια περιουσία. Ποιος είναι υπεύθυνος για το κόστος υπολογιστικής ισχύος της άμυνας; Αν οι εταιρείες πρέπει να ξοδέψουν εκατομμύρια για να επαληθεύσουν ότι οι υπάλληλοί τους είναι αυτοί που λένε ότι είναι, αυτό αποτελεί άμεση αποστράγγιση της παγκόσμιας οικονομίας. Πρέπει επίσης να ρωτήσουμε για το «μέρισμα του ψεύτη». Αυτό είναι το φαινόμενο όπου ένα άτομο που πιάνεται σε μια πραγματική ηχογράφηση μπορεί απλώς να ισχυριστεί ότι ήταν deepfake. Αυτό δημιουργεί έναν κόσμο όπου κανένα αποδεικτικό στοιχείο δεν είναι οριστικό. Πώς λειτουργεί ένα νομικό σύστημα όταν η κύρια μορφή αποδεικτικών στοιχείων —η ηχογράφηση μάρτυρα— μπορεί να απορριφθεί ως συνθετικό προϊόν; Κινούμαστε προς μια πραγματικότητα όπου η αλήθεια δεν είναι απλώς κρυμμένη, αλλά δυνητικά μη αποδείξιμη. Αξίζει η ευκολία του generative audio τη συνολική καταστροφή των ακουστικών αποδεικτικών στοιχείων; Αυτά δεν είναι ερωτήματα για το μακρινό μέλλον. Είναι ερωτήματα για το τώρα. Βλέπουμε επίσης μια απόκλιση στο ποιος μπορεί να αντέξει οικονομικά την προστασία. Οι μεγάλες εταιρείες μπορούν να αγοράσουν ακριβά εργαλεία επαλήθευσης, αλλά τι συμβαίνει με τον μέσο άνθρωπο του οποίου ο ηλικιωμένος γονέας στοχεύεται από μια απάτη απαγωγής με κλωνοποιημένη φωνή; Το χάσμα ιδιωτικότητας διευρύνεται και οι πιο ευάλωτοι είναι αυτοί που μένουν χωρίς ασπίδα.

Έχετε μια ιστορία, εργαλείο, τάση ή ερώτηση σχετικά με την τεχνητή νοημοσύνη που πιστεύετε ότι πρέπει να καλύψουμε; Στείλτε μας την ιδέα σας για άρθρο — θα χαρούμε να την ακούσουμε.

Το latency και η λογική των συστημάτων deepfake

Για να καταλάβουμε γιατί είναι τόσο δύσκολο να σταματήσει, πρέπει να εξετάσουμε τις προδιαγραφές των power users αυτών των συστημάτων. Τα περισσότερα σύγχρονα εργαλεία κλωνοποίησης φωνής βασίζονται σε μια αρχιτεκτονική που καθοδηγείται από API. Υπηρεσίες όπως η OpenAI ή η ElevenLabs προσφέρουν output υψηλής πιστότητας με απίστευτα χαμηλό latency. Μιλάμε για 500 χιλιοστά του δευτερολέπτου έως ένα δευτερόλεπτο καθυστέρησης. Αυτό είναι αρκετά γρήγορο για μια φυσική συνομιλία. Για όσους θέλουν να αποφύγουν τους περιορισμούς μιας διαχειριζόμενης υπηρεσίας, η τοπική αποθήκευση των βαρών του μοντέλου είναι η προτιμώμενη διαδρομή. Μια τυπική καταναλωτική GPU με 12GB VRAM μπορεί πλέον να τρέξει ένα εξελιγμένο μοντέλο RVC (Retrieval-based Voice Conversion). Αυτό επιτρέπει σε έναν επιτιθέμενο να επεξεργάζεται τον ήχο τοπικά, διασφαλίζοντας ότι οι δραστηριότητές του δεν καταγράφονται ποτέ από τρίτο πάροχο. Η ενσωμάτωση στη ροή εργασίας γίνεται επίσης απρόσκοπτη. Οι απατεώνες μπορούν να διοχετεύσουν τον συνθετικό τους ήχο απευθείας σε ένα εικονικό μικρόφωνο, κάνοντάς τον να εμφανίζεται ως νόμιμο input για το Zoom, το Teams ή μια τυπική τηλεφωνική γραμμή μέσω ενός VoIP gateway.

Τα όρια σε αυτά τα συστήματα σχετίζονται κυρίως με την ποιότητα των δεδομένων παρά με την υπολογιστική ισχύ. Ένα μοντέλο είναι τόσο καλό όσο ο ήχος αναφοράς. Ωστόσο, το διαδίκτυο είναι ένα τεράστιο αποθετήριο φωνητικών δεδομένων υψηλής ποιότητας. Για τους προγραμματιστές, η πρόκληση είναι η διαχείριση της ταχύτητας inference. Εάν το latency είναι πολύ υψηλό, η συνομιλία φαίνεται «παράξενη». Οι power users βελτιστοποιούν επί του παρόντος τα stacks τους χρησιμοποιώντας μικρότερα, κβαντισμένα μοντέλα που θυσιάζουν λίγη πιστότητα για ένα τεράστιο κέρδος στην απόκριση. Χρησιμοποιούν επίσης τοπικές βάσεις δεδομένων για την αποθήκευση προ-υπολογισμένων φωνητικών χαρακτηριστικών κοινών στόχων. Αυτό το επίπεδο τεχνικής πολυπλοκότητας σημαίνει ότι η άμυνα πρέπει να είναι εξίσου αυτοματοποιημένη. Η χειροκίνητη επαλήθευση είναι πολύ αργή. Εισερχόμαστε σε μια φάση όπου οι «ακροατές» που καθοδηγούνται από AI θα πρέπει να κάθονται στις τηλεφωνικές μας γραμμές για να αναλύουν τη φασματική συνέπεια του ήχου σε πραγματικό χρόνο. Αυτό δημιουργεί ένα νέο σύνολο ανησυχιών για την ιδιωτικότητα. Για να μας προστατεύσουμε από τα fakes, πρέπει να αφήσουμε έναν αλγόριθμο να ακούει κάθε λέξη που λέμε; Η ανταλλαγή μεταξύ ασφάλειας και ιδιωτικότητας δεν ήταν ποτέ πιο κυριολεκτική.

• Το μέσο latency για κλωνοποίηση φωνής σε πραγματικό χρόνο έχει πέσει κάτω από τα 800 χιλιοστά του δευτερολέπτου τους τελευταίους δώδεκα μήνες.
• Τα open-source αποθετήρια για μετατροπή φωνής έχουν δει μια αύξηση 300 τοις εκατό στις συνεισφορές από την έναρξη του τρέχοντος κύκλου.

Η πραγματικότητα της νέας απειλής

Η πιο επικίνδυνη τάση στα deepfakes είναι η στροφή προς το κοινότυπο. Δεν είναι η ταινία υψηλού προϋπολογισμού ή η viral παρωδία που πρέπει να μας ανησυχεί. Είναι ο ήχος που είναι ήσυχος, επαγγελματικός και εξαιρετικά πειστικός και φτάνει μέσω ενός τυπικού τηλεφωνήματος. Αυτή η τεχνολογία έχει οπλοποιήσει με επιτυχία το πιο ανθρώπινο μέρος της ταυτότητάς μας: τη φωνή μας. Όπως έχουμε δει σε αναφορές από το Reuters, η κλίμακα αυτού του προβλήματος είναι παγκόσμια και οι λύσεις είναι επί του παρόντος κατακερματισμένες. Ζούμε σε μια περίοδο όπου η βιομηχανική ταχύτητα της ανάπτυξης της AI έχει ξεπεράσει την κοινωνική και νομική μας ικανότητα να επαληθεύουμε την πραγματικότητα. Ο δρόμος προς τα εμπρός απαιτεί κάτι περισσότερο από καλύτερο λογισμικό. Απαιτεί μια θεμελιώδη αλλαγή στον τρόπο με τον οποίο προσεγγίζουμε την εμπιστοσύνη σε έναν ψηφιακό κόσμο. Δεν μπορούμε πλέον να υποθέτουμε ότι το να ακούς σημαίνει και να πιστεύεις. Το φωνητικό αποτύπωμα έχει σπάσει και η διαδικασία επισκευής θα είναι μακρά, δαπανηρή και τεχνικά απαιτητική. Πρέπει να παραμείνουμε σκεπτικοί απέναντι σε κάθε μη επαληθευμένο αίτημα, ανεξάρτητα από το πόσο οικεία ακούγεται η φωνή. Το κόστος ενός λάθους είναι απλώς πολύ υψηλό σε αυτό το νέο συνθετικό περιβάλλον.

Σημείωση συντάκτη: Δημιουργήσαμε αυτόν τον ιστότοπο ως έναν πολύγλωσσο κόμβο ειδήσεων και οδηγών τεχνητής νοημοσύνης για άτομα που δεν είναι φανατικοί των υπολογιστών, αλλά εξακολουθούν να θέλουν να κατανοήσουν την τεχνητή νοημοσύνη, να τη χρησιμοποιούν με μεγαλύτερη αυτοπεποίθηση και να παρακολουθούν το μέλλον που ήδη έρχεται.