Η Microsoft φέρνει τα distilled models DeepSeek R1 σε υπολογιστές Copilot+

Με εξασφαλισμένη την κυριαρχία του στον κόσμο των smartphones, το DeepSeek τραβάει πλώρη για την αγορά συσκευών που χρησιμοποιούν την πλατφόρμα των Winows. Στο νέο τους εγχείρημα έχουν ως έξτρα βοήθεια την υποστήριξη της Microsoft. Χθες, ο γίγαντας λογισμικού πρόσθεσε το μοντέλο DeepSeek R1 στο Azure AI Foundry για να επιτρέψει στους προγραμματιστές να δοκιμάσουν και να δημιουργήσουν εφαρμογές και υπηρεσίες που βασίζονται σε cloud με αυτό. Σήμερα, η Microsoft ανακοίνωσε ότι φέρνει αναπροσαρμοσμένες εκδόσεις του R1 σε υπολογιστές Copilot+.

Τα αναπροσαρμοσμένα “distilled models” θα είναι αρχικά διαθέσιμα σε συσκευές που τροφοδοτούνται από chip Snapdragon X και σε αυτές τις συσκευές υπάρχουν επεξεργαστές Intel Core Ultra 200V και στη συνέχεια θα δούμε συμβατότητα και με υπολογιστές που φέρουν το AMD Ryzen AI 9.

Το πρώτο μοντέλο θα είναι το DeepSeek-R1-Distill-Qwen-1.5B (δηλαδή ένα μοντέλο 1,5 δισεκατομμυρίων παραμέτρων) με μεγαλύτερα και πιο ικανά μοντέλα 7B και 14B σύντομα. Αυτά θα είναι διαθέσιμα για λήψη από το AI Toolkit της Microsoft.

Φυσικά η Microsoft έπρεπε να τροποποιήσει αυτά τα μοντέλα για να τα βελτιστοποιήσει ώστε να λειτουργούν σε συσκευές με μονάδες NPU. Λειτουργίες που βασίζονται σε μεγάλο βαθμό στην πρόσβαση στη μνήμη εκτελούνται στη CPU, ενώ λειτουργίες υπολογιστικής έντασης όπως το μπλοκ μετασχηματιστή εκτελούνται στη NPU. Με τις βελτιστοποιήσεις, η Microsoft κατάφερε να επιτύχει γρήγορο χρόνο στο πρώτο διακριτικό (130 ms) και ρυθμό διεκπεραίωσης 16 tokensανά δευτερόλεπτο για σύντομα μηνύματα (κάτω από 64 tokens).

Η Microsoft είναι ισχυρός υποστηρικτής και έχει επενδύσει βαθιά στο OpenAI (τους κατασκευαστές των ChatGPT και GPT-4o) και τώρα υποστηρίζει και το DeepSeek.

Ως “Model distillation” ορίζεται είναι η διαδικασία λήψης ενός μεγάλου μοντέλου τεχνητής νοημοσύνης (το πλήρες DeepSeek R1 έχει 671 δισεκατομμύρια παραμέτρους) και η μεταφορά όσο το δυνατόν μεγαλύτερης από τις γνώσεις του σε ένα μικρότερο μοντέλο (π.χ. 1,5 δισεκατομμύρια παραμέτρους). Δεν είναι τέλεια διαδικασία και αυτό το μοντέλο είναι λιγότερο ικανό από το πλήρες μοντέλο – αλλά το μικρότερο μέγεθος του επιτρέπει να λειτουργεί απευθείας σε καταναλωτικό υλικό.