Η Amazon παρουσίασε το TorchNeuron, ένα εγγενές backend του PyTorch για τα τσιπ τεχνητής νοημοσύνης Trainium2 και Trainium3 της AWS. Σύμφωνα με την εταιρεία, ο υπάρχων κώδικας PyTorch τρέχει στο Trainium με αλλαγή της συσκευής σε «neuron», ενώ υποστηρίζονται η άμεση εκτέλεση, το torch.compile και οι κατανεμημένες λειτουργίες. Ο κώδικας θα δοθεί ως ανοιχτό λογισμικό στο PyTorch Conference στις 20 Οκτωβρίου. Εταιρείες όπως η Hugging Face, η Deepgram και η Cartesia το χρησιμοποιούν ήδη.

Τι σημαίνει: Το μεγαλύτερο πλεονέκτημα της NVIDIA δεν είναι μόνο τα τσιπ της αλλά και το λογισμικό γύρω από αυτά. Οι περισσότερες ομάδες έχουν γράψει τα μοντέλα τους σε PyTorch με την υπόθεση ότι θα τρέξουν σε κάρτες NVIDIA, και η μεταφορά σε άλλο υλικό απαιτούσε μέχρι τώρα αρκετή επανεγγραφή. Με το TorchNeuron η Amazon προσπαθεί να εξαλείψει αυτό το κόστος μετάβασης, κάνοντας το Trainium να μοιάζει με μια ακόμη συσκευή μέσα στο γνώριμο περιβάλλον. Αν η υπόσχεση ισχύσει στην πράξη, οι επιχειρήσεις αποκτούν πραγματική επιλογή τιμής και διαθεσιμότητας, κάτι σημαντικό σε μια περίοδο που η ζήτηση για υπολογιστική ισχύ ξεπερνά την προσφορά. Μένει όμως να φανεί η απόδοση σε παραγωγικά φορτία και όχι μόνο η συμβατότητα. Για ελληνικές ομάδες που εκπαιδεύουν ή εξυπηρετούν μοντέλα στο cloud, το πρακτικό μήνυμα είναι να γράφουν κώδικα ανεξάρτητο από τη συσκευή, ώστε να μπορούν να συγκρίνουν κόστος ανάμεσα σε διαφορετικό υλικό. Η απελευθέρωση του κώδικα ως ανοιχτού λογισμικού θα επιτρέψει επίσης στην κοινότητα να ελέγξει πόσο ώριμη είναι η λύση. Ο ανταγωνισμός στο λογισμικό μπορεί τελικά να ρίξει τις τιμές για όλους.

Διαβάστε το πρωτότυπο στο About Amazon

Σχετική υπηρεσία: Ανάπτυξη λογισμικού

Σχετικές ειδήσεις