Αυτό είναι καθαρότερο για το περιβάλλον: εκμάθηση μοντέλο AI ή πέντε αυτοκίνητα;

Τεχνητή νοημοσύνη είναι συχνά σε σύγκριση με τη βιομηχανία πετρελαίου: μετά την εξόρυξη και την επεξεργασία των δεδομένων, όπως το πετρέλαιο, μπορεί να είναι μια πολύ κερδοφόρα αγαθό. Τώρα, όμως, γίνεται προφανές ότι αυτή η μεταφορά επεκτείνεται. Όπως συμβαίνει με τα ορυκτά καύσιμα, βαθιά διαδικασία της μάθησης έχει τεράστιο αντίκτυπο στο περιβάλλον. Στη νέα μελέτη, επιστήμονες από το Πανεπιστήμιο της Μασαχουσέτης στο Amherst έχουν αξιολογήσει τον κύκλο ζωής της μάθησης πολλά κοινά μεγάλα μοντέλα της τεχνητής νοημοσύνης.

Αυτό είναι καθαρότερο για το περιβάλλον: εκμάθηση μοντέλο AI ή πέντε αυτοκίνητα;

Ευρέθη ότι με αυτή τη μέθοδο μπορεί να λαμβάνει περισσότερες από 626.000 λίβρες (περίπου 300.000 kg) ισοδυνάμου διοξειδίου του άνθρακα, η οποία είναι σχεδόν πέντε φορές οι εκπομπές ενός τυπικού αυτοκινήτου για πέντε χρόνια (συμπεριλαμβανομένης της κατασκευής αυτοκινήτου).

Όπως διδάσκεται μοντέλο AI

Είναι εκπληκτικό το ποσοτικό ορισμό του τι οι ερευνητές της τεχνητής νοημοσύνης από καιρό έχουν υποψιαστεί.

«Ενώ πολλοί από εμάς σκέφτονται γι 'αυτό το αφηρημένο, το επίπεδο θαμπάδα, τα στοιχεία δείχνουν το μέγεθος του προβλήματος», λέει ο Carlos Gomez-Rodriguez, ένας ειδικός στην επιστήμη των υπολογιστών στο Πανεπιστήμιο της Λα Κορούνια στην Ισπανία, ο οποίος δεν συμμετείχε στη μελέτη. «Ούτε εγώ ούτε οι άλλοι ερευνητές, με τους οποίους έχω συζητήσει, δεν νομίζω ότι οι περιβαλλοντικές επιπτώσεις είναι τόσο σημαντικό.»

Το αποτύπωμα άνθρακα επεξεργασία φυσικής γλώσσας

Στο μοντέλο, η διαδικασία της μάθησης για επεξεργασία φυσικής γλώσσας (NLP) είναι ιδιαίτερα θεωρείται ένα υποπεδίο της AI, η οποία ασχολείται με μηχανικής μάθησης για να συνεργαστεί με την ανθρώπινη γλώσσα. Κατά τα τελευταία δύο χρόνια, NLP κοινότητα έχει κάνει σημαντικά βήματα στον τομέα της αυτόματης μετάφρασης, ολοκληρωμένες προτάσεις και άλλες συνήθεις εργασίες Εκτίμηση. Notorious μοντέλο OpenAI GPT-2, για παράδειγμα, έχει καταφέρει εγγράφως και πειστική πλαστά χαρτονομίσματα ειδήσεων. Αλλά τέτοια επιτεύγματα απαιτείται η κατάρτιση όλων μεγαλύτερα μοντέλα της εκτεταμένης σύνολα δεδομένων των προτάσεων, τράβηξε έξω από το Internet. Αυτή η προσέγγιση είναι υπολογιστικά δαπανηρή και είναι πολύ ενεργοβόρες.

Η μελέτη εξέτασε τέσσερα μοντέλα στο χώρο, υπεύθυνος για τα μεγαλύτερα άλματα στην παραγωγικότητα: Μετασχηματιστής, Elmo, BERT και GPT-2. Θα διδάξει το καθένα από αυτά σε μια ενιαία GPU για την ημέρα για να μετρήσετε την κατανάλωση ισχύος.

Στη συνέχεια, πήρε ένα αριθμό ωρών κατάρτισης που προσδιορίζονται στα πρωτότυπα έγγραφα του μοντέλου για τον υπολογισμό της συνολικής ενέργειας που καταναλώνεται κατά τη διάρκεια της όλης διαδικασίας μάθησης. Το ποσό αυτό μεταφέρθηκε στις ισοδύναμες λίβρες διοξειδίου του άνθρακα, το οποίο αντιστοιχούσε στη δομή της AWS ενέργειας Amazon, το μεγαλύτερο πάροχο υπηρεσιών σύννεφο.

Αποδείχθηκε ότι οι δαπάνες πληροφορικής και περιβαλλοντικής εκπαίδευσης αυξήθηκε σε αναλογία με το μέγεθος του μοντέλου, και στη συνέχεια αυξήθηκε πολλές φορές, όταν συντονισμένοι για την τελική ακρίβεια του μοντέλου. Αναζήτηση νευρική αρχιτεκτονική που προσπαθεί να βελτιστοποιήσει το μοντέλο με τη σταδιακή αλλαγή του νευρικού δομή του δικτύου μέσω της δοκιμής και του λάθους, έχει ένα εξαιρετικά υψηλό κόστος για ένα μικρό κέρδος απόδοσης. Χωρίς αυτό, το πιο ακριβό μοντέλο BERT άφησε το αποτύπωμα άνθρακα των 1.400 λίβρες (635 kg), η οποία είναι κοντά στο εισιτήριο Μεσο-ταξίδι.

Επιπλέον, τα στοιχεία αυτά θα πρέπει να θεωρηθεί ως η βασική γραμμή.

«Διδάσκοντας το ίδιο μοντέλο - αυτό είναι το ελάχιστο ποσό της εργασίας που μπορείτε να κάνετε,» λέει η Emma Strubell, επικεφαλής συγγραφέας του άρθρου. Στην πράξη, είναι πολύ πιο πιθανό ότι η ΤΝ ερευνητές έχουν αναπτύξει ένα νέο μοντέλο από το μηδέν ή να προσαρμόσουν μια υπάρχουσα, η οποία θα απαιτούσε πολλά περισσότερα κύκλους μάθησης και προσαρμογής.

Σε γενικές γραμμές, σύμφωνα με τους επιστήμονες, η διαδικασία δημιουργίας και δοκιμή του τελικού μοντέλου, άξια δημοσίευσης, απαίτησε την κατάρτιση 4789 μοντέλα σε έξι μήνες. Σε όρους ισοδύναμου CO2 είναι περίπου 35.000 kg.

Η σημασία αυτών των αριθμών είναι τεράστια, ιδιαίτερα λαμβάνοντας υπόψη τις τρέχουσες τάσεις στην έρευνα AI. Σε γενικές γραμμές, στον τομέα της έρευνας AI παραμελούνται απόδοση τόσο μεγάλη νευρωνικά δίκτυα βρέθηκε να είναι χρήσιμη για μια ποικιλία εργασιών, καθώς και οι εταιρείες με απεριόριστη υπολογιστικούς πόρους, θα τους χρησιμοποιήσει για να αποκτήσει ανταγωνιστικό πλεονέκτημα.

Αλλά δεν θα είναι πολύ καλό για το κλίμα. Παρακολουθήστε νευρωνικών δικτύων σε τηλεγράφημα το κανάλι μας.

Σχετικά άρθρα