Elon Musk, CEO di Tesla, ha recentemente presentato il bot Tesla dell'azienda. Optimus con nome robot in codice si trascinò su una fase, agitò la mano e pompò le braccia in una mossa di danza a bassa velocità. Musk prevede che il robot potrebbe costare $ 20.000 entro 3-5 anni se tutto vanno secondo i piani. Ma la domanda è: cosa può fare per noi. Ma prima di entrare in questo, diamo un'occhiata ai dispositivi principali che guidano il bot Tesla.
Attuatori di Tesla Bot
IL Attuatori sono il sistema di azionamento principale per qualsiasi robot. Si potrebbe dire che un robot non è altro che un PC con parti in movimento, o in altre parole, un robot è un PC con attuatori e sensori. Tesla ha sviluppato i propri attuatori per il bot, utilizza 3 tipi di attuatori rotanti e 3 tipi di Attuatori lineari.
Se ti stai chiedendo perché Tesla non abbia usato attuatori lineari standardizzati come il FIRGELLI Attuatore, è perché hanno diversi vincoli che significa che devono sviluppare i propri sistemi per far sì che i robot siano in definitiva leggeri, efficienti dal punto di vista energetico, ad alta potenza e a basso costo. Tesla ha affermato di voler convincere il bot al dettaglio per $ 20.000 ciascuno. Questo di per sé è un alto ordine per qualcosa che è Gong per richiedere 23 attuatori e potenti PC, molti sensori e un pacco batteria per farla durare più di qualche ora, oltre a uno scheletro forte per tenere tutto insieme.
Attuatori lineari di Tesla Bot
Gli attuatori lineari che Tesla sviluppati sono altamente specifici per un ruolo specifico, ciò significa che non sarebbero davvero di grande utilità per qualsiasi altra applicazione diversa da un robot. I loro attuatori impiegano un sistema di rulli planetari e Tesla lo chiama, ma questo è fondamentalmente codice per il design della vite a sfera, e invece di una tradizionale bobina di armature magnetiche nel mezzo del motore hanno deciso di utilizzare un design del motore del nucleo senza spazzole. Ciò significa che il design della vite da sfera è molto efficiente e utilizza meno energia, ma anche più costosa. E usano un sistema di alimentazione senza spazzole, il che significa che l'intervallo di vita sarà significativamente più veloce e consente modalità di azionamento altamente specifiche controllate dal software.
La durata del viaggio è lunga solo circa 2 ", e come ha mostrato l'immagine che solleva un piano a 500 kg, questo è un sacco di peso. Potresti chiederti perché deve sollevare così tanto peso?, Beh, è perché quando installato in un Scheletro di metallo, i viaggi degli attuatori devono amplificare il ripiano di ciò che si muove. Quindi se si muove la gamba di un robot, la gamba deve essere in grado di muoversi di circa 150 gradi o oltre una lunghezza di 2 piedi la gamba deve oscillare circa zero a un arco di 3 piedi. Il corpo huma che si è evoluto oltre 100.000 anni di anni consente a noi umani di farlo usando i muscoli delle gambe, ma ottenere un attuatore lineare per farlo non è un compito facile. Quindi il punto i ' M Making è che, anche se l'attuatore può sollevare 500 kg di peso su 2 pollici, una volta che gli attuatori si sono collegati a una leva, la forza si riduce in modo significativo, a seconda del rapporto di leva finanziaria e ma la velocità aumenta che rende un bel commercio -spento.
Presentazione di Tesla Bot.
Ecco cosa avevano da dire Tesla sull'ultima presentazione del bot che hanno dato il 30 settembre 2022
Elon Musk Presents: WHo alcune cose davvero eccitanti da mostrarti, penso che rimarrai piuttosto colpito. Voglio fissare alcune aspettative rispetto al nostro robot Optimus come sai l'anno scorso era solo una persona in tuta robot ma non abbiamo fatto molta strada e penso che tu lo sappia rispetto a quello che è sarà molto impressionante. E parleremo dei progressi nell'intelligenza artificiale per la piena guida e il modo in cui si applicano di piùGeneralmente ai problemi di AI del mondo reale come un robot umanoide e persino andare oltre. Penso che ci sia un certo potenziale che ciò che stiamo facendo qui a Tesla potrebbe dare un contributo significativo all'AGI, e penso che in realtà ci dica una buona entità per farlo dal punto di vista della governance perché siamo una società quotata in borsa, ne abbiamo una classe di azioni e ciò significa che il pubblicoControlla Tesla e penso che sia in realtà una buona cosa, quindi se impazzisco puoi licenziarmi questoè importante forse non sono pazzo, non lo so. Quindi sì, quindi parleremo molto dei nostri progressi in AI Autopilot e dei progressi con Dojo, e poi tireremo fuori la squadra e faremo una lunga domanda e risparmia in modo da poter chiedere a Whous domande. Qualunque cosa tu voglia domande esistenziali Domande tecniche se vorrebbe avere più tempo possibile per le domande e risposte, quindi vediamo con ciò che indovina cosa ogni giorno.
Hey ragazzi, sono milano, lavoro sull'autopilota ed è in gomma, sono un ingegnere meccanico nel progetto, anche ok, quindi dovremmo allevare il bot prima di inoltrare la prima volta che proviamo questo robot senza alcuna crana di supporto di backup
meccanismi meccanici nessun cavi niente sì, voglio unirmi a voi ragazzi
stasera ma è stata la prima volta che ti vediamo pronto andiamoIl computer a guida autonoma che corre nelle tue auto Tesla dal modo in cui questo è letteralmente la prima volta che il robot ha operato senza un legame è stato sul palco stasera è tutto, quindi il robot può effettivamente fare molto più di quanto ti abbiamo appena mostrato Semplicemente non volevo che cadesse sul suo viso, quindi ti mostreremo alcuni video ora del robot che faceva un sacco di altre cose ume sì, che sono meno rischiose.
Sì, volevamo mostrare un po 'di più quello che abbiamo fatto negli ultimi mesicon a parte e semplicemente camminando e balla sul palco e solo umili inizi, ma puoi vedere le reti neurali del pilota automatico in esecuzione come
è appena riqualificato per il bocciolo direttamente su quello su quella nuova piattaforma che è la mia irrigazione puoi vedereUna visione resa che è il robot qual è il mondo che il robot vede, quindi è chiaramente identificare oggetti come questo è l'oggetto che dovrebbe raccogliere. Usiamo lo stesso processo che abbiamo fatto per il pilota automatico per raccogliere dati in formato le tue reti che quindi distribuiamo sul
robot questo è un esempio che illustra un po 'di più la parte superiore del corpo
Qualcosa che ci piacerebbe provare a inchiodare tra qualche mese nei prossimi mesi direi alla perfezioneQuesta è davvero una vera stazione nella fabbrica di Fremont anche in cui funziona.
Non è l'unica cosa che dobbiamo mostrare oggi in modo che ciò che hai visto sia ciò che chiamiamo Bumble C, questo è il nostro tipo di robot di sviluppo approssimativo usando attuatori semi-off-the-shelf, ma in realtà abbiamo fatto un passo avanti di quello già già Il team ha fatto un lavoro incredibile e in realtà abbiamo un bot ottimista con un
Completamente Tesla progettata su entrambi gli attuatori Sistema di controllo del pacco batteriaTutto non era abbastanza pronto a camminare, ma penso che camminerà tra qualche settimana, ma volevamo mostrarti il robot e qualcosa che in realtà è abbastanza vicino a ciò che andrà in produzione e ti mostrerà tutte le cose che può Fallo che lo tiramo fuori
Ci aspettiamo di avere in Optimus Production Unit One che è la capacità
Per spostare tutte le dita spostano in modo indipendente il pollice, avere due
gradi di libertà così ha pollici opponibili ed sia a sinistra che a destra così
È in grado di gestire strumenti e fare cose utili, il nostro obiettivo è rendere utile
Robot umanoide il più rapidamente possibile e lo abbiamo anche progettato usando il
Stessa disciplina che utilizziamo nella progettazione dell'auto, il che deve dire di progettarla per la produzione in modo tale che sia possibileFai il robot a un volume elevato a basso costo con alta affidabilità, quindi è incredibilmente importante, intendo che hai visto dimostrazioni di robot umanoide molto impressionanti e che è fantastico, ma cosa mancano?, mancano un cervello, non t Avere l'intelligenza
navigare dal mondo da soli e sono anche molto costosi,e realizzato a basso volume, mentre questo è la società ottimista e un robot estremamente capace, ma fatto in volume molto elevato probabilmente alla fine milioni di unità e si prevede che costerà molto meno di un'auto.
Direi che probabilmente meno di ventimila dollari sarebbe la mia ipotesi
Il potenziale di ottimista è che penso apprezzato da molto efficace
La gente hey come al solito le demo di Tesla stanno arrivando caldeQuindi, va bene, va bene, va bene, sì, i team hanno messo in scena e il team ha svolto un incredibile lavoro, è che sono i giorni lavorativi che conosci sette giorni a settimana a correre il petrolio alle 3 del mattino per arrivare alla manifestazione oggi sono Super orgoglioso di ciò che hanno fatto è che hanno fatto davvero un ottimo lavoro, mi piace solo dare una mano all'intera opzione di questa squadra in modo da sapere che ora c'è ancora molto lavoro da fare per perfezionare Optimus e miglioralo ovviamente questa è solo la versione Optimus e questo è davvero il motivo per cui stiamo organizzando questo evento, che è per convincere alcune delle persone più talentuose del mondo come voi ragazzi a unirsi a Tesla e aiutarlo a renderlo realtà e portarlo a realizzare Scala in modo tale che possa aiutare milioni di persone e la e il potenziale che gli piace è davvero sbalordire la mente perché hai da dire come ciò che è un'economia un'economia è una sorta di entità produttive volte la produttività UH Times Output produttività pro capite nel punto in cui non esiste una limitazione sul capitale, non è chiaro cosa significhi anche un'economia a quel punto un'economia diventa quasi infinita, quindi ciò che quello che sai ha realizzato in modo realizzato nello scenario si spera benigno futuro dell'abbondanza un futuro in cui um non c'è povertà in cui le persone tu
può avere quello che vuoi in termini di prodotti e serviziÈ davvero una trasformazione fondamentale della civiltà in quanto lo sappiamo ovviamente vogliamo assicurarci che la trasformazione sia positiva e sicura, ma è anche per questo che penso che Tesla sia un'entità che lo fa una singola classe di azioni quotate in borsa di proprietà Il pubblico è molto importante e non dovrebbe essere trascurato, penso che questo sia essenziale perché se al pubblico non piace ciò che Tesla sta facendo il pubblico può acquistare azioni in Tesla e votare in modo diverso.
Questo è un grosso problema come se sia molto importante che non posso semplicemente fare quello che voglio che tu sappiaA volte le persone pensano che non sia ma non è vero, quindi sai che è molto importante che l'entità aziendale che ha ciò che fa accadere sia qualcosa che il pubblico può influenzare correttamente e quindi penso che la struttura di Tesla sia l'ideale per quello e come come Ho detto che sai che le auto a guida autonoma avranno sicuramente un impatto enorme sul mondo um, penso che miglioreranno il
produttività del trasporto di almeno mezzo ordine di grandezza forse unOrdine di magnitudo forse più ottimisti UM che penso abbia forse un potenziale miglioramento di due ordini di magnitudo della produzione economica come se non sia chiaro che non sia chiaro quale sia il limite in realtà, ma dobbiamo farlo nel modo giusto che dobbiamo fare È attentamente e in modo sicuro e assicura che il risultato sia uno che è benefico per la civiltà e e uno che l'umanità una volta che non posso, questo è anche estremamente importante, quindi e spero che considererai di unirti a Tesla per raggiungere tali obiettivi a Tesla We Mi interessa davvero fare la cosa giusta qui aspira sempre a fare la cosa giusta e e davvero non pagare la strada all'inferno con buone intenzioni e penso che la strada per l'inferno sia per lo più pavimentata con cattive intenzioni, ma ogni tanto c'è una buona intenzione in lì così vogliamo farlo fare la cosa giusta, così sai, considera di unirti a noi e aiutando a farlo accadere con quello che andiamo a passare alla fase successiva proprio su Grazie Elon
Va bene, quindi hai visto un paio di robot oggi facciamo un rapido riepilogo della sequenza temporale, quindi l'anno scorso abbiamo svelato il bot Tesla
concetto ma un concetto non ci porta molto lontano sapevamo che avevamo bisogno di una vera piattaforma di sviluppo e integrazione per
Ottieni gli apprendimenti della vita reale il più rapidamente possibile in modo che il robot sia uscito e abbia fatto la piccola routine per voi ragazzi
Ha avuto ciò che entro sei mesi ha creato lavorando sugli aggiornamenti hardware di integrazione software nel corso dei mesi, ma ma
in parallelo abbiamo anche progettato la prossima generazione qui
Quindi questo ragazzo è radicato nella fondazione di una sorta di processo di progettazione del veicolo che sai che stiamo sfruttando tutto
Quegli apprendimenti che abbiamo già ovviamente ci sono molte cose che sono cambiate dall'anno scorso, ma ci sono alcune cose
che sono sempre gli stessi, noterai che abbiamo ancora questa attenzione davvero dettagliata sulla vera forma umana che pensiamo che
conta per alcuni motivi, ma è divertente passare molto tempo a pensare a quanto sia sorprendente il corpo umano
Questa incredibile gamma di movimento tipicamente sorprendente è divertente
L'esercizio fisico è se metti la punta del dito sulla sedia di fronte a te noterai che c'è una vasta gamma di movimenti che
Hai nella tua spalla e il gomito, ad esempio senza muovere la punta del dito, puoi spostare tutte quelle articolazioni tutte
Oltre il luogo um ma il robot sai che la sua funzione principale è fare davvero un lavoro utile e
Forse non ha necessariamente bisogno di tutti quei gradi di libertà subito
di 28 gradi fondamentali di libertà e poi ovviamente le nostre mani oltre a questo
Gli umani sono anche abbastanza efficienti in alcune cose e non così efficienti in altre volte, quindi ad esempio possiamo mangiare un piccolo
quantità di cibo per sostenerci per diverse ore, ma quando siamo semplicemente seduti a no
offesa ma siamo un po 'inefficienti siamo solo una specie di energia bruciata, quindi sulla piattaforma robot quello che siamo
Faremo è stato per ridurre al minimo quel consumo di alimentazione inattivo il più basso possibile e in questo modo possiamo semplicemente
capovolgi un interruttore e immediatamente il robot si trasforma in qualcosa che fa un lavoro utile
Quindi parliamo di questa ultima generazione in dettaglio, dovremmo così sullo schermo qui vedrai
Gli aranci sono attuatori che arriveremo in un po 'e in blu il nostro sistema elettrico
Quindi ora che abbiamo il nostro tipo di ricerca basata sull'uomo e abbiamo la nostra prima piattaforma di sviluppo che abbiamo entrambi
Ricerca ed esecuzione da cui attingere per questo design stiamo utilizzando quel design del veicolo
fondazione quindi lo stiamo prendendo dal concetto attraverso la progettazione e l'analisi e
Quindi costruisci e convalida lungo la strada ottimizzeremo per cose come il costo e l'efficienza
Perché quelle sono metriche critiche per portare questo prodotto in scala alla fine come faremo bene
Ridurremo il conteggio delle nostre parti e il nostro consumo di energia di ogni elemento possibile faremo cose come
Riduci il rilevamento e il cablaggio alle nostre estremità puoi immaginare molta massa in mani e piedi
Sii abbastanza difficile e consumano il potere di muoverti e centralizzare entrambi i nostri
Distribuzione dell'alimentazione e il nostro calcolo al centro fisico della piattaforma
Quindi nel mezzo del nostro busto in realtà è il busto che abbiamo il nostro pacco batteria è dimensionato a 2,3 chilowatt
Il che è perfetto per un lavoro di un giorno intero ciò che è davvero unico in questa batteria
Il pacchetto è che ha tutta l'elettronica della batteria integrata in un singolo PCB all'interno del pacchetto, quindi ciò significa tutto
Dal rilevamento alla fusione della gestione della carica e della distribuzione dell'energia è tutto su uno
In un posto stiamo anche sfruttando sia i nostri prodotti per veicoli che i nostri prodotti energetici da rotolare
Tutte quelle caratteristiche chiave in questa batteria in modo che sia una produzione semplificata davvero efficiente e
semplici metodi di raffreddamento Gestione della batteria e anche sicurezza e ovviamente possiamo sfruttare Tesla
infrastruttura e catena di approvvigionamento esistenti per farlo così che continuano al nostro cervello
non nella testa ma è abbastanza vicino anche nel nostro busto abbiamo il nostro computer centrale, così come sai già Tesla
spedisci i computer a guida autonoma in ogni veicolo che produciamo vogliamo sfruttare sia l'hardware di pilota automatico che
il software per la piattaforma umanoide ma perché è diverso nei requisiti e nel fattore di forma siamo
Vado a cambiare alcune cose prima, quindi facciamo ancora tutto ciò che fa un cervello umano
Elaborazione dei dati di visione Presentazione di una seconda decisione in base a più input sensoriali e anche a comunicazioni
Quindi, per supportare le comunicazioni è dotato di connettività wireless e supporto audio
E poi ha anche funzionalità di sicurezza a livello di hardware che sono importanti per proteggere sia il robot che le persone
intorno al robot, quindi ora che abbiamo il nostro tipo di nucleo
Avremo bisogno di degli arti su questo ragazzo e ci piacerebbe mostrarti un po 'dei nostri attuatori e del nostro pienamente
anche mani funzionali, ma prima di farlo, vorrei introdurre Malcolm che parlerà un po '
La nostra base strutturale per il robot [applauso]
Grazie
Tesla ha la capacità di finalizzare i sistemi altamente complessi, diventa molto più complesso di un incidente che puoi vedere
Qui un crash simulato sul modello 3 sovrapposto in cima al crash fisico reale
In realtà è incredibile quanto sia accurato solo per darti un'idea della complessità di questo modello
Include ogni rondella di Bolton nodo ogni saldatura a punti e ha 35 milioni di gradi di libertà è abbastanza sorprendente
Ed è vero dire che se non avessimo modelli come questo non saremmo in grado di realizzare le auto più sicure del mondo
Così possiamo utilizzare le nostre capacità e i nostri metodi dal lato automobilistico per influenzare un robot
Bene, possiamo creare un modello e dato che avevamo un software di arresto anomalo abbiamo usato lo stesso software qui possiamo farlo cadere
Lo scopo è assicurarsi che se cade idealmente no, ma è un danno superficiale
Non vogliamo ad esempio rompere il suo cambio alle braccia che equivale a una spalla dislocata di un robot
difficile e costoso da risolvere, quindi volevamo spolverarci di andare avanti con un lavoro che è stato dato
Se potessimo anche assumere lo stesso modello e possiamo guidare gli attuatori usando l'ingresso da un modello precedentemente risolto
dando vita a vita in modo che questo stia producendo i movimenti per i compiti che vogliamo che il robot li faccia
le attività stanno raccogliendo scatole che girano accovacciate camminando al piano di sopra qualunque set di compiti possiamo svolgere per
Modello Questo mostra solo una semplice camminata possiamo creare le sollecitazioni in tutti i componenti che ci aiutano a farlo
ottimizza i componenti Questi non sono robot danzanti, questi sono
In realtà il comportamento modale le prime cinque modalità del robot e in genere quando le persone fanno robot si assicurano
La prima modalità è su per le figure singole in alto fino a 10 Hertz
Chi è questo è rendere più facili i controlli della camminata, è molto difficile camminare se non puoi garantire
Dove il tuo piede vacilla in giro va bene per fare un robot che vogliamo guadagnare migliaia forse milioni
Non abbiamo il lusso di realizzarli dal titanio in fibra di carbonio che vogliamo farli su cose di plastica non lo sono
Abbastanza rigido, quindi non possiamo avere questi obiettivi alti li chiamerò bersagli stupidi
Dobbiamo farli funzionare a bersagli inferiori, quindi è quello che funzionerà bene se ci pensi mi dispiace
questo ma siamo solo sacchi di gelatina e ossa inzuppiate non siamo ad alta frequenza se mi fermo
la mia gamba non vibra a 10 Hertz noi persone operiamo a bassa frequenza così noi
sapere che il robot in realtà può solo rendere i controlli più difficili, quindi prendiamo le informazioni da questo i dati modali e
la rigidità e lo alimentano nel sistema di controllo che gli consente di camminare
Sto solo cambiando le tasse leggermente guardando il ginocchio da cui potremmo prendere un po 'di ispirazione
biologia e possiamo cercare di vedere quali sono i vantaggi meccanici del ginocchio.
Simile al collegamento a quattro barre e questo è abbastanza non lineare che non è davvero sorprendente perché se
Pensi che quando pieni la gamba lungo la coppia sul ginocchio è molto più quando è piegata di quando è quando è
dritto quindi ti aspetteresti una funzione non lineare e in effetti la biologia non è lineare
Questo lo corrisponde abbastanza accuratamente, quindi è la rappresentazione dei quattro
Il collegamento non è ovviamente fisicamente a quattro barre, come ho detto che le caratteristiche sono simili ma che scommetto che è
Non molto scientifico, siamo un po 'più scientifici che abbiamo svolto tutti i compiti attraverso il grafico, ma questo
sta mostrando picchetti di passeggiate per accovacciarsi i compiti che ho detto che abbiamo svolto sullo stress e questo è il discorso a una scena
Il ginocchio contro il ginocchio si piega sull'asse orizzontale, questo mostra il requisito per il ginocchio per fare tutto questi
compiti e poi metti una curva attraverso di essa navigando sopra le cime e questo sta dicendo che è ciò che è necessario per
Fai fare il robot a questi compiti
Quindi se guardiamo il collegamento a quattro bar che è in realtà la curva verde e sta dicendo che la non linearità del
Quattro per collegamento è in realtà linearizzato la caratteristica della forza ciò che realmente dice è che ha abbassato la forza
Questo è ciò che rende l'attuatore la forza più bassa possibile che è la più efficiente che vogliamo bruciare l'energia lentamente
Qual è il pozzo della curva blu la curva blu è in realtà se non avevamo un link a quattro bar abbiamo appena avuto un braccio
sporgere dalla mia gamba qui con un attuatore su di esso un semplice link a due bar
Questo è il meglio che potresti fare con un semplice link a due bar e mostra che ciò creerebbe molto più forza nel
attuatore che non sarebbe efficiente, quindi quello che sembra in pratica
Bene, come vedrai, ma è ben confezionato in ginocchio, vedrai un bene
trasparente in un secondo vedrai il collegamento a barre completo lì sta funzionando sull'attuatore questo è determinato il
forza e gli spostamenti sull'attuatore e ora ti passano alla concertina per
Quindi sono vorrei parlarti del processo di progettazione e dell'attuatore
Portfolio Uh nel nostro robot quindi ci sono molte somiglianze tra a
auto e robot quando si tratta di propulsore progetta la cosa più importante che conta qui è la massa energetica e il costo
Stiamo trasportando la maggior parte della nostra esperienza di progettazione dall'auto al robot
Quindi, nel caso particolare, vedi un'auto con due unità di guida e le unità di guida
vengono utilizzati per accelerare l'auto da 0 a 60 miglia all'ora o guidare a
Cities guidano il sito mentre il robot che ha 28 attuatori e
Non è ovvio quali siano i compiti a livello di attuatore, quindi abbiamo compiti
sono livelli più alti come camminare o salire le scale o trasportare un oggetto pesante che deve essere tradotto
giunto in specifiche articolari Pertanto utilizziamo il nostro modello
che genera le traiettorie di velocità di coppia per le nostre articolazioni che
successivamente verrà alimentato nel nostro modello di ottimizzazione e per far funzionare
il processo di ottimizzazione Questo è uno degli scenari che il
Il robot è in grado di fare che sta girando e camminando, quindi quando abbiamo questa velocità di coppia
traiettoria abbiamo posato su una mappa di efficienza di un attuatore e siamo in grado
La traiettoria per generare il consumo di energia e l'accumulativo energetico
energia per l'attività rispetto al tempo, quindi questo ci consente di definire il sistema
costo per l'attuatore particolare e mettiamo un semplice punto nel cloud, quindi lo facciamo
Questo per centinaia di migliaia di attuatori risolvendo nel nostro cluster e la linea rossa indica il fronte di Pareto
che è l'area preferita in cui cercheremo ottimale, quindi la x indica
Il design dell'attuatore preferito che abbiamo scelto per questo particolare giunto, quindi ora dobbiamo farlo per ogni giuntura che abbiamo
Avere 28 giunti da ottimizzare e analizziamo il nostro cloud analizziamo di nuovo il nostro cloud per ogni giuntura
Spec e l'asse rosso questa volta indica i disegni dell'attuatore su misura per ogni
congiunto Il problema qui è che abbiamo troppi progetti di attuatori unici e
Anche se approfittiamo della simmetria, ce ne sono ancora troppi per fare qualcosa di massa
fabbricabile dobbiamo essere in grado di ridurre la quantità di progetti di attuatori unici, quindi gestiamo qualcosa
Chiamato studio comunitario che analizziamo di nuovo la nostra nuvola che cerca questa volta
Attuatori che contemporaneamente soddisfano i requisiti di prestazione congiunti per più di un giunto contemporaneamente
Il portafoglio risultante è sei attuatori e mostrano in una mappa a colori la figura centrale
UM e gli attuatori possono anche essere visualizzati in questa diapositiva abbiamo tre rotanti e
Tre attuatori lineari che hanno tutti una grande forza di uscita o una coppia per massa
L'attuatore rotante in particolare ha una frizione meccanica integrata sul contatto angolare laterale ad alta velocità
cuscinetto a sfera e sul lato ad alta velocità e sul lato a bassa velocità un rullo incrociato
Il cuscinetto e il treno del cambio sono un ingranaggio d'onda di deformazione e ci sono tre sensori integrati
Qui e la macchina a magnete permanente su misura l'attuatore lineare
Mi dispiace che l'attuatore lineare abbia rulli planetari e una vite planetaria invertita
Come treno per il cambio che consente l'efficienza, la compattazione e la durata
Quindi, al fine di dimostrare la capacità di forza dei nostri attuatori lineari
hanno impostato un esperimento per testarlo sotto i suoi limiti
E ti lascerò che ti godi il video
Quindi il nostro attuatore è in grado di sollevare
un pianoforte a mezzo tono a nove piedi pianoforte
E
Questo è un requisito non è qualcosa di carino da avere perché i nostri muscoli possono fare
Lo stesso quando sono guidati diretti quando sono guidati direttamente o i muscoli del quadricepite possono fare la stessa cosa
È solo che il ginocchio è un sistema di collegamento di ingranaggi che converte la forza
in velocità alla fine effettore delle nostre colline per scopi di dare al
Agilità del corpo umano Quindi questa è una delle cose principali che sono incredibili del corpo umano e io sono
Concludendo la mia parte a questo punto e vorrei dare il benvenuto al mio collega Mike che ti parlerà di mano
Design Grazie mille grazie a Costantinos
Quindi abbiamo appena visto quanto possa essere potente un attuatore umano e umanoide
Gli umani sono anche incredibilmente abili, la mano umana ha la capacità di muoversi
A 300 gradi al secondo ha decine di migliaia di sensori tattili
E ha la capacità di afferrare e manipolare quasi tutti gli oggetti della nostra vita quotidiana
Per il nostro design a mano robotico siamo stati ispirati dalla biologia abbiamo cinque dita un pollice opponibile
Le nostre dita sono guidate da tendini metallici che sono sia flessibili che forti, abbiamo la capacità di completare l'ampia
Apertura di alimentazione mentre viene anche ottimizzato per l'accugnte di precisione di piccoli e delicati oggetti
Allora perché un essere umano come una mano robotica, il motivo principale è che le nostre fabbriche e il mondo che ci circonda
Progettato per essere ergonomico, quindi ciò significa che garantisce che gli oggetti nella nostra fabbrica siano impazziti
ma garantisce anche che nuovi oggetti che potremmo non aver mai visto prima possano essere afferrati dalla mano umana e dalla nostra
anche la mano robotica, il conversa è piuttosto interessante perché sta dicendo che questi oggetti sono progettati per la nostra mano
Invece di dover apportare modifiche alla nostra mano per accompagnare un nuovo oggetto
Alcune statistiche di base sulla nostra mano sono che hanno sei attuatori e 11 gradi di libertà ha un controller in mano che
guida le dita e riceve feedback del sensore il feedback del sensore è davvero importante per
Impara un po 'di più sugli oggetti che stiamo afferrando e anche per la propriocezione e questa è la capacità per noi di riconoscere dove
La nostra mano è nello spazio uno degli aspetti importanti della nostra mano è che è adattivo questa adattabilità
è coinvolto essenzialmente come meccanismi complessi che consentono alla mano di adattarsi agli oggetti che vengono afferrati
Un'altra parte importante è che abbiamo un'unità di dito non retro che questo meccanismo di stringa ci consente di trattenere
e trasporta oggetti senza dover accendere i motori a mano hai appena sentito come andavamo in giro
Abbiamo fatto progettare l'hardware Tesla Bot ora lo consegneremo a Milano e al nostro team di autonomia per portarlo
robot alla vita grazie mike
va bene um, quindi tutte quelle cose interessanti che abbiamo mostrato all'inizio del video sono state pubblicate
possibile solo in pochi mesi grazie alla straordinaria parola che abbiamo fatto il pilota automatico negli ultimi anni
La maggior parte di quei componenti si è trasferita abbastanza facilmente sull'ambiente di robot se ci pensate ci stiamo solo muovendo
da un robot su ruote a un robot sulle gambe, quindi alcuni di questi componenti sono abbastanza simili e alcuni altri richiedono
sollevamento più pesanti, ad esempio le nostre reti neurali della visione artificiale
riportato direttamente dal pilota automatico alla situazione dei robot è esattamente la stessa rete di occupazione
che stiamo parlando con un po 'più di dettagli più tardi con la squadra di pilota automatico che ora è in esecuzione sul bot qui
Questo video l'unica cosa che è cambiata sono i dati di allenamento che abbiamo dovuto ricordare
Stiamo anche cercando di trovare il modo di migliorare quelle reti di occupazione usando il lavoro svolto sui tuoi campi di radiazione per ottenere
rendering volumetrico davvero eccezionale degli ambienti robot, ad esempio alcuni alcuni
Machine Leggi che il bot potrebbe dover interagire con
Un altro problema interessante a cui pensare è in ambienti interni principalmente con quel senso di segnale GPS come fai
Ottieni per navigare verso la sua destinazione, ad esempio, per trovare la sua stazione di ricarica più vicina, quindi ci siamo allenati
più reti neurali per identificare i punti chiave delle caratteristiche ad alta frequenza all'interno del
I bot della fotocamera flussi e monitorali attraverso i frame nel tempo mentre il bot naviga nel suo ambiente
E stiamo usando quei punti per ottenere una stima migliore della posa e della traiettoria nel suo ambiente come
sta camminando, abbiamo anche fatto un po 'di lavoro sul
lato simulazione e questo è letteralmente il simulatore del pilota automatico a cui abbiamo integrato la locomozione del robot
codice e questo è un video del codice di controllo del movimento in esecuzione nel simulatore del simulatore dell'operatore che mostra il
L'evoluzione dei robot cammina nel tempo e così come puoi vedere, abbiamo iniziato abbastanza lentamente ad aprile e iniziare ad accelerare
Mentre sblocciamo più articolazioni e tecniche più profonde più avanzate come le armi bilanciate negli ultimi mesi
e quindi la locomozione è specificamente un componente che è molto diverso mentre ci stiamo spostando dall'auto ai robot
ambiente e quindi penso che meriti un po 'più di profondità e vorrei che i miei colleghi iniziassero a parlarne
ora straniero
Ciao a tutti, sono Felix, sono un ingegnere robotico nel progetto e parlerò di camminare
Sembra facile le persone giuste lo fanno ogni giorno che non devi nemmeno pensarci
Ma ci sono alcuni aspetti della camminata che sono impegnativi dalla prospettiva ingegneristica, ad esempio
Auto-consapevolezza fisica che significa avere una buona rappresentazione di te stesso qual è la lunghezza degli arti cosa è
La massa degli arti Qual è la dimensione dei piedi tutto ciò che conta anche un gate efficiente dal punto di vista energetico
Può immaginare che ci siano diversi stili di camminata e tutti sono ugualmente efficienti
La cosa più importante mantieni l'equilibrio non cade e ovviamente coordina anche il movimento
Di tutti i tuoi arti insieme così ora gli umani lo fanno tutto naturalmente ma come ingegneri o robot
pensare a questi problemi e se ti mostrerò come li affrontiamo nella nostra pianificazione e controllo della locomozione
impila così iniziamo con la pianificazione della locomozione e la nostra rappresentazione del legame che
indica il modello della dinamica cinematica del robot e le proprietà di contatto e l'uso di quel modello e il desiderato
Percorso per i robot Il nostro pianificatore di locomozione genera traiettorie di riferimento per l'intero sistema
Ciò significa traiettorie fattibili rispetto alle ipotesi del nostro modello
Il pianificatore attualmente lavora in tre fasi, inizia a pianificare passi e termina con l'intero sistema di foto di movimento
E tuffiamo un po 'più a fondo nel modo in cui funziona, quindi in questo video vediamo passi pianificati per la pianificazione
Horizon seguendo il percorso desiderato e iniziamo da questo e aggiungiamo quindi per
Traiettorie che collegano questi passi usando la punta e cedono lo sciopero proprio come fanno gli umani
E questo ci dà un passo più grande e una meno piega per il ginocchio per l'alta efficienza del sistema
L'ultima fase è quindi trovare un centro di traiettoria di massa che ci dà una commissione in modo dinamicamente fattibile del
intero sistema per mantenere l'equilibrio come tutti sappiamo che i piani sono buoni ma noi
devo anche renderli realizzati in realtà diciamo che sai come possiamo farlo
[Applause] Grazie Felix ciao a tutti il mio nome
Anand è e ti parlerò dei controlli, quindi prendiamo il piano di movimento che Felix
Ho appena parlato e mettilo nel mondo reale su un vero robot vediamo cosa succede
fa un paio di passi e cade bene, è un po 'deludente
Ma ci mancano alcuni pezzi chiave qui che lo faranno funzionare
Ora, come menzionato Felix, il planner di movimento sta usando una versione idealizzata di
stesso e una versione della realtà intorno a essa questo non è esattamente corretto
Esprime anche la sua intenzione attraverso traiettorie e chiavi dei rami di
forze e coppie che vuole esercitare sul mondo per locomote
La realtà è molto più complessa di qualsiasi modello simile anche il robot non lo è
semplificato ha il rumore del sensore di conformità vibrazioni e modalità e acceso
E su così cosa fa questo al mondo reale quando metti il bot nel mondo reale
Bene, le forze inaspettate causano dinamiche non modificate che essenzialmente il pianificatore non conosce e che
provoca destabilizzazione soprattutto per un sistema che è dinamicamente stabile come la locomozione bipetta
Quindi cosa possiamo fare bene, misuriamo la realtà usiamo i sensori e la nostra comprensione di
Il mondo a fare stima e status di stato per me qui puoi vedere l'atteggiamento e la posa del bacino che è
Essenzialmente il sistema vestibolare in un essere umano insieme al centro della traiettoria di massa viene monitorato quando il robot cammina
Nell'ambiente dell'ufficio ora abbiamo tutti i pezzi di cui abbiamo bisogno
Ordine di chiudere il ciclo in modo che utilizziamo il nostro modello di bot migliore, usiamo la comprensione della realtà
Abbiamo guadagnato attraverso la stima statale e confrontiamo ciò che vogliamo rispetto a ciò che ci aspettiamo la realtà che ci aspettiamo
La realtà ci sta facendo per aggiungere correzioni al comportamento del
robot qui il robot certamente non apprezza il fatto di essere colpito ma non lo fa
lavoro ammirevole di rimanere in posizione verticale il punto finale qui è un robot che
Le passeggiate non sono sufficienti, dovevamo usare le mani e le braccia per
Sii utile parliamo di manipolazione
[Applausi]
Ciao a tutti, mi chiamo Eric Robotics Engineer su Teslabot e voglio parlare
su come abbiamo reso il robot manipolare le cose nel mondo reale che volevamo manipolare gli oggetti mentre
sembrare il più naturale possibile e anche arrivarci rapidamente, quindi quello che abbiamo fatto è
Abbiamo suddiviso questo processo in due passaggi per primo è generare una libreria di riferimenti a movimento naturale o potremmo
Chiamali dimostrazioni e poi abbiamo adattato questi riferimenti di movimento online all'attuale situazione del mondo reale
Quindi diciamo che abbiamo una dimostrazione umana di raccogliere un oggetto che possiamo ottenerlo
Dimostrazione che viene visualizzata proprio qui come un mucchio di frame chiave che rappresentano le posizioni delle mani
I gomiti il busto possiamo mapparlo al robot usando la cinematica inversa e se raccogliamo un
Molti di questi ora abbiamo una biblioteca con cui possiamo lavorare, ma una singola dimostrazione non lo è
generalizzabile alla variazione nel mondo reale, ad esempio, funzionerebbe solo per una scatola in un molto particolare
posizione Quindi quello che abbiamo anche fatto è eseguire queste traiettorie di riferimento attraverso a
Programma di ottimizzazione della traiettoria che risolve dove dovrebbe essere la mano come il robot dovrebbe bilanciare
Durante UH quando deve adattare la mozione al mondo reale, quindi per esempio
Se la scatola si trova in questa posizione, il nostro ottimizzatore lo creerà
traiettoria invece il prossimo Milano parlerà di uh
Qual è il prossimo per Optimus Uh Tesla y grazie Larry
Bene, spero che ormai avete una buona idea di cosa abbiamo fatto negli ultimi mesi
Ehm Abbiamo iniziato a fare qualcosa di utilizzabile, ma è lungi dall'essere utile c'è ancora una strada lunga ed eccitante
davanti a noi um penso che la prima cosa nelle prossime settimane sia ottenere Optimus almeno
Par con Bumble C l'altro prototipo di bug che hai visto prima e probabilmente oltre lo faremo anche
Concentrarsi sul vero caso d'uso in una delle nostre fabbriche e cercherò davvero di provare a inchiodare questo e io finisco tutto
Gli elementi necessari per distribuire questo prodotto nel mondo reale che stavo menzionando prima
Um conosci la navigazione interna grazia per la gestione o persino la manutenzione di tutti
componenti necessari per ridimensionare questo prodotto ma um non so te ma dopo
Vedendo quello che abbiamo mostrato stasera sono abbastanza sicuro che possiamo farlo nei prossimi mesi o anni e faccio
Questo prodotto è una realtà e cambia l'intera economia, quindi vorrei ringraziare l'intero team Optimus per il duro
Lavora negli ultimi mesi, penso che sia piuttosto sorprendente che tutto ciò sia stato fatto in appena sei o otto mesi grazie
molto [applauso]
grazie hey a tutti
ciao sono Ashok, guido la squadra di autopiloti insieme a Milano dio, sta arrivando così duramente per superare quello
Sezione ottimale proverà comunque comunque
um ogni Tesla che è stato costruito negli ultimi anni che pensiamo abbia il
hardware per fare l'automobile da sola abbiamo lavorato sul software
Aggiungi livelli sempre più alti di autonomia questa volta l'anno scorso
Circa 2.000 auto che guidano il nostro software beta FSD da allora abbiamo significativamente
Migliorare il software come robustezza e capacità che ora lo abbiamo spedito a 160.000 clienti ad oggi
sì [applauso]
Questo non è arrivato gratuitamente, è venuto dal sudore e dal sangue del team di ingegneria nell'ultimo anno
Ad esempio abbiamo formato 75.000 modelli di rete neurale solo un anno che è
all'incirca un modello ogni otto minuti che sai che esce dal team e poi li valutiamo sul nostro grande
cluster e poi spediamo 281 di quei modelli che migliorano effettivamente le prestazioni dell'auto
e questo spazio di innovazione sta accadendo durante lo stack il software di pianificazione
infrastruttura Gli strumenti addirittura assumendo tutto sta progredendo al livello successivo
Il software beta FSG è abbastanza in grado di guidare l'auto da cui dovrebbe essere in grado di navigare
Parcheggio al parcheggio che gestisce il CDC che guida l'arresto per i semafori e i segnali di stop
negoziare con gli oggetti agli incroci che fanno giri e così via
Tutto questo deriva dai flussi di telecamere che passano attraverso le nostre reti neurali che funzionano sull'auto stessa è
Non tornare al server o qualsiasi cosa funziona sull'auto e produce tutti gli output per formare il modello mondiale
Intorno all'auto e il software di pianificazione guida l'auto in base a questo
Oggi entreremo in molti componenti che compongono il sistema che la rete di occupazione funge da base
strato di geometria del sistema questo è un video neurale multi-fotocamera
rete che dalle immagini prevede l'intera occupazione fisica del mondo intorno
il robot quindi tutto ciò che è fisicamente presente mura per alberi edifici per le pareti
Ti prevede se è presente specificamente, li prevede insieme al loro movimento futuro
In cima a questo livello di geometria base abbiamo più strati semantici per farlo
Naviga per le strade, ovviamente abbiamo bisogno dell'obiettivo, ma poi le strade hanno un sacco di
corsie diverse e si collegano in tutti i modi, quindi in realtà è un problema davvero difficile per il computer tipico
tecniche di visione per prevedere l'insieme di aerei e le loro connettività in modo che abbiamo raggiunto il linguaggio
Tecnologie e poi ha estratto lo stato dell'arte da altri settori e non solo per la visione per fare questo compito
possibile per i veicoli abbiamo bisogno del loro stato cinematico completo per controllarli
Tutto ciò proviene direttamente dai flussi video neurali neurali che i flussi di video RAW entrano nelle reti passano molto
di elaborazione e quindi emette lo stato cinematico completo che posiziona l'accelerazione di velocità che scatta tutto questo
esce direttamente dalle reti con elaborazione minima che è davvero affascinante per me perché come va
Questo anche possibile in quale mondo viviamo in quanto questa magia è possibile che queste reti prevedano il quarto
derivati di queste posizioni quando la gente pensava che non potessimo nemmeno rilevare questi oggetti
La mia opinione è che non è arrivato gratuitamente, ha richiesto tonnellate di dati, quindi avevamo un po 'sofisticato etichettatura automatica
Sistemi che brillano attraverso i dati del sensore grezzo eseguono una tonnellata di calcolo offline su
server che possono essere necessari alcune ore a costose reti neurali distillano le informazioni in etichette che allenano le nostre
reti neurali in auto oltre a questo utilizziamo anche il nostro sistema di simulazione per sinteticamente
Crea immagini e dal momento che è una simulazione, abbiamo banalmente tutte le etichette
Tutto ciò passa attraverso una pipeline del motore di dati ben oliato dove prima
Allena un modello di base con alcuni dati spediscilo all'auto, vedi quali sono i fallimenti e una volta conosci i guasti
estraiamo la flotta per i casi in cui non riesce a fornire le etichette corrette e aggiungiamo i dati al set di formazione
Questo processo risolve sistematicamente i problemi e lo facciamo per ogni attività che funziona in macchina
Sì e per formare queste nuove enormi reti neurali quest'anno abbiamo ampliato la nostra infrastruttura di formazione per approssimativamente
Dal 40 al 50 percento in modo che ci si sieda a circa 14.000 GPU oggi in più
I cluster di formazione negli Stati Uniti abbiamo anche lavorato al nostro compilatore AI che
ora supporta le nuove operazioni necessarie da quelle reti neurali e le mappano al meglio del nostro sottostante
Le risorse hardware e il nostro motore di inferenza oggi sono in grado di distribuire l'esecuzione di
una singola rete neurale su due sistemi indipendenti su navi essenzialmente due computer indipendenti interconnessi
All'interno del semplice computer a guida autonoma e per renderlo possibile dobbiamo mantenere uno stretto controllo sulla fine-to-end
Latenza di questo nuovo sistema, quindi abbiamo distribuito un codice di pianificazione più avanzato attraverso la piattaforma FSD completa
Tutte queste reti neurali in esecuzione nell'auto insieme producono lo spazio vettoriale che è di nuovo il modello del
Il mondo intorno al robot o all'auto e poi il sistema di pianificazione opera oltre questo in arrivo con traiettorie che
Evita le collisioni o fai un progresso regolare verso la destinazione utilizzando una combinazione di ottimizzazione basata sul modello
più la rete neurale che aiuta a ottimizzarla per essere molto veloce
Oggi siamo davvero entusiasti di presentare progressi su tutte queste aree in cui abbiamo i lead ingegneristici in piedi
Entra e spiega questi vari blocchi e questi alimentazione non solo l'auto, ma gli stessi componenti funzionano anche su Optimus
robot che Milano ha mostrato in precedenza che benvenuto il panel per iniziare a parlare della sezione di pianificazione
Ciao a tutti, sono parente articolare, usiamo questo scenario di intersezione
Ci immergiamo direttamente nel modo in cui facciamo la pianificazione e il processo decisionale nell'autopilota, quindi ci stiamo avvicinando a questo incrocio
da una strada laterale e dobbiamo cedere a tutti i veicoli di attraversamento mentre stiamo per entrare nel
incrocio il pedone dall'altra parte dell'incrocio decide di attraversare la strada
Senza un passaggio pedonale ora dobbiamo cedere a questo rendimento pedonale ai veicoli dalla destra e
Comprendere anche la relazione tra il pedone e il veicolo dall'altra parte dell'intersezione
Quindi molte di queste dipendenze intra-oggetti che dobbiamo risolvere in una rapida occhiata
E gli umani sono davvero bravi in questo guardiamo una scena comprendiamo tutte le possibili interazioni valutare di più
quelli promettenti e generalmente finiscono per sceglierne uno ragionevole
Quindi diamo un'occhiata ad alcune di queste interazioni che il sistema di pilota automatico ha valutato avremmo potuto andare di fronte a questo
pedone con un lancio molto aggressivo in un profilo laterale ora ovviamente siamo un coglione per il
Pedonale e avremmo spaventato il pedone e il suo grazioso animale domestico che avremmo potuto andare avanti lentamente corto
Per un divario tra il pedone o e il veicolo da destra di nuovo siamo un coglione per il veicolo
Venendo da destra, ma non dovresti rifiutare definitivamente questa interazione nel caso in cui questa sia solo un'interazione sicura disponibile
Infine, l'interazione che abbiamo finito per scegliere di rimanere lento inizialmente trova il ragionevole
Gap e poi finire la manovra dopo tutti gli agenti passano
Ora la valutazione di tutte queste interazioni non è banale soprattutto quando ti interessa la modellazione
i derivati di ordine superiore per altri agenti, ad esempio qual è il longitudinale
Serra richiesto dal veicolo proveniente da destra quando si afferma di fronte a esso affidandosi esclusivamente ai controlli di collisione con
Le previsioni modulari ti porteranno finora solo perché perderai molte interazioni valide
Questo sostanzialmente si riduce alla risoluzione di un problema di pianificazione della traiettoria articolare multi-agente sulle traiettorie dell'ego e
Tutti gli altri agenti ora quanto mai ottimizzi ci sarà un limite alla velocità con cui puoi
Esegui questo problema di ottimizzazione, sarà vicino all'ordine di 10 millisecondi anche dopo molte approssimazioni incrementali
Ora per una tipica affollata imprevedibile sinistra, dice che hai più di 20 oggetti ciascuno
Oggetto che ha più diverse modalità future Il numero di combinazioni di interazione rilevante farà esplodere
Noi il pianificatore deve prendere una decisione ogni 50 millisecondi, quindi come risolviamo questo in tempo reale
Facciamo affidamento su un framework ciò che chiamiamo ricerca di interazione che è fondamentalmente una ricerca parallelizzata su un mucchio di
traiettorie di manovra Lo spazio dello stato qui corrisponde allo stato cinematico dell'ego il cinematico
Stato di altri agenti le previsioni multiple multiple nominali e tutte le entità statiche nella scena
Lo spazio d'azione è dove le cose diventano interessanti usiamo una serie di traiettoria di manovra
candidati a ramificare per un sacco di decisioni interazionali e anche obiettivi incrementali per un lungo
Horizon Maneuver passiamo attraverso questa ricerca molto rapidamente per avere un'idea di come funziona
Iniziamo con una serie di misurazioni della visione, vale a
Estrazioni sparse e funzionalità latenti lo utilizziamo per creare un set di obiettivi
Candidati di nuovo corsie dalla rete di corsie o regioni non strutturate che corrispondono a
Una maschera di probabilità derivata da dimostrazioni umane una volta che abbiamo un sacco di oro
candidati creiamo traiettorie di semi usando una combinazione di approcci di ottimizzazione classica e il nostro
Pianificatore di rete di nuovo addestrato sui dati dal feed del cliente ora una volta che ne avremo un sacco di questi
traiettorie che le usiamo per iniziare a ramificarsi sulle interazioni troviamo l'interazione più critica
Nel nostro caso questa sarebbe l'interazione rispetto al pedone se lo affermiamo di fronte o ce la cediamo ad esso
Ovviamente l'opzione a sinistra è un'opzione di rigore elevata che probabilmente non avrà la priorità, quindi ci ramifichiamo ulteriormente
L'opzione a destra ed è qui che introduciamo interazioni sempre più complesse costruendo questa ottimizzazione
Problema in modo incrementale con sempre più vincoli e che la ricerca continua a fluire di ramificarsi su più interazioni
Su più obiettivi ora molti trucchi qui si trovano nella valutazione di ciascuno di questo nodo
della ricerca all'interno di ciascun nodo inizialmente abbiamo iniziato con la creazione
traiettorie che utilizzano approcci di ottimizzazione classica in cui i vincoli come ho descritto sarebbero aggiunti in modo incrementale
E questo richiederebbe da uno a cinque millisecondi per azione ora anche se questo è abbastanza buono
Numero quando si desidera valutare più di 100 interazioni, questo non si ridimensiona
Quindi abbiamo finito per costruire reti query leggero che puoi eseguire nel ciclo del pianificatore
Queste reti sono addestrate su manifestazioni umane dalla flotta e risolutori offline con limiti di tempo rilassati
Con questo siamo stati in grado di portare il runtime in fuga per chiudere 200 microsecondi per azione
Ora fare questo da solo non è abbastanza perché hai ancora questa enorme ricerca che devi andare
attraverso e devi potare in modo efficiente lo spazio di ricerca, quindi devi fare un punteggio Do su ciascuno
Di queste traiettorie poche di queste sono abbastanza standard, fai un sacco di controlli di collisione fai un sacco di analisi di comfort qual è il coglione e
effettivamente richiesto per una determinata manovra, i dati della flotta dei clienti svolgono di nuovo un ruolo importante qui
Eseguiamo due set di reti variabili di nuovo leggero che si aumentano davvero a vicenda da esse addestrate
Interventi dalla flotta beta FST che dà un punteggio sulla probabilità che sia una determinata manovra
Interventi nei prossimi secondi e secondi, il che è puramente sulle dimostrazioni umane Dati guidati dall'uomo
Un punteggio su quanto è vicina l'azione selezionata per una traiettoria guidata dall'uomo
Il punteggio ci aiuta a potare lo spazio di ricerca a continuare a ramificarne ulteriormente sulle interazioni e a concentrarsi il calcolo
i risultati più promettenti della parte interessante di questo
L'architettura è che ci consente di creare una miscela fresca tra approcci guidati da UH in cui tu
non è necessario fare affidamento su molti costi ingegnerizzati a mano, ma anche in realtà con controlli basati sulla fisica
ora molto di quello che ho descritto era rispetto agli agenti che potremmo osservare nella scena ma lo stesso
Framework si estende agli oggetti dietro le occlusioni, utilizziamo il feed video da otto telecamere
Per generare l'occupazione 3D del mondo la maschera blu qui corrisponde al
regione di visibilità che lo chiamiamo sostanzialmente viene bloccato al primo
occlusione che vedi nella scena consumiamo questa maschera di visibilità per generare ciò che chiamiamo oggetti fantasma che tu
può vedere in alto a sinistra ora se si modella le regioni spawn e le transizioni di stato di questo fantasma
Oggetti correttamente se si ottiene la tua risposta di controllo come un
funzione di quella probabilità di esistenza puoi estrarre alcuni comportamenti simili a umani davvero belli
Ora lo trasmetterò per riempire per descrivere di più su come generiamo queste reti di occupazione
hey ragazzi mi chiamo phil uh condividerò i dettagli della rete di occupazione che costruiamo nell'ultimo anno
Questa rete è la nostra soluzione per modellare il lavoro fisico in 3D attorno alle nostre auto e attualmente non è mostrata nella nostra
Visualizzazione che affronta i clienti e ciò che vedremo qui è l'output della rete stradale dal nostro strumento di sviluppo interno
La rete di occupazione prende flussi video di tutte le nostre 80 telecamere poiché l'input produce un singolo volumetrico unificato
Occupazione nello spazio vettoriale direttamente per ogni posizione 3D intorno alla nostra auto IT
prevede la probabilità che quel luogo sia occupato molto poiché ha contatti video.
capace di prevedere ostacoli istantaneamente
Per ogni posizione produce anche una serie di semantiche come il pedone del Curb Car
e detriti bassi come codice colore qui
Il flusso di occupazione è anche previsto per il movimento poiché il modello è una rete generalizzata
non dice oggetti statici e dinamici esplicitamente che è in grado di produrre e
Modella i movimenti casuali come l'allenatore swerving qui
Questa rete è attualmente in esecuzione in tutti i Teslas con computer FSD ed è
Fun incredibilmente efficiente circa ogni 10 millisecondi con il nostro acceleratore neurale
Quindi, come fa questo lavoro diamo un'occhiata all'architettura prima con cui correggiamo ogni immagine della fotocamera
La calibrazione della fotocamera e le immagini sono state mostrate qui sono state fornite alla rete in realtà non è
la tipica immagine RGB a 8 bit come puoi vedere dalle prime immagini in cima
Dare l'immagine dell'account fotografico RAW a 12 bit alla rete poiché ne ha quattro
bit più informazioni ha una gamma dinamica 16 volte migliore e ridotta
latenza poiché non abbiamo più l'ISP sbagliato in Adobe usiamo una serie di record e ritorno
Fps come spina dorsale per estrarre le immagini delle immagini funzionalità successivamente costruiamo un set di posizione 3D
Query insieme allo spazio IMG come chiavi e valori si adattano a un modulo di attenzione
L'output del modulo di attenzione è caratteristiche spaziali di alta dimensione
Queste caratteristiche speciali sono allineate temporaneamente utilizzando odometria del veicolo
Per derivare il movimento per ultimo, questa caratteristiche temporali spaziali vanno
Attraverso una serie di convoluzione D per produrre l'occupazione finale e l'uscita del flusso di occupazione
Si formano come grigio boxer di dimensioni fisse che potrebbe non essere abbastanza preciso per la pianificazione del controllo
Al fine di ottenere una risoluzione più elevata produciamo anche per mappe di funzionalità voxel che si alimenteranno in MLP con 3D Spatial
Domande puntuali per ottenere posizione e semantica in qualsiasi posizione arbitraria
Dopo aver conosciuto meglio il modello diamo un'occhiata a un altro esempio qui abbiamo un autobus articolato parcheggiato a destra
riga laterale evidenziata come pugile a forma di L qui mentre ci avviciniamo all'autobus
Spostare il blu La parte anteriore del carrello diventa blu prima indicando che il modello prevede che il bus frontale ha uno zero
Il flusso di occupazione e il bus S continua a muovere l'intero bus diventa blu
E puoi anche vedere che la rete prevede la curvatura precisa del bus
Bene, questo è un problema molto complicato per la tradizionale rete di rilevamento degli oggetti come devi vedere se lo farò
Usa un cuboide o forse un due per adattarsi alla curvatura ma per la rete di occupazione
Dal momento che tutto ciò che ci interessa è l'occupazione nello spazio visibile e saremo in grado di modellare la curvatura precisamente
Oltre al grado Voxel, la rete di occupazione produce anche una superficie abilitabile
La superficie drittabile ha sia geometria 3D che semantica, sono molto utili per il controllo soprattutto sulla guarigione
e strade curvy La superficie e il grigio voxel non sono previsti in modo indipendente invece
Voxel Grid in realtà si allinea con la superficie implicitamente eccolo qui a una ricerca di eroi in cui tu
può vedere la geometria 3D della superficie prevista bene
Il pianificatore può usare queste informazioni per decidere forse dobbiamo rallentare di più per Hillcrest e come puoi anche
vedere il voxel di grado in linea con la superficie costantemente
Oltre alla fonte della scatola e alla superficie siamo anche molto entusiasti della recente svolta nel campo delle letture neurali o
Nerf stiamo esaminando entrambi incorporare alcune delle caratteristiche del colore chiaro
Allenamento della rete di occupazione e utilizzo della nostra rete come stato di input per NERF
È un dato di fatto che Ashok è molto entusiasta di questo questo è stato il suo progetto di weekend personale per un po '
su questi nervi perché penso che il mondo accademico ne stia costruendo molti
Modelli di fondazione Uh per il linguaggio usando tonnellate di grandi set di dati per il linguaggio ma penso per i nervi della visione
forniranno i modelli di fondazione per la visione informatica perché sono radicati in geometria e geometria
ci dà un bel modo per supervisionare queste reti e il congelamento del requisito per definire un'ontologia e il
La supervisione è essenzialmente gratuita perché devi solo rendere differenzialmente queste immagini, quindi penso in futuro
Idea della rete di occupazione in cui si sa che le immagini arrivano e quindi la rete produce un coerente
Rappresentazione volumetrica della scena che può quindi essere resa in modo differenziale in qualsiasi immagine che è stata osservata i I
personalmente pensa che sia un futuro della visione artificiale e sai che facciamo un lavoro iniziale su di esso in questo momento ma io
Pensa in futuro sia a Tesla che nel mondo accademico vedremo che questi
La combinazione di previsione a un colpo di occupazione volumetrica sarà quella
La mia scommessa personale sessuale quindi ecco un esempio di primo risultato di a
Ricostruzione 3D dai nostri dati gratuiti invece di concentrarsi su come ottenere una perfetta riproiezione di RGB nello spazio di imaging nostro
L'obiettivo primario qui è rappresentare accuratamente lo spazio 3D di avvertimento per la guida e vogliamo farlo per tutti
I nostri dati gratuiti nel mondo in tutte le condizioni meteorologiche e di illuminazione e ovviamente questo è molto impegnativo
problema e stiamo cercando voi ragazzi per aiutare finalmente la rete di occupazione è addestrata
Con un set di dati di grande livello automatico senza essere umani nel ciclo e con ciò passerò a Tim per parlare
su ciò che serve per addestrare questa rete grazie a Phil
[Applauso] Va bene, hey tutti parliamo di un po 'di formazione
infrastruttura così abbiamo visto un paio di video che conosci quattro o cinque uh credo e ti preoccupi
più e preoccuparti di più su molte più clip su questo, quindi abbiamo guardato
Le reti di occupazione solo da Phil riempono solo i video che ci vogliono 1,4 miliardi
frame per addestrare quella rete ciò che hai appena visto e se hai centomila GPU Uh ci vorrebbe un'ora
Ma se hai Uh una GPU ci vorrebbero centomila ore, quindi non lo è
Un periodo di tempo umano che puoi aspettare che il tuo lavoro di formazione funzioni bene, vogliamo spedire più velocemente di così in modo che
significa che dovrai diventare parallelo, quindi hai bisogno di un calcolo più per questo significa che avrai bisogno di un
Supercomputer Quindi è per questo che abbiamo costruito tre supercomputer in casa
di 14.000 GPU in cui utilizziamo 10.000 GPU per l'allenamento e circa quattromila
GPU per l'etichettatura automatica Tutti questi video sono archiviati in 30 petabyte di un video gestito distribuito
cache non dovresti pensare ai nostri set di dati come fissa, diciamo che pensi al tuo
ImageNet o qualcosa che conosci come un milione di cornici dovresti pensarlo come una cosa molto fluida, quindi abbiamo un
Mezzo milione di questi video che scorre dentro e fuori da questo cluster questi cluster ogni singolo giorno
e tracciamo 400 000 di questo tipo di istanziazioni video Python ogni secondo
Quindi sono molte chiamate che avremo bisogno di catturarlo per governare le politiche di conservazione di questo
cache video distribuita così alla base di tutto questo è un'enorme quantità di infra tutti i quali costruiamo e gestiamo
internamente così non puoi semplicemente comprarti conosciuto 40 000
GPU e poi 30 petabyte di flash mvme e lo mettono insieme e andiamo ad allenarci in realtà ci vogliono molto
Lavora e ci entrerò un po 'quello che in realtà in genere vuoi fare è che vuoi prendere il tuo acceleratore così
che potrebbe essere la GPU o il dojo di cui parleremo più tardi e perché è il più costoso
componente È qui che vuoi mettere il collo di bottiglia e questo significa che ogni singola parte del tuo sistema è
dovrà sovraperformare questo acceleratore e quindi è davvero complicato
significa che la tua memoria dovrà avere le dimensioni e la larghezza di banda per consegnare tutti i dati nei nodi
Questi nodi devono avere la giusta quantità di CPU e capacità di memoria per alimentare l'apprendimento automatico
framework Questo framework di apprendimento automatico deve quindi consegnarlo alla tua GPU e quindi puoi iniziare ad allenarti ma poi tu
devi farlo su centinaia o migliaia di GPU in modo affidabile
Logstap e in un modo che è anche veloce, quindi avrai anche bisogno di un'interconnessione estremamente complicata parleremo di più
A proposito di Dojo in un secondo, quindi prima voglio portarti da alcuni
Ottimizzazioni che abbiamo fatto sul nostro cluster, quindi stiamo ottenendo molti video e
Il video è molto diverso da diciamo l'allenamento su immagini o testo che penso sia un video molto ben consolidato sia abbastanza
Letteralmente una dimensione più complicata e quindi è per questo che dovevamo andare fine
Per terminare dal livello di archiviazione fino all'acceleratore e ottimizzare ogni singolo pezzo perché ci alleniamo sul conteggio dei fotoni
video che provengono direttamente dalla nostra flotta che alleniamo direttamente su quelli che non pubblichiamo affatto quelli
Il modo in cui è appena fatto è che cerchiamo esattamente ai frame che selezioniamo per il nostro lotto cariciamo quelli inclusi il
cornici da cui dipendono, quindi questi sono i tuoi iframes o i tuoi frame chiave confezionarli
memoria spostali in una doppia barra dalla GPU e quindi usa il decodificatore hardware che è solo accelerato
In realtà decodifica il video, quindi lo facciamo in modo nativo sulla GPU e questo è tutto in un'estensione molto bella di Python Pytorch
facendo così sbloccato più di 30 aumento della velocità di allenamento per le reti di occupazione e liberato praticamente un insieme
CPU per fare qualsiasi altra cosa um non puoi semplicemente fare allenamenti con
Video ovviamente hai bisogno di una sorta di verità di terra uh e uh che in realtà è un problema interessante anche il
Obiettivo per conservare la verità della tua terra è che vuoi assicurarti di arrivare alla tua verità di terra di cui hai bisogno in
quantità minima di operazioni di file system e carico nella dimensione minima di ciò che hai bisogno per ottimizzare per l'aggregato
throughput del cluster incrociato perché dovresti vedere un cluster di calcolo come un grande dispositivo che è stato risolto internamente
vincoli e soglie, quindi per questo abbiamo lanciato un formato che
è originario di noi che si chiama piccolo, lo usiamo per la nostra verità di terra la nostra cache di funzionalità e qualsiasi output di inferenza
Quindi molti tensori che sono lì e quindi solo il cartone animato qui diciamo che questi sono il tuo uh è il tuo tavolo che tu
voglio riporre allora è così che sarebbe così se fossi lanciato sul disco, quindi quello che fai è prendere qualsiasi cosa tu faresti
Vuoi indicizzare, ad esempio, i timestamp video metti tutti quelli nell'intestazione in modo che nell'intestazione iniziale
Leggi che sai esattamente dove andare sul disco, quindi se hai dei tensori, proverai a trasporre il
Dimensioni per mettere duramente una dimensione diversa come dimensione contigua e quindi provare anche diversi tipi di
Compressione quindi controlli quale era più ottimale e quindi memorizzi quello che è in realtà un passo enorme se lo fai
Funzionalità di memorizzazione nella memorizzazione nella memorizzazione nella cache dell'intelligibile output dalla rete di apprendimento automatico ruotare attorno al
Dimensioni un po 'puoi ottenere fino a 20 aumento dell'efficienza dello spazio di archiviazione, quindi quando lo memorizziamo
ordinato le colonne per dimensioni in modo che tutte le piccole colonne e i piccoli valori siano insieme in modo che quando cerchi un
Valore singolo che probabilmente si sovrappongono con una lettura su più valori che utilizzerai in seguito in modo da non dover fare
Un'altra operazione di file system in modo che potessi continuare e ho continuato
su due progetti che abbiamo internamente, ma questo fa effettivamente parte di un enorme sforzo continuo per ottimizzare il
calcola che abbiamo internamente accumulando e aggregando attraverso tutte queste ottimizzazioni ora alleniamo le nostre
Reti di occupazione due volte più velocemente solo perché è due volte più efficiente e ora se aggiungiamo un sacco di calcolo e vai
parallelo non possiamo addestrarlo in ore anziché in giorni e con ciò mi piacerebbe consegnarlo
Il più grande utente di Calcol John
Ciao a tutti, mi chiamo John Emmons, guido il team di Vision AutoPilot, coprirò due argomenti con te
Oggi il primo è come prevediamo le corsie e il secondo è come prevediamo il comportamento futuro di altri agenti sulla strada
All'inizio del pilota automatico abbiamo modellato il problema di rilevamento della corsia come attività di segmentazione istantanea dello spazio delle immagini
La nostra rete era super semplice anche se in realtà era in grado di stampare corsie da alcuni diversi tipi di
Geometrie specificamente segmentare la corsia di aquila potrebbe segmentare adiacente
corsie e poi aveva un involucro speciale per le forcelle e unisce questa modellazione semplicistica del problema
ha lavorato per strade altamente strutturate come le autostrade ma oggi stiamo cercando di costruire un sistema
Questo è in grado di fare manovre molto più complesse in particolare che vogliamo fare le curve a destra sugli incroci
dove la topologia stradale può essere un po 'più complessa e diversificata quando proviamo ad applicare questa modellazione semplicistica del
problema qui si rompe totalmente facendo un passo indietro per un momento cosa
Stiamo cercando di fare qui è prevedere il set di scintili di istanze zoppi nella loro connettività e quello che vogliamo fare è avere un
rete neurale che prevede sostanzialmente questo grafico in cui i nodi sono i segmenti di corsia e i bordi codificano il
Connettività tra queste corsie, quindi quello che abbiamo è il rilevamento della nostra corsia
rete neurale è composta da tre componenti nel primo componente abbiamo una serie di
strati convoluzionali strati di attenzione e altri livelli di rete neurale che codificano i flussi video dai nostri otto
telecamere sul veicolo e produce una ricca rappresentazione visiva
Miglioriamo quindi questa rappresentazione digitale con una grossa mappa dei livelli di mappa di roadmap con cui codifichiamo
Un insieme di ulteriori livelli di rete neurale che chiamiamo il modulo di orientamento corsia questa mappa non è una mappa HD ma è
Fornisce molti suggerimenti utili sulla topologia delle corsie all'interno delle intersezioni che le corsie contano su varie strade e una serie di altri attributi che
Aiutaci i primi due componenti qui hanno prodotto un
tensore denso che codifica il mondo, ma quello che vogliamo davvero fare è convertire questo denso tensore in un
Set intelligente di corsie nelle loro connettività affrontiamo questo problema come un'immagine
Attività di didascalia in cui l'input è questo tensore denso e il testo di output è previsto in un linguaggio speciale che
Ci siamo sviluppati a Tesla per codificare le corsie nelle loro connettività in questo linguaggio di corsie le parole e
I token sono le posizioni della corsia nello spazio 3D nell'ordinamento dei token introdotti modificatori nei token
codificare le relazioni connettive tra queste corsie modellando l'attività come lingua
problema che possiamo capitalizzare su recenti architetture e tecniche autoregressive della comunità linguistica per gestire il multiplo
Modalità del problema Non stiamo solo risolvendo il problema della visione artificiale nell'autopilota, stiamo anche applicando lo stato dell'arte e
Modellistica linguistica e apprendimento automatico più in generale ora mi immergerò un po 'più in dettaglio questa componente linguistica
Quello che ho rappresentato sullo schermo qui è l'immagine satellitare che rappresenta l'area locale intorno al
Veicolo Il set di bordi di Nosing è ciò che chiamiamo il grafico della corsia ed è in definitiva ciò che vogliamo uscire da questo neurale
Network Iniziamo con una lavagna vuota che vorremmo fare il nostro primo
Previsione qui a questo punto verde questa posizione di punti verdi è codificata come
Un indice in una griglia del corso che discreti il mondo 3D ora non prevediamo direttamente questo indice
Perché sarebbe troppo costoso da fare, quindi ci sono troppi punti della griglia e prevedere un categorico
La distribuzione su questo ha sia implicazioni al momento della formazione che nel tempo di prova, quindi invece ciò che facciamo è distrustare il
Il mondo è grossolano per primo prevediamo una mappa di calore nelle possibili posizioni e poi ci aggrappiamo nella posizione più probabile
Su questo perfezioniamo quindi la previsione e otteniamo il punto preciso
Ora sappiamo dove è la posizione di questo token non conosciamo il suo tipo in questo caso, anche se è l'inizio di un nuovo
Corsia quindi ci avviciniamo a un tochen iniziale e perché è un token a stella non c'è NON
Attributi aggiuntivi nella nostra lingua, quindi prendiamo le previsioni da questo primo passaggio in avanti e le codifichiamo
Utilizzando un incorporamento aggiuntivo appreso che produce una serie di tensori che combiniamo insieme
che in realtà è la prima parola nella nostra lingua di corsie, lo aggiungiamo alla prima posizione di You Know nella nostra frase qui
Continuiamo quindi questo processo stampando il punto di corsia successivo in modo simile
Ora questo punto di corsia non è l'inizio di una nuova corsia è in realtà una continuazione della corsia precedente
Quindi è un tipo di token di continuazione ora non è abbastanza solo saperlo
Questa corsia è collegata al piano precedentemente protetto che vogliamo codificare la sua geometria precisa che facciamo
Regredire un insieme di coefficienti spline, quindi prendiamo questa corsia codifichiamo
Ancora una volta e aggiungilo come la parola successiva nella frase continuiamo a prevedere queste corsie di continuazione fino a quando non arriviamo al
Fine della griglia di previsione, quindi passiamo a un segmento di corsia diverso in modo da poter vedere quel ciano punta lì ora
Non è topologicamente connesso a quel punto rosa, in realtà si sta birzando di quel blu scusa quel verde
punta lì in modo che abbia un tipo di forchetta e token fork
in realtà punta indietro ai token precedenti da cui origina la forcella in modo da te
può vedere qui il predittore del punto fork è in realtà l'indice zero, quindi in realtà si riferisce ai token che è già previsto come faresti
linguamo continuiamo più e più volte questo processo fino a quando non abbiamo elencato tutto il
token nel grafico del ling e quindi la rete prevede la fine del token di frase
sì, voglio solo notare che il motivo per cui lo facciamo non è solo perché vogliamo costruire qualcosa di complicato
Quasi sembra una macchina completa di Turing qui con reti neurali, tuttavia è che abbiamo provato semplici approcci per
Esempio Uh che cerca di segmentare le corsie lungo la strada o qualcosa del genere, ma poi il problema è quando
C'è incertezza dire che non puoi vedere la strada chiaramente e potrebbero esserci due corsie o tre corsie e non puoi dirlo
Un semplice approccio basato sulla segmentazione trarrebbe entrambi entrambi è una specie di situazione di corsia di 2,5 e il
L'algoritmo post elaborazione fallirebbe esilarante quando le previsioni sono così sì, i problemi non finiscono qui intendo
È necessario prevedere queste condizioni connettive come queste corsie connettive all'interno delle intersezioni che non è possibile con l'approccio che
La menzione di Ashok, ed è per questo
Sai metterli su livelli separati È solo un problema davvero difficile quale lingua offre solo una struttura davvero piacevole per ottenere moderni
campione da un posteriore invece di sapere che prova a fare tutto questo in post-elaborazione
Ma questo in realtà non si ferma per il solo pilota automatico a destra John Questo può essere usato di nuovo per Optimus, sai che immagino che non lo sarebbero
Chiamate corsie ma potresti immaginare di sapere in questo modo in questo tipo di fase qui che potresti avere una sorta di percorsi che in qualche modo tu sappia codificare il possibile
Luoghi che le persone potrebbero camminare sì, è fondamentalmente se sei in una fabbrica o in un ambiente di casa tu conosci
Puoi solo chiedere al robot ok, lasciami, per favore, parla con la cucina o per favore instrada in una posizione in fabbrica
E poi prevediamo una serie di percorsi che vorresti che attraversate i corridoi prendi il robot e dico questo
è il modo in cui arrivi in cucina ci dà davvero un bel framework per modellare questi diversi percorsi che semplificano il problema di navigazione o
Pianificatore a valle va bene così alla fine da ciò che otteniamo
Questa rete di rilevamento di corsie è un insieme di corsie nelle loro connettività che provengono direttamente dalla rete c'è
Nessun ulteriore passo qui per semplificare questi, conosci previsioni dense in quelle indisperse
Questo è solo un output diretto non filtrato della rete
ok, quindi ho parlato un po 'di corsie che toccherò brevemente il modo in cui modelliamo e prevediamo i percorsi futuri
Altra semantica sugli oggetti, quindi vado molto rapidamente attraverso due esempi sul video sul
Proprio qui abbiamo un'auto che sta effettivamente gestendo una luce rossa e che si gira davanti a noi ciò che facciamo per gestire
Situazioni come questa sono prevediamo una serie di traiettorie future di breve orizzonte su tutti gli oggetti che possiamo usare
Questi per anticipare la situazione pericolosa qui e applicare qualunque cosa tu sappia che la frenata e lo sterzo sono necessarie per evitare una collisione
Nel video a destra ci sono due veicoli davanti a noi quello sulla corsia di sinistra è parcheggiato apparentemente
Essere caricato scaricato Non so perché l'autista abbia deciso di parcheggiare lì, ma l'importante è che la nostra rete neurale ha previsto che fosse fermato
che è il colore rosso lì em il veicolo nell'altra corsia come noti è fermo ma quello
Ovviamente solo aspettando che quella luce rossa diventi verde, quindi anche se entrambi gli oggetti sono fermi e hanno una velocità zero è la semantica che è
davvero importante qui in modo da non rimanere bloccati dietro quella macchina goffamente parcheggiata
Prevedere tutti questi attributi agenti presenta alcuni problemi pratici quando si cerca di costruire un sistema in tempo reale
Dobbiamo massimizzare la frequenza dei frame del nostro stack della sezione oggetti in modo che il pilota automatico possa reagire rapidamente all'ambiente in evoluzione
Ogni millisecondo conta davvero qui per ridurre al minimo la latenza dell'inferenza La nostra rete neurale è divisa in due fasi
Nella prima fase abbiamo identificato le posizioni nello spazio 3D in cui esistono agenti
Nella seconda fase, quindi estraggiamo i tensori in quelle posizioni 3D lo aggiungono dati aggiuntivi che si trovano sul
veicolo e poi sappiamo che eseguono il resto dell'elaborazione Questa fase di specifica consente il
Neural Network per focalizzare calcolare le aree che contano di più, il che ci offre prestazioni superiori per una frazione del costo della latenza
Quindi mettere tutto insieme lo stack della visione del pilota automatico prevede più della semplice geometria e cinematica di
Il mondo prevede anche una serie ricca di semantica che consente una guida sicura e umana
Non ho intenzione di passare le cose in strada ci diremo come gestiamo tutte queste fantastiche reti neurali sul nostro computer FSD grazie
[Applausi]
ciao a tutti sono sri oggi, darò a dare un'occhiata a ciò che serve per gestire queste reti FSC in
auto e come possiamo ottimizzare per la latenza dell'inferenza UH oggi mi concentrerò solo sul
Rete di corsie fsg di cui John ha appena parlato
Quindi, quando hai iniziato questa traccia, volevamo sapere se possiamo eseguire questa rete di corsie FSC in modo nativo sul motore di viaggio
Che è il nostro acceleratore di rete neurale interna che abbiamo costruito nel computer FSD
Quando costruiamo questo hardware lo abbiamo mantenuto semplice e ci siamo assicurati che potesse farlo
cosa ridicolmente veloce dei prodotti a punta ma questa architettura è automatica
regressivo e iterativo in cui scricchiola attraverso i blocchi di attenzione multipla nel circuito interno
produrre punti sparsi direttamente ad ogni passo, quindi la sfida qui era come
Possiamo fare questa previsione del punto di analisi e il calcolo sparso su un motore di prodotto a punto denso vediamo come abbiamo fatto questo
Durante il viaggio in modo che la rete preveda la mappa di calore di
Posizioni spaziali più probabili del punto ora facciamo un max arc e uno
Operazione cardiaca che fornisce la codifica dura dell'indice della posizione spaziale
Ora dobbiamo selezionare l'incorporamento associato a questo indice da una tabella di incorporamento che viene appreso durante
Formazione per fare questo in viaggio Abbiamo effettivamente costruito un tavolo da ricerca in SRAM e abbiamo progettato
Le dimensioni di questo incorporamento in modo tale da poter ottenere tutto questa cosa con la moltiplicazione della matrice
Non solo che volevamo anche archiviare questo incorporamento in una cache token così
che non lo ricomputiamo per ogni iterazione piuttosto che per riutilizzarlo per la previsione dei punti futuri di nuovo ne abbiamo tirato un po '
Trucchi qui in cui abbiamo fatto tutte queste operazioni proprio sul motore DOT Product È davvero bello che il nostro team
Ho trovato modi creativi per mappare tutte queste operazioni sul motore di viaggio in modi
Non erano nemmeno immaginati quando questo hardware è stato progettato, ma non è l'unica cosa che dobbiamo fare
fare per fare questo lavoro abbiamo effettivamente implementato molte operazioni e funzionalità per creare questo modello
Compilabile per migliorare l'accuratezza dell'assunzione e per ottimizzare le prestazioni
Tutte queste cose ci hanno aiutato a gestire il modello di parametri 75 milioni poco meno di 10
millisecondi di latenza che consuma solo 8 watt di potere
Ma questa non è l'unica architettura che corre nell'auto ci sono così tanti altri moduli e reti di architetture
Dobbiamo correre in macchina per dare un senso di scala ci sono circa un miliardo di parametri di tutte le reti
combinato producendo circa 1000 segnali di rete neurale, quindi dobbiamo assicurarci
Li ottimizziamo congiuntamente e tale che massimizziamo il calcolo
Utilizzo throughput e minimizzare la latenza in modo da costruire un compilatore solo per neurale
reti che condividono la struttura ai compilatori tradizionali come puoi vedere richiede il massiccio
Grafico delle reti neurali con 150k nodi e 375k Connection prende questa cosa
li divide in sottgrafi indipendenti e COM costringe ciascuno di questi
I sottografici in modo nativo per i dispositivi di inferenza, quindi abbiamo una rete neurale
Linker che condivide la struttura al linker tradizionale in cui eseguiamo questa ottimizzazione del tempo di collegamento
Lì risolviamo un problema di ottimizzazione offline per la memoria di calcolo e la memoria
vincoli di larghezza di banda in modo che sia fornito con un programma ottimizzato che viene eseguito in macchina
In runtime abbiamo progettato un sistema di pianificazione ibrido che fondamentalmente lo fa
Pianificazione eterogenea su un SOC e programmazione distribuita su entrambi i SOC per eseguire queste reti in un modello
modo parallelo per ottenere 100 gocce di utilizzo del calcolo dobbiamo ottimizzare in tutto il
livelli di software direttamente dalla messa a punto dell'architettura di rete il compilatore tutto
il modo per implementare un collegamento RDMA a bassa latenza ad alta latenza tra entrambi gli SRC e in effetti andare ancora più in profondità
Comprendere e ottimizzare la cache percorsi di dati coerenti e non coerenti dell'acceleratore nel SOC, questo è molto
di ottimizzazione ad ogni livello al fine di assicurarci di ottenere la frequenza fotogramma più alta e come conta ogni millisecondo
Qui e questo è solo questo è il
Visualizzazione delle reti neurali che stanno correndo nell'auto questo è il nostro cervello digitale essenzialmente come puoi vedere
Queste operazioni non sono altro che solo la convoluzione della moltiplicazione della matrice per nominare alcune operazioni reali che funzionano in macchina
Per addestrare o formare questa rete con un miliardo di parametri hai bisogno di molti dati etichettati, quindi Aegon parlerà
su come possiamo raggiungere questo obiettivo con la pipeline di etichettatura automatica
Grazie, grazie Sherry
Uh ciao a tutti sono Jurgen Zhang e sto conducendo una visione geometrica al pilota automatico
Quindi sì, parliamo di etichettatura automatica
Quindi abbiamo diversi tipi di tutti i framework di etichettatura per supportare vari tipi di reti ma oggi mi piacerebbe
Concentrati sulla rete fantastica delle corsie qui in modo da addestrare e generalizzare con successo
Questa rete a ovunque pensiamo di aver fatto decine di milioni di viaggi
probabilmente un milione di incrocio o anche di più
allora come farlo, quindi è certamente realizzabile fare sufficiente
importo di viaggi perché abbiamo già come Tim ha spiegato in precedenza abbiamo già 500.000 viaggi al giorno di cassa
Tuttavia, la conversione di tutti questi dati in un modulo di formazione è un problema tecnico molto impegnativo
Per risolvere questa sfida abbiamo provato vari modi di etichettatura manuale e automatica
La prima colonna alla seconda dal secondo al terzo ogni anticipo ci ha fornito un miglioramento di quasi 100 volte
throughput ma ancora Uh abbiamo vinto una macchina per l'etichettatura automatica ancora migliore in grado di fornire
fornire ai fornitori di buona qualità di diversità e scalabilità
Per soddisfare tutti questi requisiti UH nonostante l'enorme quantità di sforzi ingegneristici richiesti qui abbiamo sviluppato un
Macchina di etichettatura del nuovo ordine alimentato dalla ricostruzione multi-trib in modo che ciò possa sostituire 5 milioni di ore di
Etichettatura manuale con sole 12 ore su cluster per l'etichettatura di 10.000 viaggi
Quindi come abbiamo risolto ci sono tre grandi passaggi Il primo passo è la traiettoria di precisione elevata e il recupero della struttura da
Odometria inerziale visiva multi-fotocamera, quindi qui tutte le caratteristiche tra cui la superficie del terreno sono dedotte dai video
dalle reti neurali quindi monitorate e ricostruite nello spazio vettoriale
Quindi il tipico tasso di deriva di questa traiettoria in auto è come 1,3 centimetro
per metro e 0,45 milli radiano per metro, il che è abbastanza decente considerando il suo calcolo compatto
Requisiti rispetto al servizio di recupero e i dettagli grezzi sono anche usati come un forte
Guida per la fase di verifica manuale successiva Questo è abilitato anche in ogni FSD
veicolo così otteniamo traiettorie e strutture pre-elaborate insieme ai dati di viaggio
Il secondo passo è la ricostruzione multi-2 che è il pezzo grande e fondamentale di questa macchina
Quindi il video mostra come il viaggio precedentemente mostrato viene ricostruito e allineato
con altri viaggi fondamentalmente altri viaggi di persone diverse non lo stesso veicolo, quindi questo viene fatto da più
Passaggi Internet come allineamento del corso Ottimizzazione dell'articolazione in coppia, quindi ulteriore perfezionamento della superficie
Alla fine entra l'analista umano e finalizza l'etichetta
Quindi ogni passo felice è già completamente parallelizzato sul cluster in modo che il
L'intero processo di solito richiede solo un paio d'ore
L'ultimo passo è in realtà etichettare automaticamente i nuovi viaggi così
Qui utilizziamo lo stesso motore di allineamento multi-Trip ma solo tra la ricostruzione pre-costruita e ogni nuova
viaggio, quindi è molto più semplice che ricostruire completamente tutte le clip
Ecco perché ci vogliono solo 30 minuti per viaggio ad altre etichette anziché manuale
diverse ore di etichettatura manuale e questa è anche la chiave della scalabilità
di questa macchina questa macchina si ridimensiona facilmente finché noi
avere i dati di calcolo e di viaggio disponibili, quindi circa 50 alberi erano di recente ordine
etichettati da questa scena e alcuni di essi sono mostrati qui così 53 da veicoli diversi
Quindi è così che catturiamo e trasformiamo le fette spaziali del mondo in
La supervisione della rete sì, una cosa che mi piace notare è che di nuovo ho appena parlato di come siamo auto
Etichetta le nostre corsie ma abbiamo operai auto per quasi tutti i compiti che facciamo tra cui il nostro pianificatore e molti di
Questi sono completamente automatici come nessun umano coinvolto, ad esempio per oggetti o altre cinematiche, le forme loro
Futures, tutto viene solo dall'etichettatura automatica e lo stesso vale anche per l'occupazione e abbiamo davvero solo
Costruito una macchina attorno a questo sì, quindi se puoi tornare indietro, non una diapositiva
Dice parallelizzato su cluster in modo che sembri piuttosto semplice ma
Non era davvero um forse è divertente condividere come qualcosa del genere accade su UM, quindi qualche tempo fa non ne avevamo nessuno
L'etichettatura automatica e poi qualcuno fa uno script, inizia a funzionare, inizia a funzionare meglio fino a raggiungere un
volume piuttosto alto e abbiamo chiaramente bisogno di una soluzione e quindi c'erano altri due ingegneri in
Il nostro team che era come tu sappia che è interessante che tu conosci la cosa di ciò che dovevamo fare era costruire un intero grafico di
Essenzialmente le funzioni di Python che dobbiamo farne uno dopo l'altra prima tiri la clip, quindi fai un po 'di pulizia, poi lo fai
Qualche inferenza di rete quindi un'altra inferenza di rete fino a quando non si ottiene finalmente, ma quindi devi farlo come un
su larga scala, quindi così dico loro che probabilmente dobbiamo sparare perché conosci 100.000 clip al giorno o come 100.000 articoli
Sembra buono e così gli ingegneri dicono bene che possiamo farti sapere un po 'di postgre e un po'
di grasso del gomito possiamo farlo nel frattempo siamo un po 'più tardi e stiamo facendo 20
milioni di queste funzioni ogni singolo giorno di nuovo attiriamo circa mezzo milione
Clip e su coloro che gestiamo un sacco di funzioni ognuna di queste in modo streaming e quindi è una specie di schiena
End infra che è anche necessario non solo eseguire l'allenamento, ma anche l'etichettatura automatica sì, è davvero come una fabbrica che
produce etichette e come linee di produzione producono l'inventario di qualità uh come tutti gli stessi concetti applicati a questo
Etichetta Factory Uh che vale per te conosci la fabbrica per le nostre auto che è giusta
ok uh grazie uh quindi sì, quindi concludere
Questa sezione, vorrei condividere alcuni esempi più impegnativi e interessanti per la rete di sicuro e addirittura
Per gli umani probabilmente uh, quindi dall'alto ci sono esempi per la mancanza di bugie o una notte nebbiosa o la rotonda
e occlusioni da pesanti occlusioni da parte di auto parcheggiate e persino notte piovosa con le loro gocce di pioggia su obiettivi della telecamera uh
Questi sono impegnativi, ma una volta che le loro scene originali sono completamente ricostruite da altre clip che possono essere tutte
Auto etichettata in modo che le nostre carte possano guidare ancora meglio attraverso questi scenari impegnativi
Quindi ora lasciami passare il microfono a David per saperne di più su come Sim sta creando il nuovo mondo in cima a queste etichette grazie
Voi
Grazie ancora mi chiamo David e parlerò di simulazione, quindi la simulazione svolge un ruolo fondamentale in
Fornire dati difficili da procurarsi e o difficile da etichettare, tuttavia le scene 3D sono notoriamente lente
per produrre prese ad esempio la scena simulata che gioca dietro di me a
Incrocio complesso da Market Street a San Francisco ci vorrebbero due settimane per
artisti da completare e per noi è dolorosamente lento, ma parlerò di usare
Le etichette di verità automatizzate di Jaegan insieme ad alcuni strumenti nuovi di zecca che ci consentono di generare proceduralmente questo
Scena e molti piace in soli cinque minuti che è un migliaia di volte più veloce di prima
Quindi immergiamoti sulla nostra scena in questo modo che questo sia creato, iniziamo con le vesche automatizzate
Etichette della verità nei nostri strumenti simulati del Creatore mondiale all'interno del software Houdini a partire dal confine stradale
etichette possiamo generare una rete stradale solida e ri-topologizzare con le etichette del grafico corsia questo aiuta a informare una strada importante
Dettagli come Crossroads Inclope e Mestiame di materiale dettagliato
Successivamente possiamo utilizzare i dati di linea e spazzare la geometria sulla sua superficie e proiettarla sulla strada creando la vernice corsia
decalcomanie successivamente usando i bordi mediani possiamo generare
Geometria dell'isola e popolarla con fogliame randomizzato questo cambia drasticamente la visibilità della scena
Ora il mondo esterno può essere generato attraverso una serie di euristiche randomizzate un generazione di edifici modulari
Crea ostruzioni visive mentre oggetti posizionati casualmente come gli idranti possono cambiare il colore delle curve mentre
Gli alberi possono far cadere le foglie al di sotto di esso oscurando linee o bordi
Successivamente possiamo portare i dati della mappa per informare le posizioni di cose come il semaforo o i segnali di stop che possiamo tracciare
è normale raccogliere informazioni importanti come il numero di corsie e persino ottenere nomi di strada accurati sul
Segni stessi successivamente usando il grafico corsia possiamo determinare la connettività corsia e spawn direzionale
Segni stradali sulla strada e stanno accompagnando i segnali stradali e infine con il grafico corsia stesso
può determinare l'adiacenza della corsia e altre metriche utili per generare simulatore insider per permutazioni del traffico randomizzato
E ancora questo è tutto automatico nessun artisti nel ciclo e si verifica in pochi minuti e ora questo ci prepara a fare
Alcune cose piuttosto interessanti poiché tutto si basa su dati ed euristica possiamo iniziare a sfuggire
Parametri per creare variazioni visive della verità a base singola può essere sottile come il posizionamento degli oggetti e casuali
Scambio di materiali a cambiamenti più drastici come biomi completamente nuovi o posizioni dell'ambiente come Urban
Suburbano o rurale questo ci consente di creare permutazioni mirate infinite per specifiche
Verità di terra per cui abbiamo bisogno di più verità di terra e tutto ciò accade all'interno di un clic di a
Button e possiamo anche fare un ulteriore passo avanti modificando la nostra verità di terra
stesso dice che John vuole che la sua rete prestasse più attenzione ai segni di strada direzionale
Per rilevare meglio un'imminente corsia di svolta a sinistra in cattività possiamo iniziare a modificare proceduralmente il nostro grafico corsia all'interno
il simulatore per aiutare le persone a creare flussi completamente nuovi attraverso questo incrocio per aiutare
Concentrati l'attenzione della rete sui segni stradali per creare previsioni più accurate e questo è un ottimo esempio di come questo
Gli strumenti ci consentono di creare nuovi dati che non potrebbero mai essere raccolti dal mondo reale
E il vero potere di questo strumento è nella sua architettura e come possiamo eseguire tutte le attività in parallelo a infinitamente
Scala così hai visto lo strumento Creatore di piastrelle in azione convertire la verità di terra
Etichette nelle loro controparti Successivamente possiamo usare il nostro strumento di estrattore di piastrelle
Per dividere questi dati in piastrelle di geohash di circa 150 metri quadrati di dimensioni
Salviamo quindi quei dati in file di geometria e istanza separati Questo ci fornisce una fonte pulita di dati che è facile da
Carica e ci consente di rendere il motore agnostico per il futuro
Quindi usando uno strumento di caricatore di piastrelle possiamo evocare qualsiasi numero di quelle tessere cache usando un ID geohash al momento
Informazioni su questi cinque per cinque piastrelle o tre per tre di solito incentrate su hotspot della flotta o grafico terrestre interessante
Le posizioni nel caricatore di piastrelle converte anche questi set di piastrelle in attività U per il consumo
dal motore irreale e ti dà un prodotto di progetto finito da quello che hai visto nella prima diapositiva
E questo ci prepara davvero per dimensioni e scala come puoi vedere sulla mappa dietro di noi
Possiamo facilmente generare la maggior parte delle strade della città di San Francisco e questo non ha richiesto anni o anche mesi di lavoro ma
Piuttosto due settimane da una persona possiamo continuare a gestire e crescere tutto
Questi dati che utilizzano la nostra rete PDG all'interno degli strumenti ci consentono di lanciare
calcola e rigenerare tutti questi set di piastrelle durante la notte questo garantisce che tutti gli ambienti siano
Qualità e caratteristiche coerenti che sono molto importanti per la formazione poiché nuove ontologie e segnali sono costantemente
rilasciato e ora per arrivare al punto di partenza perché noi
generato tutti questi set di piastrelle da dati di verità a terra che contengono tutte le strane complessità del mondo reale
e possiamo combinarlo con la varietà visiva e trafficata procedurale per creare dati mirati illimitati per il
rete da cui imparare e questo conclude la sezione SIM la passerò a Kate per parlare di come possiamo
Usa tutti questi dati per migliorare il pilota automatico grazie
Grazie David Ciao a tutti, mi chiamo Kate Park e sono qui per parlare del motore di dati che è il processo con cui noi
Migliora le nostre reti neurali tramite i dati ti mostreremo come risolviamo determinalmente gli interventi
tramite i dati e guidarti attraverso la vita di questa particolare clip in questo scenario
Il pilota automatico si sta avvicinando a una svolta e prevede erroneamente che l'attraversamento del veicolo si è fermato per il traffico e quindi
Un veicolo per cui rallentare in realtà non c'è nessuno in macchina, è solo goffamente parcheggiato, abbiamo costruito questo
strumenti per identificare gli errati preventivi correggere l'etichetta e classificare questo
Clip in un set di valutazione Questo particolare clip è uno dei 126
che abbiamo diagnosticato come auto parcheggiate a turno per questo
infra possiamo curare questo set di valutazione senza alcuna risorsa ingegneristica
A questo particolare caso di sfida per risolvere effettivamente quel caso di sfida
Richiede minerario migliaia di esempi simili ed è qualcosa che Tesla può fare banalmente, usiamo semplicemente i nostri dati
Sourcing Infra Richiedi dati e utilizzare gli strumenti mostrati in precedenza per correggere il
etichette mirate chirurgicamente le errate previsioni dell'attuale modello, stiamo solo aggiungendo il più prezioso
Esempi per il nostro set di formazione fissiamo chirurgicamente 13 900 clip e uh
Perché questi erano esempi in cui l'attuale modello lotta non abbiamo nemmeno bisogno di cambiare l'architettura del modello a
L'aggiornamento del modo semplice con questi nuovi dati preziosi è sufficiente per risolvere il caso della sfida, quindi vedi che non prevediamo più
Quel veicolo di attraversamento è fermato come mostrato in arancia ma parcheggiato come mostrato in rosso
Nel mondo accademico vediamo spesso che le persone mantengono i dati costanti ma a Tesla è
molto il contrario vediamo più volte che i dati sono uno dei migliori se non la leva più deterministica
Per risolvere questi interventi ti abbiamo appena mostrato il ciclo del motore di dati
Per un caso di sfida, vale a dire queste auto parcheggiate a turno, ma ci sono molti casi di sfida anche per un segnale di
movimento del veicolo applichiamo questo ciclo del motore di dati a ogni singolo caso di sfida che abbiamo diagnosticato se si tratta di autobus
Le strade curvy hanno fermato i parcheggi dei veicoli e non aggiungiamo solo dati una volta che lo facciamo
Fallo ancora e ancora per perfezionare il semantico infatti quest'anno abbiamo aggiornato il segnale di movimento del veicolo cinque volte
E con ogni aggiornamento del peso addestrato sui nuovi dati spingiamo la precisione del movimento del nostro veicolo su e su
Questo framework del motore di dati si applica a tutti i nostri segnali se sono 3d
video multi-cam se i dati sono etichettati con etichetta automatica e simulata umana se si tratta di un modello offline o di un
Modello online e Tesla è in grado di farlo su larga scala a causa della flotta
Vantaggi l'infra che il nostro team di motore ha costruito e le risorse di etichettatura che alimentano le nostre reti
Per addestrare tutti questi dati abbiamo bisogno di un'enorme quantità di calcolo, quindi lo consegnerò a Pete e Ganesh di cui parlare
La piattaforma di supercomputing Dojo grazie [Applause]
grazie grazie katie
grazie a tutti grazie per essere rimasti lì dentro siamo quasi lì il mio nome è Pete Bannon, gestisco l'usanza
squadre di silicio e bassa tensione a Tesla e il mio nome è Ganesh Venkat, gestisco il
programma Doji
[Applauso] Grazie, mi chiede spesso perché è un'auto
azienda che costruisce un super computer per la formazione e questa domanda fondamentalmente
fraintende la natura di Tesla nel suo cuore Tesla è una tecnologia hardcore
L'azienda in tutta l'azienda le persone lavorano duramente in scienze e ingegneria
per far avanzare la comprensione fondamentale e i metodi che abbiamo a disposizione
per costruire robot di soluzioni energetiche di auto e qualsiasi altra cosa possiamo fare
Migliora la condizione umana in tutto il mondo è una cosa super eccitante di cui far parte ed è un privilegio gestire molto
Piccolo pezzo nel gruppo Semiconductor stasera parleremo un po 'di dojo e ti daremo un
Aggiornamento su ciò che siamo stati in grado di fare nell'ultimo anno, ma prima di farlo volevo dare un po '
Background sulla progettazione iniziale che abbiamo iniziato alcuni anni fa quando abbiamo iniziato l'obiettivo era fornire un
Miglioramento sostanziale alla latenza di allenamento per il nostro team di pilota automatico
Le più grandi reti neurali che si sono allenate oggi funzionano per oltre un mese, il che inibisce la loro capacità di rapidamente
Esplora le alternative e valutale in modo che tu sappia una velocità di 30 volte
Davvero bello se potessimo fornirlo in modo competitivo e competitivo energetico
Per fare ciò volevamo costruire un chip con molta aritmetica aritmetica
unità che potremmo utilizzare con un'efficienza molto elevata e abbiamo trascorso molto tempo a studiare se potremmo farlo
Usando DRM varie idee di imballaggio tutte fallite e alla fine anche se
Sembrava un atto innaturale che abbiamo deciso di rifiutare la DRAM come mezzo di archiviazione principale per questo sistema e invece di concentrarci
Su SRAM incorporato nel chip sram fornisce purtroppo un modesto
quantità di capacità ma larghezza di banda estremamente elevata e latenza molto bassa e questo ci consente di ottenere un alto utilizzo
con le unità aritmetiche quelle scelte
Di quella particolare scelta ha portato ad un sacco di altre scelte, ad esempio se si desidera avere una memoria virtuale
tabelle di pagina occupano molto spazio che non abbiamo spazio, quindi nessuna memoria virtuale non abbiamo anche interruzioni
Accelerator è un pezzo di hardware, derubare Bonds, che viene presentato a un compilatore
nel compilatore è responsabile della pianificazione di tutto ciò che accade in modo terminale, quindi non c'è bisogno o
Anche il desiderio di interruzioni nel sistema abbiamo anche scelto di perseguire il modello
parallelismo come metodologia di formazione che non è la situazione tipica più
La maggior parte delle macchine oggi utilizza il parallelismo dei dati che consuma una capacità di memoria aggiuntiva che ovviamente non abbiamo
Quindi tutte queste scelte ci hanno portato a costruire una macchina che è piuttosto radicalmente
diverso da ciò che è disponibile oggi abbiamo anche avuto un sacco di altri obiettivi uno dei più importanti era no
limiti, quindi volevamo costruire un tessuto di calcolo che si ridimensionava in modo illimitato per la maggior parte intendo ovviamente
Ci sono limiti fisici di tanto in tanto, ma sai praticamente se il tuo modello lo era
Troppo grande per il computer che dovevi solo andare a comprare un computer più grande che era quello che stavamo cercando oggi nel modo in cui il pacchetto
Le macchine sono confezionate, c'è un rapporto piuttosto fisso di CPU GPU e ad esempio
e capacità drammatica e capacità di rete e volevamo davvero disaggregarsi tutto ciò che, quando i modelli si sono evoluti potessimo
Vary i rapporti di quei vari elementi e rendono il sistema più flessibile per soddisfare le esigenze del
Team di autopilota sì ed è così vero con la filosofia come non limiti era la nostra stella guida
fino in fondo tutte le nostre scelte erano incentrate su quello e e per
punto che non volevamo che l'infrastruttura tradizionale del data center limiti il nostro
capacità di eseguire questi programmi a velocità, quindi è per questo
Ecco perché mi dispiace per questo è il motivo per cui abbiamo integrato
verticalmente il nostro data center intero data center facendo un verticale
Integrazione del data center potremmo estrarre nuovi livelli di efficienza potremmo ottimizzare la potenza
Raffreddamento alla consegna e gestione del sistema attraverso
l'intero stack del data center anziché fare box by box e integrarlo
quelle caselle nei data center e per farlo volevamo anche
integrare presto per capire i limiti di scala uh per il nostro
carichi di lavoro software in modo che abbiamo integrato l'ambiente Dojo nel nostro software di pilota automatico e abbiamo imparato molto
lezioni e oggi Uh Bill Chang esaminerà il nostro aggiornamento hardware e alcuni
delle sfide che abbiamo affrontato lungo la strada e Rajiv Kurian ti darà un
Incrocio della nostra tecnologia del compilatore e ripassare alcuni dei nostri risultati fantastici
Proprio lì vai
grazie Pete grazie Ganesh um inizierò stasera con un livello elevato
visione del nostro sistema che sarà che aiuterà a preparare le basi per le sfide e i problemi che siamo
risolvere e quindi anche come il software lo sfrutterà per le prestazioni
Ora la nostra visione per Dojo è quella di costruire un singolo unificato accelerato un molto grande
Un software vedrebbe un piano di calcolo senza soluzione di continuità con indirizzabile a livello globale
memoria molto veloce e tutti collegati insieme a una larghezza di banda uniforme e uniforme e
bassa latenza ora per realizzare questo che dobbiamo usare
densità per raggiungere le prestazioni ora sfruttamo la tecnologia per ottenere questa densità per rompere i livelli di
gerarchia fino in fondo dal chip ai sistemi di scala
Ora la tecnologia del silicio ha usato questo lo ha fatto per decenni chips
Seguì la legge di Moore per la densità e l'integrazione per ottenere il ridimensionamento delle prestazioni
Ora un passo chiave per realizzare che la visione era la nostra piastrella di allenamento non solo possiamo integrare 25 stampi
larghezza di banda estremamente elevata ma possiamo ridimensionarla a qualsiasi numero di tessere aggiuntive semplicemente collegandole insieme
Ora l'anno scorso abbiamo mostrato la nostra prima piastrella di allenamento funzionale e in quel momento avevamo già carichi di lavoro in esecuzione
e da allora il team qui ha lavorato duramente e diligentemente per distribuire
Questo su larga scala ora abbiamo fatto progressi sorprendenti e abbiamo avuto molte pietre miliari lungo la strada e di
Ovviamente abbiamo avuto molte sfide inaspettate, ma è qui che il nostro fallisce velocemente
La filosofia ci ha permesso di spingere i nostri confini
Ora spingere la densità per le prestazioni presenta tutte le nuove sfide che un'area è l'erogazione di energia
Qui dobbiamo offrire il potere al nostro dado di calcolo e questo ha un impatto diretto
Le nostre prestazioni di calcolo in alto, ma dobbiamo farlo a densità senza precedenti, dobbiamo essere in grado di abbinare il nostro
Die Pitch con una densità di potenza di quasi un amplificatore per millimetro al quadrato
E a causa dell'estrema integrazione, questo deve essere un verticale a più livelli
soluzione di potenza e perché c'è un materiale eterogeneo complesso impila
Dobbiamo gestire attentamente la transizione materiale, in particolare CTE
Ora perché il coefficiente di espansione termica è importante in questo caso CTE è una proprietà materiale fondamentale
E se non è gestito con cura, quell'attrezzo si strapperebbe letteralmente
Quindi abbiamo iniziato questo sforzo lavorando con i venditori per consegnare questo
soluzione di potenza ma ci siamo resi conto che dovevamo effettivamente sviluppare questo interno
Ora per bilanciare il programma e il rischio abbiamo creato iterazioni rapide per supportare
Sia il nostro sistema a far apparire e lo sviluppo del software e anche per trovare il design ottimale e
impilare che avrebbe raggiunto i nostri obiettivi di produzione finali e alla fine siamo stati in grado di ridurre il CTE oltre il 50 percento
e soddisfare le nostre prestazioni di 3x sulla nostra versione iniziale
ora inutile dire che trovare questo mat