Elon Musk, CEO di Tesla, ha recentemente presentato il bot Tesla dell'azienda. Optimus con nome robot in codice si trascinò su una fase, agitò la mano e pompò le braccia in una mossa di danza a bassa velocità. Musk prevede che il robot potrebbe costare $ 20.000 entro 3-5 anni se tutto vanno secondo i piani. Ma la domanda è: cosa può fare per noi. Ma prima di entrare in questo, diamo un'occhiata ai dispositivi principali che guidano il bot Tesla.
Attuatori di Tesla Bot
IL Attuatori sono il sistema di azionamento principale per qualsiasi robot. Si potrebbe dire che un robot non è altro che un PC con parti in movimento, o in altre parole, un robot è un PC con attuatori e sensori. Tesla ha sviluppato i propri attuatori per il bot, utilizza 3 tipi di attuatori rotanti e 3 tipi di Attuatori lineari.
Se ti stai chiedendo perché Tesla non abbia usato attuatori lineari standardizzati come il FIRGELLI Attuatore, è perché hanno diversi vincoli che significa che devono sviluppare i propri sistemi per far sì che i robot siano in definitiva leggeri, efficienti dal punto di vista energetico, ad alta potenza e a basso costo. Tesla ha affermato di voler convincere il bot al dettaglio per $ 20.000 ciascuno. Questo di per sé è un alto ordine per qualcosa che è Gong per richiedere 23 attuatori e potenti PC, molti sensori e un pacco batteria per farla durare più di qualche ora, oltre a uno scheletro forte per tenere tutto insieme.
Attuatori lineari di Tesla Bot
Gli attuatori lineari che Tesla sviluppati sono altamente specifici per un ruolo specifico, ciò significa che non sarebbero davvero di grande utilità per qualsiasi altra applicazione diversa da un robot. I loro attuatori impiegano un sistema di rulli planetari e Tesla lo chiama, ma questo è fondamentalmente codice per il design della vite a sfera, e invece di una tradizionale bobina di armature magnetiche nel mezzo del motore hanno deciso di utilizzare un design del motore del nucleo senza spazzole. Ciò significa che il design della vite da sfera è molto efficiente e utilizza meno energia, ma anche più costosa. E usano un sistema di alimentazione senza spazzole, il che significa che l'intervallo di vita sarà significativamente più veloce e consente modalità di azionamento altamente specifiche controllate dal software.
La durata del viaggio è lunga solo circa 2 ", e come ha mostrato l'immagine che solleva un piano a 500 kg, questo è un sacco di peso. Potresti chiederti perché deve sollevare così tanto peso?, Beh, è perché quando installato in un Scheletro di metallo, i viaggi degli attuatori devono amplificare il ripiano di ciò che si muove. Quindi se si muove la gamba di un robot, la gamba deve essere in grado di muoversi di circa 150 gradi o oltre una lunghezza di 2 piedi la gamba deve oscillare circa zero a un arco di 3 piedi. Il corpo huma che si è evoluto oltre 100.000 anni di anni consente a noi umani di farlo usando i muscoli delle gambe, ma ottenere un attuatore lineare per farlo non è un compito facile. Quindi il punto i ' M Making è che, anche se l'attuatore può sollevare 500 kg di peso su 2 pollici, una volta che gli attuatori si sono collegati a una leva, la forza si riduce in modo significativo, a seconda del rapporto di leva finanziaria e ma la velocità aumenta che rende un bel commercio -spento.
Presentazione di Tesla Bot.
Ecco cosa avevano da dire Tesla sull'ultima presentazione del bot che hanno dato il 30 settembre 2022
Elon Musk Presents: WHo alcune cose davvero eccitanti da mostrarti, penso che rimarrai piuttosto colpito. Voglio fissare alcune aspettative rispetto al nostro robot Optimus come sai l'anno scorso era solo una persona in tuta robot ma non abbiamo fatto molta strada e penso che tu lo sappia rispetto a quello che è sarà molto impressionante. E parleremo dei progressi nell'intelligenza artificiale per la piena guida e il modo in cui si applicano di piùGeneralmente ai problemi di AI del mondo reale come un robot umanoide e persino andare oltre. Penso che ci sia un certo potenziale che ciò che stiamo facendo qui a Tesla potrebbe dare un contributo significativo all'AGI, e penso che in realtà ci dica una buona entità per farlo dal punto di vista della governance perché siamo una società quotata in borsa, ne abbiamo una classe di azioni e ciò significa che il pubblicoControlla Tesla e penso che sia in realtà una buona cosa, quindi se impazzisco puoi licenziarmi questoè importante forse non sono pazzo, non lo so. Quindi sì, quindi parleremo molto dei nostri progressi in AI Autopilot e dei progressi con Dojo, e poi tireremo fuori la squadra e faremo una lunga domanda e risparmia in modo da poter chiedere a Whous domande. Qualunque cosa tu voglia domande esistenziali Domande tecniche se vorrebbe avere più tempo possibile per le domande e risposte, quindi vediamo con ciò che indovina cosa ogni giorno.
Hey ragazzi, sono milano, lavoro sull'autopilota ed è in gomma, sono un ingegnere meccanico nel progetto, anche ok, quindi dovremmo allevare il bot prima di inoltrare la prima volta che proviamo questo robot senza alcuna crana di supporto di backup
meccanismi meccanici nessun cavi niente sì, voglio unirmi a voi ragazzi
stasera ma è stata la prima volta che ti vediamo pronto andiamoIl computer a guida autonoma che corre nelle tue auto Tesla dal modo in cui questo è letteralmente la prima volta che il robot ha operato senza un legame è stato sul palco stasera è tutto, quindi il robot può effettivamente fare molto più di quanto ti abbiamo appena mostrato Semplicemente non volevo che cadesse sul suo viso, quindi ti mostreremo alcuni video ora del robot che faceva un sacco di altre cose ume sì, che sono meno rischiose.
Sì, volevamo mostrare un po 'di più quello che abbiamo fatto negli ultimi mesicon a parte e semplicemente camminando e balla sul palco e solo umili inizi, ma puoi vedere le reti neurali del pilota automatico in esecuzione come
è appena riqualificato per il bocciolo direttamente su quello su quella nuova piattaforma che è la mia irrigazione puoi vedereUna visione resa che è il robot qual è il mondo che il robot vede, quindi è chiaramente identificare oggetti come questo è l'oggetto che dovrebbe raccogliere. Usiamo lo stesso processo che abbiamo fatto per il pilota automatico per raccogliere dati in formato le tue reti che quindi distribuiamo sul
robot questo è un esempio che illustra un po 'di più la parte superiore del corpo
Qualcosa che ci piacerebbe provare a inchiodare tra qualche mese nei prossimi mesi direi alla perfezioneQuesta è davvero una vera stazione nella fabbrica di Fremont anche in cui funziona.
Non è l'unica cosa che dobbiamo mostrare oggi in modo che ciò che hai visto sia ciò che chiamiamo Bumble C, questo è il nostro tipo di robot di sviluppo approssimativo usando attuatori semi-off-the-shelf, ma in realtà abbiamo fatto un passo avanti di quello già già Il team ha fatto un lavoro incredibile e in realtà abbiamo un bot ottimista con un
Completamente Tesla progettata su entrambi gli attuatori Sistema di controllo del pacco batteriaTutto non era abbastanza pronto a camminare, ma penso che camminerà tra qualche settimana, ma volevamo mostrarti il robot e qualcosa che in realtà è abbastanza vicino a ciò che andrà in produzione e ti mostrerà tutte le cose che può Fallo che lo tiramo fuori
Ci aspettiamo di avere in Optimus Production Unit One che è la capacità
Per spostare tutte le dita spostano in modo indipendente il pollice, avere due
gradi di libertà così ha pollici opponibili ed sia a sinistra che a destra così
È in grado di gestire strumenti e fare cose utili, il nostro obiettivo è rendere utile
Robot umanoide il più rapidamente possibile e lo abbiamo anche progettato usando il
Stessa disciplina che utilizziamo nella progettazione dell'auto, il che deve dire di progettarla per la produzione in modo tale che sia possibileFai il robot a un volume elevato a basso costo con alta affidabilità, quindi è incredibilmente importante, intendo che hai visto dimostrazioni di robot umanoide molto impressionanti e che è fantastico, ma cosa mancano?, mancano un cervello, non t Avere l'intelligenza
navigare dal mondo da soli e sono anche molto costosi,e realizzato a basso volume, mentre questo è la società ottimista e un robot estremamente capace, ma fatto in volume molto elevato probabilmente alla fine milioni di unità e si prevede che costerà molto meno di un'auto.
Direi che probabilmente meno di ventimila dollari sarebbe la mia ipotesi
Il potenziale di ottimista è che penso apprezzato da molto efficace
La gente hey come al solito le demo di Tesla stanno arrivando caldeQuindi, va bene, va bene, va bene, sì, i team hanno messo in scena e il team ha svolto un incredibile lavoro, è che sono i giorni lavorativi che conosci sette giorni a settimana a correre il petrolio alle 3 del mattino per arrivare alla manifestazione oggi sono Super orgoglioso di ciò che hanno fatto è che hanno fatto davvero un ottimo lavoro, mi piace solo dare una mano all'intera opzione di questa squadra in modo da sapere che ora c'è ancora molto lavoro da fare per perfezionare Optimus e miglioralo ovviamente questa è solo la versione Optimus e questo è davvero il motivo per cui stiamo organizzando questo evento, che è per convincere alcune delle persone più talentuose del mondo come voi ragazzi a unirsi a Tesla e aiutarlo a renderlo realtà e portarlo a realizzare Scala in modo tale che possa aiutare milioni di persone e la e il potenziale che gli piace è davvero sbalordire la mente perché hai da dire come ciò che è un'economia un'economia è una sorta di entità produttive volte la produttività UH Times Output produttività pro capite nel punto in cui non esiste una limitazione sul capitale, non è chiaro cosa significhi anche un'economia a quel punto un'economia diventa quasi infinita, quindi ciò che quello che sai ha realizzato in modo realizzato nello scenario si spera benigno futuro dell'abbondanza un futuro in cui um non c'è povertà in cui le persone tu
può avere quello che vuoi in termini di prodotti e serviziÈ davvero una trasformazione fondamentale della civiltà in quanto lo sappiamo ovviamente vogliamo assicurarci che la trasformazione sia positiva e sicura, ma è anche per questo che penso che Tesla sia un'entità che lo fa una singola classe di azioni quotate in borsa di proprietà Il pubblico è molto importante e non dovrebbe essere trascurato, penso che questo sia essenziale perché se al pubblico non piace ciò che Tesla sta facendo il pubblico può acquistare azioni in Tesla e votare in modo diverso.
Questo è un grosso problema come se sia molto importante che non posso semplicemente fare quello che voglio che tu sappiaA volte le persone pensano che non sia ma non è vero, quindi sai che è molto importante che l'entità aziendale che ha ciò che fa accadere sia qualcosa che il pubblico può influenzare correttamente e quindi penso che la struttura di Tesla sia l'ideale per quello e come come Ho detto che sai che le auto a guida autonoma avranno sicuramente un impatto enorme sul mondo um, penso che miglioreranno il
produttività del trasporto di almeno mezzo ordine di grandezza forse unOrdine di magnitudo forse più ottimisti UM che penso abbia forse un potenziale miglioramento di due ordini di magnitudo della produzione economica come se non sia chiaro che non sia chiaro quale sia il limite in realtà, ma dobbiamo farlo nel modo giusto che dobbiamo fare È attentamente e in modo sicuro e assicura che il risultato sia uno che è benefico per la civiltà e e uno che l'umanità una volta che non posso, questo è anche estremamente importante, quindi e spero che considererai di unirti a Tesla per raggiungere tali obiettivi a Tesla We Mi interessa davvero fare la cosa giusta qui aspira sempre a fare la cosa giusta e e davvero non pagare la strada all'inferno con buone intenzioni e penso che la strada per l'inferno sia per lo più pavimentata con cattive intenzioni, ma ogni tanto c'è una buona intenzione in lì così vogliamo farlo fare la cosa giusta, così sai, considera di unirti a noi e aiutando a farlo accadere con quello che andiamo a passare alla fase successiva proprio su Grazie Elon
Va bene, quindi hai visto un paio di robot oggi facciamo un rapido riepilogo della sequenza temporale, quindi l'anno scorso abbiamo svelato il bot Tesla
concetto ma un concetto non ci porta molto lontano sapevamo che avevamo bisogno di una vera piattaforma di sviluppo e integrazione per
Ottieni gli apprendimenti della vita reale il più rapidamente possibile in modo che il robot sia uscito e abbia fatto la piccola routine per voi ragazzi
Ha avuto ciò che entro sei mesi ha creato lavorando sugli aggiornamenti hardware di integrazione software nel corso dei mesi, ma ma
in parallelo abbiamo anche progettato la prossima generazione qui
Quindi questo ragazzo è radicato nella fondazione di una sorta di processo di progettazione del veicolo che sai che stiamo sfruttando tutto
Quegli apprendimenti che abbiamo già ovviamente ci sono molte cose che sono cambiate dall'anno scorso, ma ci sono alcune cose
che sono sempre gli stessi, noterai che abbiamo ancora questa attenzione davvero dettagliata sulla vera forma umana che pensiamo che
conta per alcuni motivi, ma è divertente passare molto tempo a pensare a quanto sia sorprendente il corpo umano
Questa incredibile gamma di movimento tipicamente sorprendente è divertente
L'esercizio fisico è se metti la punta del dito sulla sedia di fronte a te noterai che c'è una vasta gamma di movimenti che
Hai nella tua spalla e il gomito, ad esempio senza muovere la punta del dito, puoi spostare tutte quelle articolazioni tutte
Oltre il luogo um ma il robot sai che la sua funzione principale è fare davvero un lavoro utile e
Forse non ha necessariamente bisogno di tutti quei gradi di libertà subito
di 28 gradi fondamentali di libertà e poi ovviamente le nostre mani oltre a questo
Gli umani sono anche abbastanza efficienti in alcune cose e non così efficienti in altre volte, quindi ad esempio possiamo mangiare un piccolo
quantità di cibo per sostenerci per diverse ore, ma quando siamo semplicemente seduti a no
offesa ma siamo un po 'inefficienti siamo solo una specie di energia bruciata, quindi sulla piattaforma robot quello che siamo
Faremo è stato per ridurre al minimo quel consumo di alimentazione inattivo il più basso possibile e in questo modo possiamo semplicemente
capovolgi un interruttore e immediatamente il robot si trasforma in qualcosa che fa un lavoro utile
Quindi parliamo di questa ultima generazione in dettaglio, dovremmo così sullo schermo qui vedrai
Gli aranci sono attuatori che arriveremo in un po 'e in blu il nostro sistema elettrico
Quindi ora che abbiamo il nostro tipo di ricerca basata sull'uomo e abbiamo la nostra prima piattaforma di sviluppo che abbiamo entrambi
Ricerca ed esecuzione da cui attingere per questo design stiamo utilizzando quel design del veicolo
fondazione quindi lo stiamo prendendo dal concetto attraverso la progettazione e l'analisi e
Quindi costruisci e convalida lungo la strada ottimizzeremo per cose come il costo e l'efficienza
Perché quelle sono metriche critiche per portare questo prodotto in scala alla fine come faremo bene
Ridurremo il conteggio delle nostre parti e il nostro consumo di energia di ogni elemento possibile faremo cose come
Riduci il rilevamento e il cablaggio alle nostre estremità puoi immaginare molta massa in mani e piedi
Sii abbastanza difficile e consumano il potere di muoverti e centralizzare entrambi i nostri
Distribuzione dell'alimentazione e il nostro calcolo al centro fisico della piattaforma
Quindi nel mezzo del nostro busto in realtà è il busto che abbiamo il nostro pacco batteria è dimensionato a 2,3 chilowatt
Il che è perfetto per un lavoro di un giorno intero ciò che è davvero unico in questa batteria
Il pacchetto è che ha tutta l'elettronica della batteria integrata in un singolo PCB all'interno del pacchetto, quindi ciò significa tutto
Dal rilevamento alla fusione della gestione della carica e della distribuzione dell'energia è tutto su uno
In un posto stiamo anche sfruttando sia i nostri prodotti per veicoli che i nostri prodotti energetici da rotolare
Tutte quelle caratteristiche chiave in questa batteria in modo che sia una produzione semplificata davvero efficiente e
semplici metodi di raffreddamento Gestione della batteria e anche sicurezza e ovviamente possiamo sfruttare Tesla
infrastruttura e catena di approvvigionamento esistenti per farlo così che continuano al nostro cervello
non nella testa ma è abbastanza vicino anche nel nostro busto abbiamo il nostro computer centrale, così come sai già Tesla
spedisci i computer a guida autonoma in ogni veicolo che produciamo vogliamo sfruttare sia l'hardware di pilota automatico che
il software per la piattaforma umanoide ma perché è diverso nei requisiti e nel fattore di forma siamo
Vado a cambiare alcune cose prima, quindi facciamo ancora tutto ciò che fa un cervello umano
Elaborazione dei dati di visione Presentazione di una seconda decisione in base a più input sensoriali e anche a comunicazioni
Quindi, per supportare le comunicazioni è dotato di connettività wireless e supporto audio
E poi ha anche funzionalità di sicurezza a livello di hardware che sono importanti per proteggere sia il robot che le persone
intorno al robot, quindi ora che abbiamo il nostro tipo di nucleo
Avremo bisogno di degli arti su questo ragazzo e ci piacerebbe mostrarti un po 'dei nostri attuatori e del nostro pienamente
anche mani funzionali, ma prima di farlo, vorrei introdurre Malcolm che parlerà un po '
La nostra base strutturale per il robot [applauso]
Grazie
Tesla ha la capacità di finalizzare i sistemi altamente complessi, diventa molto più complesso di un incidente che puoi vedere
Qui un crash simulato sul modello 3 sovrapposto in cima al crash fisico reale
In realtà è incredibile quanto sia accurato solo per darti un'idea della complessità di questo modello
Include ogni rondella di Bolton nodo ogni saldatura a punti e ha 35 milioni di gradi di libertà è abbastanza sorprendente
Ed è vero dire che se non avessimo modelli come questo non saremmo in grado di realizzare le auto più sicure del mondo
Così possiamo utilizzare le nostre capacità e i nostri metodi dal lato automobilistico per influenzare un robot
Bene, possiamo creare un modello e dato che avevamo un software di arresto anomalo abbiamo usato lo stesso software qui possiamo farlo cadere
Lo scopo è assicurarsi che se cade idealmente no, ma è un danno superficiale
Non vogliamo ad esempio rompere il suo cambio alle braccia che equivale a una spalla dislocata di un robot
difficile e costoso da risolvere, quindi volevamo spolverarci di andare avanti con un lavoro che è stato dato
Se potessimo anche assumere lo stesso modello e possiamo guidare gli attuatori usando l'ingresso da un modello precedentemente risolto
dando vita a vita in modo che questo stia producendo i movimenti per i compiti che vogliamo che il robot li faccia
le attività stanno raccogliendo scatole che girano accovacciate camminando al piano di sopra qualunque set di compiti possiamo svolgere per
Modello Questo mostra solo una semplice camminata possiamo creare le sollecitazioni in tutti i componenti che ci aiutano a farlo
ottimizza i componenti Questi non sono robot danzanti, questi sono
In realtà il comportamento modale le prime cinque modalità del robot e in genere quando le persone fanno robot si assicurano
La prima modalità è su per le figure singole in alto fino a 10 Hertz
Chi è questo è rendere più facili i controlli della camminata, è molto difficile camminare se non puoi garantire
Dove il tuo piede vacilla in giro va bene per fare un robot che vogliamo guadagnare migliaia forse milioni
Non abbiamo il lusso di realizzarli dal titanio in fibra di carbonio che vogliamo farli su cose di plastica non lo sono
Abbastanza rigido, quindi non possiamo avere questi obiettivi alti li chiamerò bersagli stupidi
Dobbiamo farli funzionare a bersagli inferiori, quindi è quello che funzionerà bene se ci pensi mi dispiace
questo ma siamo solo sacchi di gelatina e ossa inzuppiate non siamo ad alta frequenza se mi fermo
la mia gamba non vibra a 10 Hertz noi persone operiamo a bassa frequenza così noi
sapere che il robot in realtà può solo rendere i controlli più difficili, quindi prendiamo le informazioni da questo i dati modali e
la rigidità e lo alimentano nel sistema di controllo che gli consente di camminare
Sto solo cambiando le tasse leggermente guardando il ginocchio da cui potremmo prendere un po 'di ispirazione
biologia e possiamo cercare di vedere quali sono i vantaggi meccanici del ginocchio.
Simile al collegamento a quattro barre e questo è abbastanza non lineare che non è davvero sorprendente perché se
Pensi che quando pieni la gamba lungo la coppia sul ginocchio è molto più quando è piegata di quando è quando è
dritto quindi ti aspetteresti una funzione non lineare e in effetti la biologia non è lineare
Questo lo corrisponde abbastanza accuratamente, quindi è la rappresentazione dei quattro
Il collegamento non è ovviamente fisicamente a quattro barre, come ho detto che le caratteristiche sono simili ma che scommetto che è
Non molto scientifico, siamo un po 'più scientifici che abbiamo svolto tutti i compiti attraverso il grafico, ma questo
sta mostrando picchetti di passeggiate per accovacciarsi i compiti che ho detto che abbiamo svolto sullo stress e questo è il discorso a una scena
Il ginocchio contro il ginocchio si piega sull'asse orizzontale, questo mostra il requisito per il ginocchio per fare tutto questi
compiti e poi metti una curva attraverso di essa navigando sopra le cime e questo sta dicendo che è ciò che è necessario per
Fai fare il robot a questi compiti
Quindi se guardiamo il collegamento a quattro bar che è in realtà la curva verde e sta dicendo che la non linearità del
Quattro per collegamento è in realtà linearizzato la caratteristica della forza ciò che realmente dice è che ha abbassato la forza
Questo è ciò che rende l'attuatore la forza più bassa possibile che è la più efficiente che vogliamo bruciare l'energia lentamente
Qual è il pozzo della curva blu la curva blu è in realtà se non avevamo un link a quattro bar abbiamo appena avuto un braccio
sporgere dalla mia gamba qui con un attuatore su di esso un semplice link a due bar
Questo è il meglio che potresti fare con un semplice link a due bar e mostra che ciò creerebbe molto più forza nel
attuatore che non sarebbe efficiente, quindi quello che sembra in pratica
Bene, come vedrai, ma è ben confezionato in ginocchio, vedrai un bene
trasparente in un secondo vedrai il collegamento a barre completo lì sta funzionando sull'attuatore questo è determinato il
forza e gli spostamenti sull'attuatore e ora ti passano alla concertina per
Quindi sono vorrei parlarti del processo di progettazione e dell'attuatore
Portfolio Uh nel nostro robot quindi ci sono molte somiglianze tra a
auto e robot quando si tratta di propulsore progetta la cosa più importante che conta qui è la massa energetica e il costo
Stiamo trasportando la maggior parte della nostra esperienza di progettazione dall'auto al robot
Quindi, nel caso particolare, vedi un'auto con due unità di guida e le unità di guida
vengono utilizzati per accelerare l'auto da 0 a 60 miglia all'ora o guidare a
Cities guidano il sito mentre il robot che ha 28 attuatori e
Non è ovvio quali siano i compiti a livello di attuatore, quindi abbiamo compiti
sono livelli più alti come camminare o salire le scale o trasportare un oggetto pesante che deve essere tradotto
giunto in specifiche articolari Pertanto utilizziamo il nostro modello
che genera le traiettorie di velocità di coppia per le nostre articolazioni che
successivamente verrà alimentato nel nostro modello di ottimizzazione e per far funzionare
il processo di ottimizzazione Questo è uno degli scenari che il
Il robot è in grado di fare che sta girando e camminando, quindi quando abbiamo questa velocità di coppia
traiettoria abbiamo posato su una mappa di efficienza di un attuatore e siamo in grado
La traiettoria per generare il consumo di energia e l'accumulativo energetico
energia per l'attività rispetto al tempo, quindi questo ci consente di definire il sistema
costo per l'attuatore particolare e mettiamo un semplice punto nel cloud, quindi lo facciamo
Questo per centinaia di migliaia di attuatori risolvendo nel nostro cluster e la linea rossa indica il fronte di Pareto
che è l'area preferita in cui cercheremo ottimale, quindi la x indica
Il design dell'attuatore preferito che abbiamo scelto per questo particolare giunto, quindi ora dobbiamo farlo per ogni giuntura che abbiamo
Avere 28 giunti da ottimizzare e analizziamo il nostro cloud analizziamo di nuovo il nostro cloud per ogni giuntura
Spec e l'asse rosso questa volta indica i disegni dell'attuatore su misura per ogni
congiunto Il problema qui è che abbiamo troppi progetti di attuatori unici e
Anche se approfittiamo della simmetria, ce ne sono ancora troppi per fare qualcosa di massa
fabbricabile dobbiamo essere in grado di ridurre la quantità di progetti di attuatori unici, quindi gestiamo qualcosa
Chiamato studio comunitario che analizziamo di nuovo la nostra nuvola che cerca questa volta
Attuatori che contemporaneamente soddisfano i requisiti di prestazione congiunti per più di un giunto contemporaneamente
Il portafoglio risultante è sei attuatori e mostrano in una mappa a colori la figura centrale
UM e gli attuatori possono anche essere visualizzati in questa diapositiva abbiamo tre rotanti e
Tre attuatori lineari che hanno tutti una grande forza di uscita o una coppia per massa
L'attuatore rotante in particolare ha una frizione meccanica integrata sul contatto angolare laterale ad alta velocità
cuscinetto a sfera e sul lato ad alta velocità e sul lato a bassa velocità un rullo incrociato
Il cuscinetto e il treno del cambio sono un ingranaggio d'onda di deformazione e ci sono tre sensori integrati
Qui e la macchina a magnete permanente su misura l'attuatore lineare
Mi dispiace che l'attuatore lineare abbia rulli planetari e una vite planetaria invertita
Come treno per il cambio che consente l'efficienza, la compattazione e la durata
Quindi, al fine di dimostrare la capacità di forza dei nostri attuatori lineari
hanno impostato un esperimento per testarlo sotto i suoi limiti
E ti lascerò che ti godi il video
Quindi il nostro attuatore è in grado di sollevare
un pianoforte a mezzo tono a nove piedi pianoforte
E
Questo è un requisito non è qualcosa di carino da avere perché i nostri muscoli possono fare
Lo stesso quando sono guidati diretti quando sono guidati direttamente o i muscoli del quadricepite possono fare la stessa cosa
È solo che il ginocchio è un sistema di collegamento di ingranaggi che converte la forza
in velocità alla fine effettore delle nostre colline per scopi di dare al
Agilità del corpo umano Quindi questa è una delle cose principali che sono incredibili del corpo umano e io sono
Concludendo la mia parte a questo punto e vorrei dare il benvenuto al mio collega Mike che ti parlerà di mano
Design Grazie mille grazie a Costantinos
Quindi abbiamo appena visto quanto possa essere potente un attuatore umano e umanoide
Gli umani sono anche incredibilmente abili, la mano umana ha la capacità di muoversi
A 300 gradi al secondo ha decine di migliaia di sensori tattili
E ha la capacità di afferrare e manipolare quasi tutti gli oggetti della nostra vita quotidiana
Per il nostro design a mano robotico siamo stati ispirati dalla biologia abbiamo cinque dita un pollice opponibile
Le nostre dita sono guidate da tendini metallici che sono sia flessibili che forti, abbiamo la capacità di completare l'ampia
Apertura di alimentazione mentre viene anche ottimizzato per l'accugnte di precisione di piccoli e delicati oggetti
Allora perché un essere umano come una mano robotica, il motivo principale è che le nostre fabbriche e il mondo che ci circonda
Progettato per essere ergonomico, quindi ciò significa che garantisce che gli oggetti nella nostra fabbrica siano impazziti
ma garantisce anche che nuovi oggetti che potremmo non aver mai visto prima possano essere afferrati dalla mano umana e dalla nostra
anche la mano robotica, il conversa è piuttosto interessante perché sta dicendo che questi oggetti sono progettati per la nostra mano
Invece di dover apportare modifiche alla nostra mano per accompagnare un nuovo oggetto
Alcune statistiche di base sulla nostra mano sono che hanno sei attuatori e 11 gradi di libertà ha un controller in mano che
guida le dita e riceve feedback del sensore il feedback del sensore è davvero importante per
Impara un po 'di più sugli oggetti che stiamo afferrando e anche per la propriocezione e questa è la capacità per noi di riconoscere dove
La nostra mano è nello spazio uno degli aspetti importanti della nostra mano è che è adattivo questa adattabilità
è coinvolto essenzialmente come meccanismi complessi che consentono alla mano di adattarsi agli oggetti che vengono afferrati
Un'altra parte importante è che abbiamo un'unità di dito non retro che questo meccanismo di stringa ci consente di trattenere
e trasporta oggetti senza dover accendere i motori a mano hai appena sentito come andavamo in giro
Abbiamo fatto progettare l'hardware Tesla Bot ora lo consegneremo a Milano e al nostro team di autonomia per portarlo
robot alla vita grazie mike
va bene um, quindi tutte quelle cose interessanti che abbiamo mostrato all'inizio del video sono state pubblicate
possibile solo in pochi mesi grazie alla straordinaria parola che abbiamo fatto il pilota automatico negli ultimi anni
La maggior parte di quei componenti si è trasferita abbastanza facilmente sull'ambiente di robot se ci pensate ci stiamo solo muovendo
da un robot su ruote a un robot sulle gambe, quindi alcuni di questi componenti sono abbastanza simili e alcuni altri richiedono
sollevamento più pesanti, ad esempio le nostre reti neurali della visione artificiale
riportato direttamente dal pilota automatico alla situazione dei robot è esattamente la stessa rete di occupazione
che stiamo parlando con un po 'più di dettagli più tardi con la squadra di pilota automatico che ora è in esecuzione sul bot qui
Questo video l'unica cosa che è cambiata sono i dati di allenamento che abbiamo dovuto ricordare
Stiamo anche cercando di trovare il modo di migliorare quelle reti di occupazione usando il lavoro svolto sui tuoi campi di radiazione per ottenere
rendering volumetrico davvero eccezionale degli ambienti robot, ad esempio alcuni alcuni
Machine Leggi che il bot potrebbe dover interagire con
Un altro problema interessante a cui pensare è in ambienti interni principalmente con quel senso di segnale GPS come fai
Ottieni per navigare verso la sua destinazione, ad esempio, per trovare la sua stazione di ricarica più vicina, quindi ci siamo allenati
più reti neurali per identificare i punti chiave delle caratteristiche ad alta frequenza all'interno del
I bot della fotocamera flussi e monitorali attraverso i frame nel tempo mentre il bot naviga nel suo ambiente
E stiamo usando quei punti per ottenere una stima migliore della posa e della traiettoria nel suo ambiente come
sta camminando, abbiamo anche fatto un po 'di lavoro sul
lato simulazione e questo è letteralmente il simulatore del pilota automatico a cui abbiamo integrato la locomozione del robot
codice e questo è un video del codice di controllo del movimento in esecuzione nel simulatore del simulatore dell'operatore che mostra il
L'evoluzione dei robot cammina nel tempo e così come puoi vedere, abbiamo iniziato abbastanza lentamente ad aprile e iniziare ad accelerare
Mentre sblocciamo più articolazioni e tecniche più profonde più avanzate come le armi bilanciate negli ultimi mesi
e quindi la locomozione è specificamente un componente che è molto diverso mentre ci stiamo spostando dall'auto ai robot
ambiente e quindi penso che meriti un po 'più di profondità e vorrei che i miei colleghi iniziassero a parlarne
ora straniero
Ciao a tutti, sono Felix, sono un ingegnere robotico nel progetto e parlerò di camminare
Sembra facile le persone giuste lo fanno ogni giorno che non devi nemmeno pensarci
Ma ci sono alcuni aspetti della camminata che sono impegnativi dalla prospettiva ingegneristica, ad esempio
Auto-consapevolezza fisica che significa avere una buona rappresentazione di te stesso qual è la lunghezza degli arti cosa è
La massa degli arti Qual è la dimensione dei piedi tutto ciò che conta anche un gate efficiente dal punto di vista energetico
Può immaginare che ci siano diversi stili di camminata e tutti sono ugualmente efficienti
La cosa più importante mantieni l'equilibrio non cade e ovviamente coordina anche il movimento
Di tutti i tuoi arti insieme così ora gli umani lo fanno tutto naturalmente ma come ingegneri o robot
pensare a questi problemi e se ti mostrerò come li affrontiamo nella nostra pianificazione e controllo della locomozione
impila così iniziamo con la pianificazione della locomozione e la nostra rappresentazione del legame che
indica il modello della dinamica cinematica del robot e le proprietà di contatto e l'uso di quel modello e il desiderato
Percorso per i robot Il nostro pianificatore di locomozione genera traiettorie di riferimento per l'intero sistema
Ciò significa traiettorie fattibili rispetto alle ipotesi del nostro modello
Il pianificatore attualmente lavora in tre fasi, inizia a pianificare passi e termina con l'intero sistema di foto di movimento
E tuffiamo un po 'più a fondo nel modo in cui funziona, quindi in questo video vediamo passi pianificati per la pianificazione
Horizon seguendo il percorso desiderato e iniziamo da questo e aggiungiamo quindi per
Traiettorie che collegano questi passi usando la punta e cedono lo sciopero proprio come fanno gli umani
E questo ci dà un passo più grande e una meno piega per il ginocchio per l'alta efficienza del sistema
L'ultima fase è quindi trovare un centro di traiettoria di massa che ci dà una commissione in modo dinamicamente fattibile del
intero sistema per mantenere l'equilibrio come tutti sappiamo che i piani sono buoni ma noi
devo anche renderli realizzati in realtà diciamo che sai come possiamo farlo
[Applause] Grazie Felix ciao a tutti il mio nome
Anand è e ti parlerò dei controlli, quindi prendiamo il piano di movimento che Felix
Ho appena parlato e mettilo nel mondo reale su un vero robot vediamo cosa succede
fa un paio di passi e cade bene, è un po 'deludente
Ma ci mancano alcuni pezzi chiave qui che lo faranno funzionare
Ora, come menzionato Felix, il planner di movimento sta usando una versione idealizzata di
stesso e una versione della realtà intorno a essa questo non è esattamente corretto
Esprime anche la sua intenzione attraverso traiettorie e chiavi dei rami di
forze e coppie che vuole esercitare sul mondo per locomote
La realtà è molto più complessa di qualsiasi modello simile anche il robot non lo è
semplificato ha il rumore del sensore di conformità vibrazioni e modalità e acceso
E su così cosa fa questo al mondo reale quando metti il bot nel mondo reale
Bene, le forze inaspettate causano dinamiche non modificate che essenzialmente il pianificatore non conosce e che
provoca destabilizzazione soprattutto per un sistema che è dinamicamente stabile come la locomozione bipetta
Quindi cosa possiamo fare bene, misuriamo la realtà usiamo i sensori e la nostra comprensione di
Il mondo a fare stima e status di stato per me qui puoi vedere l'atteggiamento e la posa del bacino che è
Essenzialmente il sistema vestibolare in un essere umano insieme al centro della traiettoria di massa viene monitorato quando il robot cammina
Nell'ambiente dell'ufficio ora abbiamo tutti i pezzi di cui abbiamo bisogno
Ordine di chiudere il ciclo in modo che utilizziamo il nostro modello di bot migliore, usiamo la comprensione della realtà
Abbiamo guadagnato attraverso la stima statale e confrontiamo ciò che vogliamo rispetto a ciò che ci aspettiamo la realtà che ci aspettiamo
La realtà ci sta facendo per aggiungere correzioni al comportamento del
robot qui il robot certamente non apprezza il fatto di essere colpito ma non lo fa
lavoro ammirevole di rimanere in posizione verticale il punto finale qui è un robot che
Le passeggiate non sono sufficienti, dovevamo usare le mani e le braccia per
Sii utile parliamo di manipolazione
[Applausi]
Ciao a tutti, mi chiamo Eric Robotics Engineer su Teslabot e voglio parlare
su come abbiamo reso il robot manipolare le cose nel mondo reale che volevamo manipolare gli oggetti mentre
sembrare il più naturale possibile e anche arrivarci rapidamente, quindi quello che abbiamo fatto è
Abbiamo suddiviso questo processo in due passaggi per primo è generare una libreria di riferimenti a movimento naturale o potremmo
Chiamali dimostrazioni e poi abbiamo adattato questi riferimenti di movimento online all'attuale situazione del mondo reale
Quindi diciamo che abbiamo una dimostrazione umana di raccogliere un oggetto che possiamo ottenerlo
Dimostrazione che viene visualizzata proprio qui come un mucchio di frame chiave che rappresentano le posizioni delle mani
I gomiti il busto possiamo mapparlo al robot usando la cinematica inversa e se raccogliamo un
Molti di questi ora abbiamo una biblioteca con cui possiamo lavorare, ma una singola dimostrazione non lo è
generalizzabile alla variazione nel mondo reale, ad esempio, funzionerebbe solo per una scatola in un molto particolare
posizione Quindi quello che abbiamo anche fatto è eseguire queste traiettorie di riferimento attraverso a
Programma di ottimizzazione della traiettoria che risolve dove dovrebbe essere la mano come il robot dovrebbe bilanciare
Durante UH quando deve adattare la mozione al mondo reale, quindi per esempio
Se la scatola si trova in questa posizione, il nostro ottimizzatore lo creerà
traiettoria invece il prossimo Milano parlerà di uh
Qual è il prossimo per Optimus Uh Tesla y grazie Larry
Bene, spero che ormai avete una buona idea di cosa abbiamo fatto negli ultimi mesi
Ehm Abbiamo iniziato a fare qualcosa di utilizzabile, ma è lungi dall'essere utile c'è ancora una strada lunga ed eccitante
davanti a noi um penso che la prima cosa nelle prossime settimane sia ottenere Optimus almeno
Par con Bumble C l'altro prototipo di bug che hai visto prima e probabilmente oltre lo faremo anche
Concentrarsi sul vero caso d'uso in una delle nostre fabbriche e cercherò davvero di provare a inchiodare questo e io finisco tutto
Gli elementi necessari per distribuire questo prodotto nel mondo reale che stavo menzionando prima
Um conosci la navigazione interna grazia per la gestione o persino la manutenzione di tutti
componenti necessari per ridimensionare questo prodotto ma um non so te ma dopo
Vedendo quello che abbiamo mostrato stasera sono abbastanza sicuro che possiamo farlo nei prossimi mesi o anni e faccio
Questo prodotto è una realtà e cambia l'intera economia, quindi vorrei ringraziare l'intero team Optimus per il duro
Lavora negli ultimi mesi, penso che sia piuttosto sorprendente che tutto ciò sia stato fatto in appena sei o otto mesi grazie
molto [applauso]
grazie hey a tutti
ciao sono Ashok, guido la squadra di autopiloti insieme a Milano dio, sta arrivando così duramente per superare quello
Sezione ottimale proverà comunque comunque
um ogni Tesla che è stato costruito negli ultimi anni che pensiamo abbia il
hardware per fare l'automobile da sola abbiamo lavorato sul software
Aggiungi livelli sempre più alti di autonomia questa volta l'anno scorso
Circa 2.000 auto che guidano il nostro software beta FSD da allora abbiamo significativamente
Migliorare il software come robustezza e capacità che ora lo abbiamo spedito a 160.000 clienti ad oggi
sì [applauso]
Questo non è arrivato gratuitamente, è venuto dal sudore e dal sangue del team di ingegneria nell'ultimo anno
Ad esempio abbiamo formato 75.000 modelli di rete neurale solo un anno che è
all'incirca un modello ogni otto minuti che sai che esce dal team e poi li valutiamo sul nostro grande
cluster e poi spediamo 281 di quei modelli che migliorano effettivamente le prestazioni dell'auto
e questo spazio di innovazione sta accadendo durante lo stack il software di pianificazione
infrastruttura Gli strumenti addirittura assumendo tutto sta progredendo al livello successivo
Il software beta FSG è abbastanza in grado di guidare l'auto da cui dovrebbe essere in grado di navigare
Parcheggio al parcheggio che gestisce il CDC che guida l'arresto per i semafori e i segnali di stop
negoziare con gli oggetti agli incroci che fanno giri e così via
Tutto questo deriva dai flussi di telecamere che passano attraverso le nostre reti neurali che funzionano sull'auto stessa è
Non tornare al server o qualsiasi cosa funziona sull'auto e produce tutti gli output per formare il modello mondiale
Intorno all'auto e il software di pianificazione guida l'auto in base a questo
Oggi entreremo in molti componenti che compongono il sistema che la rete di occupazione funge da base
strato di geometria del sistema questo è un video neurale multi-fotocamera
rete che dalle immagini prevede l'intera occupazione fisica del mondo intorno
il robot quindi tutto ciò che è fisicamente presente mura per alberi edifici per le pareti
Ti prevede se è presente specificamente, li prevede insieme al loro movimento futuro
In cima a questo livello di geometria base abbiamo più strati semantici per farlo
Naviga per le strade, ovviamente abbiamo bisogno dell'obiettivo, ma poi le strade hanno un sacco di
corsie diverse e si collegano in tutti i modi, quindi in realtà è un problema davvero difficile per il computer tipico
tecniche di visione per prevedere l'insieme di aerei e le loro connettività in modo che abbiamo raggiunto il linguaggio
Tecnologie e poi ha estratto lo stato dell'arte da altri settori e non solo per la visione per fare questo compito
possibile per i veicoli abbiamo bisogno del loro stato cinematico completo per controllarli
Tutto ciò proviene direttamente dai flussi video neurali neurali che i flussi di video RAW entrano nelle reti passano molto
di elaborazione e quindi emette lo stato cinematico completo che posiziona l'accelerazione di velocità che scatta tutto questo
esce direttamente dalle reti con elaborazione minima che è davvero affascinante per me perché come va
Questo anche possibile in quale mondo viviamo in quanto questa magia è possibile che queste reti prevedano il quarto
derivati di queste posizioni quando la gente pensava che non potessimo nemmeno rilevare questi oggetti
La mia opinione è che non è arrivato gratuitamente, ha richiesto tonnellate di dati, quindi avevamo un po 'sofisticato etichettatura automatica
Sistemi che brillano attraverso i dati del sensore grezzo eseguono una tonnellata di calcolo offline su
server che possono essere necessari alcune ore a costose reti neurali distillano le informazioni in etichette che allenano le nostre
reti neurali in auto oltre a questo utilizziamo anche il nostro sistema di simulazione per sinteticamente
Crea immagini e dal momento che è una simulazione, abbiamo banalmente tutte le etichette
Tutto ciò passa attraverso una pipeline del motore di dati ben oliato dove prima
Allena un modello di base con alcuni dati spediscilo all'auto, vedi quali sono i fallimenti e una volta conosci i guasti
estraiamo la flotta per i casi in cui non riesce a fornire le etichette corrette e aggiungiamo i dati al set di formazione
Questo processo risolve sistematicamente i problemi e lo facciamo per ogni attività che funziona in macchina
Sì e per formare queste nuove enormi reti neurali quest'anno abbiamo ampliato la nostra infrastruttura di formazione per approssimativamente
Dal 40 al 50 percento in modo che ci si sieda a circa 14.000 GPU oggi in più
I cluster di formazione negli Stati Uniti abbiamo anche lavorato al nostro compilatore AI che
ora supporta le nuove operazioni necessarie da quelle reti neurali e le mappano al meglio del nostro sottostante
Le risorse hardware e il nostro motore di inferenza oggi sono in grado di distribuire l'esecuzione di
una singola rete neurale su due sistemi indipendenti su navi essenzialmente due computer indipendenti interconnessi
All'interno del semplice computer a guida autonoma e per renderlo possibile dobbiamo mantenere uno stretto controllo sulla fine-to-end
Latenza di questo nuovo sistema, quindi abbiamo distribuito un codice di pianificazione più avanzato attraverso la piattaforma FSD completa
Tutte queste reti neurali in esecuzione nell'auto insieme producono lo spazio vettoriale che è di nuovo il modello del
Il mondo intorno al robot o all'auto e poi il sistema di pianificazione opera oltre questo in arrivo con traiettorie che
Evita le collisioni o fai un progresso regolare verso la destinazione utilizzando una combinazione di ottimizzazione basata sul modello
più la rete neurale che aiuta a ottimizzarla per essere molto veloce
Oggi siamo davvero entusiasti di presentare progressi su tutte queste aree in cui abbiamo i lead ingegneristici in piedi
Entra e spiega questi vari blocchi e questi alimentazione non solo l'auto, ma gli stessi componenti funzionano anche su Optimus
robot che Milano ha mostrato in precedenza che benvenuto il panel per iniziare a parlare della sezione di pianificazione
Ciao a tutti, sono parente articolare, usiamo questo scenario di intersezione
Ci immergiamo direttamente nel modo in cui facciamo la pianificazione e il processo decisionale nell'autopilota, quindi ci stiamo avvicinando a questo incrocio
da una strada laterale e dobbiamo cedere a tutti i veicoli di attraversamento mentre stiamo per entrare nel
incrocio il pedone dall'altra parte dell'incrocio decide di attraversare la strada
Senza un passaggio pedonale ora dobbiamo cedere a questo rendimento pedonale ai veicoli dalla destra e
Comprendere anche la relazione tra il pedone e il veicolo dall'altra parte dell'intersezione
Quindi molte di queste dipendenze intra-oggetti che dobbiamo risolvere in una rapida occhiata
E gli umani sono davvero bravi in questo guardiamo una scena comprendiamo tutte le possibili interazioni valutare di più
quelli promettenti e generalmente finiscono per sceglierne uno ragionevole
Quindi diamo un'occhiata ad alcune di queste interazioni che il sistema di pilota automatico ha valutato avremmo potuto andare di fronte a questo
pedone con un lancio molto aggressivo in un profilo laterale ora ovviamente siamo un coglione per il
Pedonale e avremmo spaventato il pedone e il suo grazioso animale domestico che avremmo potuto andare avanti lentamente corto
Per un divario tra il pedone o e il veicolo da destra di nuovo siamo un coglione per il veicolo
Venendo da destra, ma non dovresti rifiutare definitivamente questa interazione nel caso in cui questa sia solo un'interazione sicura disponibile
Infine, l'interazione che abbiamo finito per scegliere di rimanere lento inizialmente trova il ragionevole
Gap e poi finire la manovra dopo tutti gli agenti passano
Ora la valutazione di tutte queste interazioni non è banale soprattutto quando ti interessa la modellazione
i derivati di ordine superiore per altri agenti, ad esempio qual è il longitudinale
Serra richiesto dal veicolo proveniente da destra quando si afferma di fronte a esso affidandosi esclusivamente ai controlli di collisione con
Le previsioni modulari ti porteranno finora solo perché perderai molte interazioni valide
Questo sostanzialmente si riduce alla risoluzione di un problema di pianificazione della traiettoria articolare multi-agente sulle traiettorie dell'ego e
Tutti gli altri agenti ora quanto mai ottimizzi ci sarà un limite alla velocità con cui puoi
Esegui questo problema di ottimizzazione, sarà vicino all'ordine di 10 millisecondi anche dopo molte approssimazioni incrementali
Ora per una tipica affollata imprevedibile sinistra, dice che hai più di 20 oggetti ciascuno
Oggetto che ha più diverse modalità future Il numero di combinazioni di interazione rilevante farà esplodere
Noi il pianificatore deve prendere una decisione ogni 50 millisecondi, quindi come risolviamo questo in tempo reale
Facciamo affidamento su un framework ciò che chiamiamo ricerca di interazione che è fondamentalmente una ricerca parallelizzata su un mucchio di
traiettorie di manovra Lo spazio dello stato qui corrisponde allo stato cinematico dell'ego il cinematico
Stato di altri agenti le previsioni multiple multiple nominali e tutte le entità statiche nella scena
Lo spazio d'azione è dove le cose diventano interessanti usiamo una serie di traiettoria di manovra
candidati a ramificare per un sacco di decisioni interazionali e anche obiettivi incrementali per un lungo
Horizon Maneuver passiamo attraverso questa ricerca molto rapidamente per avere un'idea di come funziona
Iniziamo con una serie di misurazioni della visione, vale a
Estrazioni sparse e funzionalità latenti lo utilizziamo per creare un set di obiettivi
Candidati di nuovo corsie dalla rete di corsie o regioni non strutturate che corrispondono a
Una maschera di probabilità derivata da dimostrazioni umane una volta che abbiamo un sacco di oro
candidati creiamo traiettorie di semi usando una combinazione di approcci di ottimizzazione classica e il nostro
Pianificatore di rete di nuovo addestrato sui dati dal feed del cliente ora una volta che ne avremo un sacco di questi
traiettorie che le usiamo per iniziare a ramificarsi sulle interazioni troviamo l'interazione più critica
Nel nostro caso questa sarebbe l'interazione rispetto al pedone se lo affermiamo di fronte o ce la cediamo ad esso
Ovviamente l'opzione a sinistra è un'opzione di rigore elevata che probabilmente non avrà la priorità, quindi ci ramifichiamo ulteriormente
L'opzione a destra ed è qui che introduciamo interazioni sempre più complesse costruendo questa ottimizzazione
Problema in modo incrementale con sempre più vincoli e che la ricerca continua a fluire di ramificarsi su più interazioni
Su più obiettivi ora molti trucchi qui si trovano nella valutazione di ciascuno di questo nodo
della ricerca all'interno di ciascun nodo inizialmente abbiamo iniziato con la creazione
traiettorie che utilizzano approcci di ottimizzazione classica in cui i vincoli come ho descritto sarebbero aggiunti in modo incrementale
E questo richiederebbe da uno a cinque millisecondi per azione ora anche se questo è abbastanza buono
Numero quando si desidera valutare più di 100 interazioni, questo non si ridimensiona
Quindi abbiamo finito per costruire reti query leggero che puoi eseguire nel ciclo del pianificatore
Queste reti sono addestrate su manifestazioni umane dalla flotta e risolutori offline con limiti di tempo rilassati
Con questo siamo stati in grado di portare il runtime in fuga per chiudere 200 microsecondi per azione
Ora fare questo da solo non è abbastanza perché hai ancora questa enorme ricerca che devi andare
attraverso e devi potare in modo efficiente lo spazio di ricerca, quindi devi fare un punteggio Do su ciascuno
Di queste traiettorie poche di queste sono abbastanza standard, fai un sacco di controlli di collisione fai un sacco di analisi di comfort qual è il coglione e
effettivamente richiesto per una determinata manovra, i dati della flotta dei clienti svolgono di nuovo un ruolo importante qui
Eseguiamo due set di reti variabili di nuovo leggero che si aumentano davvero a vicenda da esse addestrate
Interventi dalla flotta beta FST che dà un punteggio sulla probabilità che sia una determinata manovra
Interventi nei prossimi secondi e secondi, il che è puramente sulle dimostrazioni umane Dati guidati dall'uomo
Un punteggio su quanto è vicina l'azione selezionata per una traiettoria guidata dall'uomo
Il punteggio ci aiuta a potare lo spazio di ricerca a continuare a ramificarne ulteriormente sulle interazioni e a concentrarsi il calcolo
i risultati più promettenti della parte interessante di questo
L'architettura è che ci consente di creare una miscela fresca tra approcci guidati da UH in cui tu
non è necessario fare affidamento su molti costi ingegnerizzati a mano, ma anche in realtà con controlli basati sulla fisica
ora molto di quello che ho descritto era rispetto agli agenti che potremmo osservare nella scena ma lo stesso
Framework si estende agli oggetti dietro le occlusioni, utilizziamo il feed video da otto telecamere
Per generare l'occupazione 3D del mondo la maschera blu qui corrisponde al
regione di visibilità che lo chiamiamo sostanzialmente viene bloccato al primo
occlusione che vedi nella scena consumiamo questa maschera di visibilità per generare ciò che chiamiamo oggetti fantasma che tu
può vedere in alto a sinistra ora se si modella le regioni spawn e le transizioni di stato di questo fantasma
Oggetti correttamente se si ottiene la tua risposta di controllo come un
funzione di quella probabilità di esistenza puoi estrarre alcuni comportamenti simili a umani davvero belli
Ora lo trasmetterò per riempire per descrivere di più su come generiamo queste reti di occupazione
hey ragazzi mi chiamo phil uh condividerò i dettagli della rete di occupazione che costruiamo nell'ultimo anno
Questa rete è la nostra soluzione per modellare il lavoro fisico in 3D attorno alle nostre auto e attualmente non è mostrata nella nostra
Visualizzazione che affronta i clienti e ciò che vedremo qui è l'output della rete stradale dal nostro strumento di sviluppo interno
La rete di occupazione prende flussi video di tutte le nostre 80 telecamere poiché l'input produce un singolo volumetrico unificato
Occupazione nello spazio vettoriale direttamente per ogni posizione 3D intorno alla nostra auto IT
prevede la probabilità che quel luogo sia occupato molto poiché ha contatti video.
capace di prevedere ostacoli istantaneamente
Per ogni posizione produce anche una serie di semantiche come il pedone del Curb Car
e detriti bassi come codice colore qui
Il flusso di occupazione è anche previsto per il movimento poiché il modello è una rete generalizzata
non dice oggetti statici e dinamici esplicitamente che è in grado di produrre e
Modella i movimenti casuali come l'allenatore swerving qui
Questa rete è attualmente in esecuzione in tutti i Teslas con computer FSD ed è
Fun incredibilmente efficiente circa ogni 10 millisecondi con il nostro acceleratore neurale
Quindi, come fa questo lavoro diamo un'occhiata all'architettura prima con cui correggiamo ogni immagine della fotocamera
La calibrazione della fotocamera e le immagini sono state mostrate qui sono state fornite alla rete in realtà non è
la tipica immagine RGB a 8 bit come puoi vedere dalle prime immagini in cima
Dare l'immagine dell'account fotografico RAW a 12 bit alla rete poiché ne ha quattro
bit più informazioni ha una gamma dinamica 16 volte migliore e ridotta
latenza poiché non abbiamo più l'ISP sbagliato in Adobe usiamo una serie di record e ritorno
Fps come spina dorsale per estrarre le immagini delle immagini funzionalità successivamente costruiamo un set di posizione 3D
Query insieme allo spazio IMG come chiavi e valori si adattano a un modulo di attenzione
L'output del modulo di attenzione è caratteristiche spaziali di alta dimensione
Queste caratteristiche speciali sono allineate temporaneamente utilizzando odometria del veicolo
Per derivare il movimento per ultimo, questa caratteristiche temporali spaziali vanno
Attraverso una serie di convoluzione D per produrre l'occupazione finale e l'uscita del flusso di occupazione
Si formano come grigio boxer di dimensioni fisse che potrebbe non essere abbastanza preciso per la pianificazione del controllo
Al fine di ottenere una risoluzione più elevata produciamo anche per mappe di funzionalità voxel che si alimenteranno in MLP con 3D Spatial
Domande puntuali per ottenere posizione e semantica in qualsiasi posizione arbitraria
Dopo aver conosciuto meglio il modello diamo un'occhiata a un altro esempio qui abbiamo un autobus articolato parcheggiato a destra
riga laterale evidenziata come pugile a forma di L qui mentre ci avviciniamo all'autobus
Spostare il blu La parte anteriore del carrello diventa blu prima indicando che il modello prevede che il bus frontale ha uno zero
Il flusso di occupazione e il bus S continua a muovere l'intero bus diventa blu
E puoi anche vedere che la rete prevede la curvatura precisa del bus
Bene, questo è un problema molto complicato per la tradizionale rete di rilevamento degli oggetti come devi vedere se lo farò
Usa un cuboide o forse un due per adattarsi alla curvatura ma per la rete di occupazione
Dal momento che tutto ciò che ci interessa è l'occupazione nello spazio visibile e saremo in grado di modellare la curvatura precisamente
Oltre al grado Voxel, la rete di occupazione produce anche una superficie abilitabile
La superficie drittabile ha sia geometria 3D che semantica, sono molto utili per il controllo soprattutto sulla guarigione
e strade curvy La superficie e il grigio voxel non sono previsti in modo indipendente invece
Voxel Grid in realtà si allinea con la superficie implicitamente eccolo qui a una ricerca di eroi in cui tu
può vedere la geometria 3D della superficie prevista bene
Il pianificatore può usare queste informazioni per decidere forse dobbiamo rallentare di più per Hillcrest e come puoi anche
vedere il voxel di grado in linea con la superficie costantemente
Oltre alla fonte della scatola e alla superficie siamo anche molto entusiasti della recente svolta nel campo delle letture neurali o
Nerf stiamo esaminando entrambi incorporare alcune delle caratteristiche del colore chiaro
Allenamento della rete di occupazione e utilizzo della nostra rete come stato di input per NERF
È un dato di fatto che Ashok è molto entusiasta di questo questo è stato il suo progetto di weekend personale per un po '
su questi nervi perché penso che il mondo accademico ne stia costruendo molti
Modelli di fondazione Uh per il linguaggio usando tonnellate di grandi set di dati per il linguaggio ma penso per i nervi della visione
forniranno i modelli di fondazione per la visione informatica perché sono radicati in geometria e geometria
ci dà un bel modo per supervisionare queste reti e il congelamento del requisito per definire un'ontologia e il
La supervisione è essenzialmente gratuita perché devi solo rendere differenzialmente queste immagini, quindi penso in futuro
Idea della rete di occupazione in cui si sa che le immagini arrivano e quindi la rete produce un coerente
Rappresentazione volumetrica della scena che può quindi essere resa in modo differenziale in qualsiasi immagine che è stata osservata i I
personalmente pensa che sia un futuro della visione artificiale e sai che facciamo un lavoro iniziale su di esso in questo momento ma io
Pensa in futuro sia a Tesla che nel mondo accademico vedremo che questi
La combinazione di previsione a un colpo di occupazione volumetrica sarà quella
La mia scommessa personale sessuale quindi ecco un esempio di primo risultato di a
Ricostruzione 3D dai nostri dati gratuiti invece di concentrarsi su come ottenere una perfetta riproiezione di RGB nello spazio di imaging nostro
L'obiettivo primario qui è rappresentare accuratamente lo spazio 3D di avvertimento per la guida e vogliamo farlo per tutti
I nostri dati gratuiti nel mondo in tutte le condizioni meteorologiche e di illuminazione e ovviamente questo è molto impegnativo
problema e stiamo cercando voi ragazzi per aiutare finalmente la rete di occupazione è addestrata
Con un set di dati di grande livello automatico senza essere umani nel ciclo e con ciò passerò a Tim per parlare
su ciò che serve per addestrare questa rete grazie a Phil
[Applauso] Va bene, hey tutti parliamo di un po 'di formazione
infrastruttura così abbiamo visto un paio di video che conosci quattro o cinque uh credo e ti preoccupi
più e preoccuparti di più su molte più clip su questo, quindi abbiamo guardato
Le reti di occupazione solo da Phil riempono solo i video che ci vogliono 1,4 miliardi
frame per addestrare quella rete ciò che hai appena visto e se hai centomila GPU Uh ci vorrebbe un'ora
Ma se hai Uh una GPU ci vorrebbero centomila ore, quindi non lo è
Un periodo di tempo umano che puoi aspettare che il tuo lavoro di formazione funzioni bene, vogliamo spedire più velocemente di così in modo che
significa che dovrai diventare parallelo, quindi hai bisogno di un calcolo più per questo significa che avrai bisogno di un
Supercomputer Quindi è per questo che abbiamo costruito tre supercomputer in casa
di 14.000 GPU in cui utilizziamo 10.000 GPU per l'allenamento e circa quattromila
GPU per l'etichettatura automatica Tutti questi video sono archiviati in 30 petabyte di un video gestito distribuito
cache non dovresti pensare ai nostri set di dati come fissa, diciamo che pensi al tuo
ImageNet o qualcosa che conosci come un milione di cornici dovresti pensarlo come una cosa molto fluida, quindi abbiamo un
Mezzo milione di questi video che scorre dentro e fuori da questo cluster questi cluster ogni singolo giorno
e tracciamo 400 000 di questo tipo di istanziazioni video Python ogni secondo
Quindi sono molte chiamate che avremo bisogno di catturarlo per governare le politiche di conservazione di questo
cache video distribuita così alla base di tutto questo è un'enorme quantità di infra tutti i quali costruiamo e gestiamo
internamente così non puoi semplicemente comprarti conosciuto 40 000
GPU e poi 30 petabyte di flash mvme e lo mettono insieme e andiamo ad allenarci in realtà ci vogliono molto
Lavora e ci entrerò un po 'quello che in realtà in genere vuoi fare è che vuoi prendere il tuo acceleratore così
che potrebbe essere la GPU o il dojo di cui parleremo più tardi e perché è il più costoso
componente È qui che vuoi mettere il collo di bottiglia e questo significa che ogni singola parte del tuo sistema è
dovrà sovraperformare questo acceleratore e quindi è davvero complicato
significa che la tua memoria dovrà avere le dimensioni e la larghezza di banda per consegnare tutti i dati nei nodi
Questi nodi devono avere la giusta quantità di CPU e capacità di memoria per alimentare l'apprendimento automatico
framework Questo framework di apprendimento automatico deve quindi consegnarlo alla tua GPU e quindi puoi iniziare ad allenarti ma poi tu
devi farlo su centinaia o migliaia di GPU in modo affidabile
Logstap e in un modo che è anche veloce, quindi avrai anche bisogno di un'interconnessione estremamente complicata parleremo di più
A proposito di Dojo in un secondo, quindi prima voglio portarti da alcuni
Ottimizzazioni che abbiamo fatto sul nostro cluster, quindi stiamo ottenendo molti video e
Il video è molto diverso da diciamo l'allenamento su immagini o testo che penso sia un video molto ben consolidato sia abbastanza
Letteralmente una dimensione più complicata e quindi è per questo che dovevamo andare fine
Per terminare dal livello di archiviazione fino all'acceleratore e ottimizzare ogni singolo pezzo perché ci alleniamo sul conteggio dei fotoni
video che provengono direttamente dalla nostra flotta che alleniamo direttamente su quelli che non pubblichiamo affatto quelli
Il modo in cui è appena fatto è che cerchiamo esattamente ai frame che selezioniamo per il nostro lotto cariciamo quelli inclusi il
cornici da cui dipendono, quindi questi sono i tuoi iframes o i tuoi frame chiave confezionarli
memoria spostali in una doppia barra dalla GPU e quindi usa il decodificatore hardware che è solo accelerato
In realtà decodifica il video, quindi lo facciamo in modo nativo sulla GPU e questo è tutto in un'estensione molto bella di Python Pytorch
facendo così sbloccato più di 30 aumento della velocità di allenamento per le reti di occupazione e liberato praticamente un insieme
CPU per fare qualsiasi altra cosa um non puoi semplicemente fare allenamenti con
Video ovviamente hai bisogno di una sorta di verità di terra uh e uh che in realtà è un problema interessante anche il
Obiettivo per conservare la verità della tua terra è che vuoi assicurarti di arrivare alla tua verità di terra di cui hai bisogno in
quantità minima di operazioni di file system e carico nella dimensione minima di ciò che hai bisogno per ottimizzare per l'aggregato
throughput del cluster incrociato perché dovresti vedere un cluster di calcolo come un grande dispositivo che è stato risolto internamente
vincoli e soglie, quindi per questo abbiamo lanciato un formato che
è originario di noi che si chiama piccolo, lo usiamo per la nostra verità di terra la nostra cache di funzionalità e qualsiasi output di inferenza
Quindi molti tensori che sono lì e quindi solo il cartone animato qui diciamo che questi sono il tuo uh è il tuo tavolo che tu
voglio riporre allora è così che sarebbe così se fossi lanciato sul disco, quindi quello che fai è prendere qualsiasi cosa tu faresti
Vuoi indicizzare, ad esempio, i timestamp video metti tutti quelli nell'intestazione in modo che nell'intestazione iniziale
Leggi che sai esattamente dove andare sul disco, quindi se hai dei tensori, proverai a trasporre il
Dimensioni per mettere duramente una dimensione diversa come dimensione contigua e quindi provare anche diversi tipi di
Compressione quindi controlli quale era più ottimale e quindi memorizzi quello che è in realtà un passo enorme se lo fai
Funzionalità di memorizzazione nella memorizzazione nella memorizzazione nella cache dell'intelligibile output dalla rete di apprendimento automatico ruotare attorno al
Dimensioni un po 'puoi ottenere fino a 20 aumento dell'efficienza dello spazio di archiviazione, quindi quando lo memorizziamo
ordinato le colonne per dimensioni in modo che tutte le piccole colonne e i piccoli valori siano insieme in modo che quando cerchi un
Valore singolo che probabilmente si sovrappongono con una lettura su più valori che utilizzerai in seguito in modo da non dover fare
Un'altra operazione di file system in modo che potessi continuare e ho continuato
su due progetti che abbiamo internamente, ma questo fa effettivamente parte di un enorme sforzo continuo per ottimizzare il
calcola che abbiamo internamente accumulando e aggregando attraverso tutte queste ottimizzazioni ora alleniamo le nostre
Reti di occupazione due volte più velocemente solo perché è due volte più efficiente e ora se aggiungiamo un sacco di calcolo e vai
parallelo non possiamo addestrarlo in ore anziché in giorni e con ciò mi piacerebbe consegnarlo
Il più grande utente di Calcol John
Ciao a tutti, mi chiamo John Emmons, guido il team di Vision AutoPilot, coprirò due argomenti con te
Oggi il primo è come prevediamo le corsie e il secondo è come prevediamo il comportamento futuro di altri agenti sulla strada
All'inizio del pilota automatico abbiamo modellato il problema di rilevamento della corsia come attività di segmentazione istantanea dello spazio delle immagini
La nostra rete era super semplice anche se in realtà era in grado di stampare corsie da alcuni diversi tipi di
Geometrie specificamente segmentare la corsia di aquila potrebbe segmentare adiacente
corsie e poi aveva un involucro speciale per le forcelle e unisce questa modellazione semplicistica del problema
ha lavorato per strade altamente strutturate come le autostrade ma oggi stiamo cercando di costruire un sistema
Questo è in grado di fare manovre molto più complesse in particolare che vogliamo fare le curve a destra sugli incroci
dove la topologia stradale può essere un po 'più complessa e diversificata quando proviamo ad applicare questa modellazione semplicistica del
problema qui si rompe totalmente facendo un passo indietro per un momento cosa
Stiamo cercando di fare qui è prevedere il set di scintili di istanze zoppi nella loro connettività e quello che vogliamo fare è avere un
rete neurale che prevede sostanzialmente questo grafico in cui i nodi sono i segmenti di corsia e i bordi codificano il
Connettività tra queste corsie, quindi quello che abbiamo è il rilevamento della nostra corsia
rete neurale è composta da tre componenti nel primo componente abbiamo una serie di
strati convoluzionali strati di attenzione e altri livelli di rete neurale che codificano i flussi video dai nostri otto
telecamere sul veicolo e produce una ricca rappresentazione visiva
Miglioriamo quindi questa rappresentazione digitale con una grossa mappa dei livelli di mappa di roadmap con cui codifichiamo
Un insieme di ulteriori livelli di rete neurale che chiamiamo il modulo di orientamento corsia questa mappa non è una mappa HD ma è
Fornisce molti suggerimenti utili sulla topologia delle corsie all'interno delle intersezioni che le corsie contano su varie strade e una serie di altri attributi che
Aiutaci i primi due componenti qui hanno prodotto un
tensore denso che codifica il mondo, ma quello che vogliamo davvero fare è convertire questo denso tensore in un
Set intelligente di corsie nelle loro connettività affrontiamo questo problema come un'immagine
Attività di didascalia in cui l'input è questo tensore denso e il testo di output è previsto in un linguaggio speciale che
Ci siamo sviluppati a Tesla per codificare le corsie nelle loro connettività in questo linguaggio di corsie le parole e
I token sono le posizioni della corsia nello spazio 3D nell'ordinamento dei token introdotti modificatori nei token
codificare le relazioni connettive tra queste corsie modellando l'attività come lingua
problema che possiamo capitalizzare su recenti architetture e tecniche autoregressive della comunità linguistica per gestire il multiplo
Modalità del problema Non stiamo solo risolvendo il problema della visione artificiale nell'autopilota, stiamo anche applicando lo stato dell'arte e
Modellistica linguistica e apprendimento automatico più in generale ora mi immergerò un po 'più in dettaglio questa componente linguistica
Quello che ho rappresentato sullo schermo qui è l'immagine satellitare che rappresenta l'area locale intorno al
Veicolo Il set di bordi di Nosing è ciò che chiamiamo il grafico della corsia ed è in definitiva ciò che vogliamo uscire da questo neurale
Network Iniziamo con una lavagna vuota che vorremmo fare il nostro primo
Previsione qui a questo punto verde questa posizione di punti verdi è codificata come
Un indice in una griglia del corso che discreti il mondo 3D ora non prevediamo direttamente questo indice
Perché sarebbe troppo costoso da fare, quindi ci sono troppi punti della griglia e prevedere un categorico
La distribuzione su questo ha sia implicazioni al momento della formazione che nel tempo di prova, quindi invece ciò che facciamo è distrustare il
Il mondo è grossolano per primo prevediamo una mappa di calore nelle possibili posizioni e poi ci aggrappiamo nella posizione più probabile
Su questo perfezioniamo quindi la previsione e otteniamo il punto preciso
Ora sappiamo dove è la posizione di questo token non conosciamo il suo tipo in questo caso, anche se è l'inizio di un nuovo
Corsia quindi ci avviciniamo a un tochen iniziale e perché è un token a stella non c'è NON
Attributi aggiuntivi nella nostra lingua, quindi prendiamo le previsioni da questo primo passaggio in avanti e le codifichiamo
Utilizzando un incorporamento aggiuntivo appreso che produce una serie di tensori che combiniamo insieme
che in realtà è la prima parola nella nostra lingua di corsie, lo aggiungiamo alla prima posizione di You Know nella nostra frase qui
Continuiamo quindi questo processo stampando il punto di corsia successivo in modo simile
Ora questo punto di corsia non è l'inizio di una nuova corsia è in realtà una continuazione della corsia precedente
Quindi è un tipo di token di continuazione ora non è abbastanza solo saperlo
Questa corsia è collegata al piano precedentemente protetto che vogliamo codificare la sua geometria precisa che facciamo
Regredire un insieme di coefficienti spline, quindi prendiamo questa corsia codifichiamo
Ancora una volta e aggiungilo come la parola successiva nella frase continuiamo a prevedere queste corsie di continuazione fino a quando non arriviamo al
Fine della griglia di previsione, quindi passiamo a un segmento di corsia diverso in modo da poter vedere quel ciano punta lì ora
Non è topologicamente connesso a quel punto rosa, in realtà si sta birzando di quel blu scusa quel verde
punta lì in modo che abbia un tipo di forchetta e token fork
in realtà punta indietro ai token precedenti da cui origina la forcella in modo da te
può vedere qui il predittore del punto fork è in realtà l'indice zero, quindi in realtà si riferisce ai token che è già previsto come faresti
linguamo continuiamo più e più volte questo processo fino a quando non abbiamo elencato tutto il
token nel grafico del ling e quindi la rete prevede la fine del token di frase
sì, voglio solo notare che il motivo per cui lo facciamo non è solo perché vogliamo costruire qualcosa di complicato
Quasi sembra una macchina completa di Turing qui con reti neurali, tuttavia è che abbiamo provato semplici approcci per
Esempio Uh che cerca di segmentare le corsie lungo la strada o qualcosa del genere, ma poi il problema è quando
C'è incertezza dire che non puoi vedere la strada chiaramente e potrebbero esserci due corsie o tre corsie e non puoi dirlo
Un semplice approccio basato sulla segmentazione trarrebbe entrambi entrambi è una specie di situazione di corsia di 2,5 e il
L'algoritmo post elaborazione fallirebbe esilarante quando le previsioni sono così sì, i problemi non finiscono qui intendo
È necessario prevedere queste condizioni connettive come queste corsie connettive all'interno delle intersezioni che non è possibile con l'approccio che
La menzione di Ashok, ed è per questo
Sai metterli su livelli separati È solo un problema davvero difficile quale lingua offre solo una struttura davvero piacevole per ottenere moderni
campione da un posteriore invece di sapere che prova a fare tutto questo in post-elaborazione
Ma questo in realtà non si ferma per il solo pilota automatico a destra John Questo può essere usato di nuovo per Optimus, sai che immagino che non lo sarebbero
Chiamate corsie ma potresti immaginare di sapere in questo modo in questo tipo di fase qui che potresti avere una sorta di percorsi che in qualche modo tu sappia codificare il possibile
Luoghi che le persone potrebbero camminare sì, è fondamentalmente se sei in una fabbrica o in un ambiente di casa tu conosci
Puoi solo chiedere al robot ok, lasciami, per favore, parla con la cucina o per favore instrada in una posizione in fabbrica
E poi prevediamo una serie di percorsi che vorresti che attraversate i corridoi prendi il robot e dico questo
è il modo in cui arrivi in cucina ci dà davvero un bel framework per modellare questi diversi percorsi che semplificano il problema di navigazione o
Pianificatore a valle va bene così alla fine da ciò che otteniamo
Questa rete di rilevamento di corsie è un insieme di corsie nelle loro connettività che provengono direttamente dalla rete c'è
Nessun ulteriore passo qui per semplificare questi, conosci previsioni dense in quelle indisperse
Questo è solo un output diretto non filtrato della rete
ok, quindi ho parlato un po 'di corsie che toccherò brevemente il modo in cui modelliamo e prevediamo i percorsi futuri
Altra semantica sugli oggetti, quindi vado molto rapidamente attraverso due esempi sul video sul
Proprio qui abbiamo un'auto che sta effettivamente gestendo una luce rossa e che si gira davanti a noi ciò che facciamo per gestire
Situazioni come questa sono prevediamo una serie di traiettorie future di breve orizzonte su tutti gli oggetti che possiamo usare
Questi per anticipare la situazione pericolosa qui e applicare qualunque cosa tu sappia che la frenata e lo sterzo sono necessarie per evitare una collisione
Nel video a destra ci sono due veicoli davanti a noi quello sulla corsia di sinistra è parcheggiato apparentemente
Essere caricato scaricato Non so perché l'autista abbia deciso di parcheggiare lì, ma l'importante è che la nostra rete neurale ha previsto che fosse fermato
che è il colore rosso lì em il veicolo nell'altra corsia come noti è fermo ma quello
Ovviamente solo aspettando che quella luce rossa diventi verde, quindi anche se entrambi gli oggetti sono fermi e hanno una velocità zero è la semantica che è
davvero importante qui in modo da non rimanere bloccati dietro quella macchina goffamente parcheggiata
Prevedere tutti questi attributi agenti presenta alcuni problemi pratici quando si cerca di costruire un sistema in tempo reale
Dobbiamo massimizzare la frequenza dei frame del nostro stack della sezione oggetti in modo che il pilota automatico possa reagire rapidamente all'ambiente in evoluzione
Ogni millisecondo conta davvero qui per ridurre al minimo la latenza dell'inferenza La nostra rete neurale è divisa in due fasi
Nella prima fase abbiamo identificato le posizioni nello spazio 3D in cui esistono agenti
Nella seconda fase, quindi estraggiamo i tensori in quelle posizioni 3D lo aggiungono dati aggiuntivi che si trovano sul
veicolo e poi sappiamo che eseguono il resto dell'elaborazione Questa fase di specifica consente il
Neural Network per focalizzare calcolare le aree che contano di più, il che ci offre prestazioni superiori per una frazione del costo della latenza
Quindi mettere tutto insieme lo stack della visione del pilota automatico prevede più della semplice geometria e cinematica di
Il mondo prevede anche una serie ricca di semantica che consente una guida sicura e umana
Non ho intenzione di passare le cose in strada ci diremo come gestiamo tutte queste fantastiche reti neurali sul nostro computer FSD grazie
[Applausi]
ciao a tutti sono sri oggi, darò a dare un'occhiata a ciò che serve per gestire queste reti FSC in
auto e come possiamo ottimizzare per la latenza dell'inferenza UH oggi mi concentrerò solo sul
Rete di corsie fsg di cui John ha appena parlato
Quindi, quando hai iniziato questa traccia, volevamo sapere se possiamo eseguire questa rete di corsie FSC in modo nativo sul motore di viaggio
Che è il nostro acceleratore di rete neurale interna che abbiamo costruito nel computer FSD
Quando costruiamo questo hardware lo abbiamo mantenuto semplice e ci siamo assicurati che potesse farlo
cosa ridicolmente veloce dei prodotti a punta ma questa architettura è automatica
regressivo e iterativo in cui scricchiola attraverso i blocchi di attenzione multipla nel circuito interno
produrre punti sparsi direttamente ad ogni passo, quindi la sfida qui era come
Possiamo fare questa previsione del punto di analisi e il calcolo sparso su un motore di prodotto a punto denso vediamo come abbiamo fatto questo
Durante il viaggio in modo che la rete preveda la mappa di calore di
Posizioni spaziali più probabili del punto ora facciamo un max arc e uno
Operazione cardiaca che fornisce la codifica dura dell'indice della posizione spaziale
Ora dobbiamo selezionare l'incorporamento associato a questo indice da una tabella di incorporamento che viene appreso durante
Formazione per fare questo in viaggio Abbiamo effettivamente costruito un tavolo da ricerca in SRAM e abbiamo progettato
Le dimensioni di questo incorporamento in modo tale da poter ottenere tutto questa cosa con la moltiplicazione della matrice
Non solo che volevamo anche archiviare questo incorporamento in una cache token così
che non lo ricomputiamo per ogni iterazione piuttosto che per riutilizzarlo per la previsione dei punti futuri di nuovo ne abbiamo tirato un po '
Trucchi qui in cui abbiamo fatto tutte queste operazioni proprio sul motore DOT Product È davvero bello che il nostro team
Ho trovato modi creativi per mappare tutte queste operazioni sul motore di viaggio in modi
Non erano nemmeno immaginati quando questo hardware è stato progettato, ma non è l'unica cosa che dobbiamo fare
fare per fare questo lavoro abbiamo effettivamente implementato molte operazioni e funzionalità per creare questo modello
Compilabile per migliorare l'accuratezza dell'assunzione e per ottimizzare le prestazioni
Tutte queste cose ci hanno aiutato a gestire il modello di parametri 75 milioni poco meno di 10
millisecondi di latenza che consuma solo 8 watt di potere
Ma questa non è l'unica architettura che corre nell'auto ci sono così tanti altri moduli e reti di architetture
Dobbiamo correre in macchina per dare un senso di scala ci sono circa un miliardo di parametri di tutte le reti
combinato producendo circa 1000 segnali di rete neurale, quindi dobbiamo assicurarci
Li ottimizziamo congiuntamente e tale che massimizziamo il calcolo
Utilizzo throughput e minimizzare la latenza in modo da costruire un compilatore solo per neurale
reti che condividono la struttura ai compilatori tradizionali come puoi vedere richiede il massiccio
Grafico delle reti neurali con 150k nodi e 375k Connection prende questa cosa
li divide in sottgrafi indipendenti e COM costringe ciascuno di questi
I sottografici in modo nativo per i dispositivi di inferenza, quindi abbiamo una rete neurale
Linker che condivide la struttura al linker tradizionale in cui eseguiamo questa ottimizzazione del tempo di collegamento
Lì risolviamo un problema di ottimizzazione offline per la memoria di calcolo e la memoria
vincoli di larghezza di banda in modo che sia fornito con un programma ottimizzato che viene eseguito in macchina
In runtime abbiamo progettato un sistema di pianificazione ibrido che fondamentalmente lo fa
Pianificazione eterogenea su un SOC e programmazione distribuita su entrambi i SOC per eseguire queste reti in un modello
modo parallelo per ottenere 100 gocce di utilizzo del calcolo dobbiamo ottimizzare in tutto il
livelli di software direttamente dalla messa a punto dell'architettura di rete il compilatore tutto
il modo per implementare un collegamento RDMA a bassa latenza ad alta latenza tra entrambi gli SRC e in effetti andare ancora più in profondità
Comprendere e ottimizzare la cache percorsi di dati coerenti e non coerenti dell'acceleratore nel SOC, questo è molto
di ottimizzazione ad ogni livello al fine di assicurarci di ottenere la frequenza fotogramma più alta e come conta ogni millisecondo
Qui e questo è solo questo è il
Visualizzazione delle reti neurali che stanno correndo nell'auto questo è il nostro cervello digitale essenzialmente come puoi vedere
Queste operazioni non sono altro che solo la convoluzione della moltiplicazione della matrice per nominare alcune operazioni reali che funzionano in macchina
Per addestrare o formare questa rete con un miliardo di parametri hai bisogno di molti dati etichettati, quindi Aegon parlerà
su come possiamo raggiungere questo obiettivo con la pipeline di etichettatura automatica
Grazie, grazie Sherry
Uh ciao a tutti sono Jurgen Zhang e sto conducendo una visione geometrica al pilota automatico
Quindi sì, parliamo di etichettatura automatica
Quindi abbiamo diversi tipi di tutti i framework di etichettatura per supportare vari tipi di reti ma oggi mi piacerebbe
Concentrati sulla rete fantastica delle corsie qui in modo da addestrare e generalizzare con successo
Questa rete a ovunque pensiamo di aver fatto decine di milioni di viaggi
probabilmente un milione di incrocio o anche di più
allora come farlo, quindi è certamente realizzabile fare sufficiente
importo di viaggi perché abbiamo già come Tim ha spiegato in precedenza abbiamo già 500.000 viaggi al giorno di cassa
Tuttavia, la conversione di tutti questi dati in un modulo di formazione è un problema tecnico molto impegnativo
Per risolvere questa sfida abbiamo provato vari modi di etichettatura manuale e automatica
La prima colonna alla seconda dal secondo al terzo ogni anticipo ci ha fornito un miglioramento di quasi 100 volte
throughput ma ancora Uh abbiamo vinto una macchina per l'etichettatura automatica ancora migliore in grado di fornire
fornire ai fornitori di buona qualità di diversità e scalabilità
Per soddisfare tutti questi requisiti UH nonostante l'enorme quantità di sforzi ingegneristici richiesti qui abbiamo sviluppato un
Macchina di etichettatura del nuovo ordine alimentato dalla ricostruzione multi-trib in modo che ciò possa sostituire 5 milioni di ore di
Etichettatura manuale con sole 12 ore su cluster per l'etichettatura di 10.000 viaggi
Quindi come abbiamo risolto ci sono tre grandi passaggi Il primo passo è la traiettoria di precisione elevata e il recupero della struttura da
Odometria inerziale visiva multi-fotocamera, quindi qui tutte le caratteristiche tra cui la superficie del terreno sono dedotte dai video
dalle reti neurali quindi monitorate e ricostruite nello spazio vettoriale
Quindi il tipico tasso di deriva di questa traiettoria in auto è come 1,3 centimetro
per metro e 0,45 milli radiano per metro, il che è abbastanza decente considerando il suo calcolo compatto
Requisiti rispetto al servizio di recupero e i dettagli grezzi sono anche usati come un forte
Guida per la fase di verifica manuale successiva Questo è abilitato anche in ogni FSD
veicolo così otteniamo traiettorie e strutture pre-elaborate insieme ai dati di viaggio
Il secondo passo è la ricostruzione multi-2 che è il pezzo grande e fondamentale di questa macchina
Quindi il video mostra come il viaggio precedentemente mostrato viene ricostruito e allineato
con altri viaggi fondamentalmente altri viaggi di persone diverse non lo stesso veicolo, quindi questo viene fatto da più
Passaggi Internet come allineamento del corso Ottimizzazione dell'articolazione in coppia, quindi ulteriore perfezionamento della superficie
Alla fine entra l'analista umano e finalizza l'etichetta
Quindi ogni passo felice è già completamente parallelizzato sul cluster in modo che il
L'intero processo di solito richiede solo un paio d'ore
L'ultimo passo è in realtà etichettare automaticamente i nuovi viaggi così
Qui utilizziamo lo stesso motore di allineamento multi-Trip ma solo tra la ricostruzione pre-costruita e ogni nuova
viaggio, quindi è molto più semplice che ricostruire completamente tutte le clip
Ecco perché ci vogliono solo 30 minuti per viaggio ad altre etichette anziché manuale
diverse ore di etichettatura manuale e questa è anche la chiave della scalabilità
di questa macchina questa macchina si ridimensiona facilmente finché noi
avere i dati di calcolo e di viaggio disponibili, quindi circa 50 alberi erano di recente ordine
etichettati da questa scena e alcuni di essi sono mostrati qui così 53 da veicoli diversi
Quindi è così che catturiamo e trasformiamo le fette spaziali del mondo in
La supervisione della rete sì, una cosa che mi piace notare è che di nuovo ho appena parlato di come siamo auto
Etichetta le nostre corsie ma abbiamo operai auto per quasi tutti i compiti che facciamo tra cui il nostro pianificatore e molti di
Questi sono completamente automatici come nessun umano coinvolto, ad esempio per oggetti o altre cinematiche, le forme loro
Futures, tutto viene solo dall'etichettatura automatica e lo stesso vale anche per l'occupazione e abbiamo davvero solo
Costruito una macchina attorno a questo sì, quindi se puoi tornare indietro, non una diapositiva
Dice parallelizzato su cluster in modo che sembri piuttosto semplice ma
Non era davvero um forse è divertente condividere come qualcosa del genere accade su UM, quindi qualche tempo fa non ne avevamo nessuno
L'etichettatura automatica e poi qualcuno fa uno script, inizia a funzionare, inizia a funzionare meglio fino a raggiungere un
volume piuttosto alto e abbiamo chiaramente bisogno di una soluzione e quindi c'erano altri due ingegneri in
Il nostro team che era come tu sappia che è interessante che tu conosci la cosa di ciò che dovevamo fare era costruire un intero grafico di
Essenzialmente le funzioni di Python che dobbiamo farne uno dopo l'altra prima tiri la clip, quindi fai un po 'di pulizia, poi lo fai
Qualche inferenza di rete quindi un'altra inferenza di rete fino a quando non si ottiene finalmente, ma quindi devi farlo come un
su larga scala, quindi così dico loro che probabilmente dobbiamo sparare perché conosci 100.000 clip al giorno o come 100.000 articoli
Sembra buono e così gli ingegneri dicono bene che possiamo farti sapere un po 'di postgre e un po'
di grasso del gomito possiamo farlo nel frattempo siamo un po 'più tardi e stiamo facendo 20
milioni di queste funzioni ogni singolo giorno di nuovo attiriamo circa mezzo milione
Clip e su coloro che gestiamo un sacco di funzioni ognuna di queste in modo streaming e quindi è una specie di schiena
End infra che è anche necessario non solo eseguire l'allenamento, ma anche l'etichettatura automatica sì, è davvero come una fabbrica che
produce etichette e come linee di produzione producono l'inventario di qualità uh come tutti gli stessi concetti applicati a questo
Etichetta Factory Uh che vale per te conosci la fabbrica per le nostre auto che è giusta
ok uh grazie uh quindi sì, quindi concludere
Questa sezione, vorrei condividere alcuni esempi più impegnativi e interessanti per la rete di sicuro e addirittura
Per gli umani probabilmente uh, quindi dall'alto ci sono esempi per la mancanza di bugie o una notte nebbiosa o la rotonda
e occlusioni da pesanti occlusioni da parte di auto parcheggiate e persino notte piovosa con le loro gocce di pioggia su obiettivi della telecamera uh
Questi sono impegnativi, ma una volta che le loro scene originali sono completamente ricostruite da altre clip che possono essere tutte
Auto etichettata in modo che le nostre carte possano guidare ancora meglio attraverso questi scenari impegnativi
Quindi ora lasciami passare il microfono a David per saperne di più su come Sim sta creando il nuovo mondo in cima a queste etichette grazie
Voi
Grazie ancora mi chiamo David e parlerò di simulazione, quindi la simulazione svolge un ruolo fondamentale in
Fornire dati difficili da procurarsi e o difficile da etichettare, tuttavia le scene 3D sono notoriamente lente
per produrre prese ad esempio la scena simulata che gioca dietro di me a
Incrocio complesso da Market Street a San Francisco ci vorrebbero due settimane per
artisti da completare e per noi è dolorosamente lento, ma parlerò di usare
Le etichette di verità automatizzate di Jaegan insieme ad alcuni strumenti nuovi di zecca che ci consentono di generare proceduralmente questo
Scena e molti piace in soli cinque minuti che è un migliaia di volte più veloce di prima
Quindi immergiamoti sulla nostra scena in questo modo che questo sia creato, iniziamo con le vesche automatizzate
Etichette della verità nei nostri strumenti simulati del Creatore mondiale all'interno del software Houdini a partire dal confine stradale
etichette possiamo generare una rete stradale solida e ri-topologizzare con le etichette del grafico corsia questo aiuta a informare una strada importante
Dettagli come Crossroads Inclope e Mestiame di materiale dettagliato
Successivamente possiamo utilizzare i dati di linea e spazzare la geometria sulla sua superficie e proiettarla sulla strada creando la vernice corsia
decalcomanie successivamente usando i bordi mediani possiamo generare
Geometria dell'isola e popolarla con fogliame randomizzato questo cambia drasticamente la visibilità della scena
Ora il mondo esterno può essere generato attraverso una serie di euristiche randomizzate un generazione di edifici modulari
Crea ostruzioni visive mentre oggetti posizionati casualmente come gli idranti possono cambiare il colore delle curve mentre
Gli alberi possono far cadere le foglie al di sotto di esso oscurando linee o bordi
Successivamente possiamo portare i dati della mappa per informare le posizioni di cose come il semaforo o i segnali di stop che possiamo tracciare
è normale raccogliere informazioni importanti come il numero di corsie e persino ottenere nomi di strada accurati sul
Segni stessi successivamente usando il grafico corsia possiamo determinare la connettività corsia e spawn direzionale
Segni stradali sulla strada e stanno accompagnando i segnali stradali e infine con il grafico corsia stesso
può determinare l'adiacenza della corsia e altre metriche utili per generare simulatore insider per permutazioni del traffico randomizzato
E ancora questo è tutto automatico nessun artisti nel ciclo e si verifica in pochi minuti e ora questo ci prepara a fare
Alcune cose piuttosto interessanti poiché tutto si basa su dati ed euristica possiamo iniziare a sfuggire
Parametri per creare variazioni visive della verità a base singola può essere sottile come il posizionamento degli oggetti e casuali
Scambio di materiali a cambiamenti più drastici come biomi completamente nuovi o posizioni dell'ambiente come Urban
Suburbano o rurale questo ci consente di creare permutazioni mirate infinite per specifiche
Verità di terra per cui abbiamo bisogno di più verità di terra e tutto ciò accade all'interno di un clic di a
Button e possiamo anche fare un ulteriore passo avanti modificando la nostra verità di terra
stesso dice che John vuole che la sua rete prestasse più attenzione ai segni di strada direzionale
Per rilevare meglio un'imminente corsia di svolta a sinistra in cattività possiamo iniziare a modificare proceduralmente il nostro grafico corsia all'interno
il simulatore per aiutare le persone a creare flussi completamente nuovi attraverso questo incrocio per aiutare
Concentrati l'attenzione della rete sui segni stradali per creare previsioni più accurate e questo è un ottimo esempio di come questo
Gli strumenti ci consentono di creare nuovi dati che non potrebbero mai essere raccolti dal mondo reale
E il vero potere di questo strumento è nella sua architettura e come possiamo eseguire tutte le attività in parallelo a infinitamente
Scala così hai visto lo strumento Creatore di piastrelle in azione convertire la verità di terra
Etichette nelle loro controparti Successivamente possiamo usare il nostro strumento di estrattore di piastrelle
Per dividere questi dati in piastrelle di geohash di circa 150 metri quadrati di dimensioni
Salviamo quindi quei dati in file di geometria e istanza separati Questo ci fornisce una fonte pulita di dati che è facile da
Carica e ci consente di rendere il motore agnostico per il futuro
Quindi usando uno strumento di caricatore di piastrelle possiamo evocare qualsiasi numero di quelle tessere cache usando un ID geohash al momento
Informazioni su questi cinque per cinque piastrelle o tre per tre di solito incentrate su hotspot della flotta o grafico terrestre interessante
Le posizioni nel caricatore di piastrelle converte anche questi set di piastrelle in attività U per il consumo
dal motore irreale e ti dà un prodotto di progetto finito da quello che hai visto nella prima diapositiva
E questo ci prepara davvero per dimensioni e scala come puoi vedere sulla mappa dietro di noi
Possiamo facilmente generare la maggior parte delle strade della città di San Francisco e questo non ha richiesto anni o anche mesi di lavoro ma
Piuttosto due settimane da una persona possiamo continuare a gestire e crescere tutto
Questi dati che utilizzano la nostra rete PDG all'interno degli strumenti ci consentono di lanciare
calcola e rigenerare tutti questi set di piastrelle durante la notte questo garantisce che tutti gli ambienti siano
Qualità e caratteristiche coerenti che sono molto importanti per la formazione poiché nuove ontologie e segnali sono costantemente
rilasciato e ora per arrivare al punto di partenza perché noi
generato tutti questi set di piastrelle da dati di verità a terra che contengono tutte le strane complessità del mondo reale
e possiamo combinarlo con la varietà visiva e trafficata procedurale per creare dati mirati illimitati per il
rete da cui imparare e questo conclude la sezione SIM la passerò a Kate per parlare di come possiamo
Usa tutti questi dati per migliorare il pilota automatico grazie
Grazie David Ciao a tutti, mi chiamo Kate Park e sono qui per parlare del motore di dati che è il processo con cui noi
Migliora le nostre reti neurali tramite i dati ti mostreremo come risolviamo determinalmente gli interventi
tramite i dati e guidarti attraverso la vita di questa particolare clip in questo scenario
Il pilota automatico si sta avvicinando a una svolta e prevede erroneamente che l'attraversamento del veicolo si è fermato per il traffico e quindi
Un veicolo per cui rallentare in realtà non c'è nessuno in macchina, è solo goffamente parcheggiato, abbiamo costruito questo
strumenti per identificare gli errati preventivi correggere l'etichetta e classificare questo
Clip in un set di valutazione Questo particolare clip è uno dei 126
che abbiamo diagnosticato come auto parcheggiate a turno per questo
infra possiamo curare questo set di valutazione senza alcuna risorsa ingegneristica
A questo particolare caso di sfida per risolvere effettivamente quel caso di sfida
Richiede minerario migliaia di esempi simili ed è qualcosa che Tesla può fare banalmente, usiamo semplicemente i nostri dati
Sourcing Infra Richiedi dati e utilizzare gli strumenti mostrati in precedenza per correggere il
etichette mirate chirurgicamente le errate previsioni dell'attuale modello, stiamo solo aggiungendo il più prezioso
Esempi per il nostro set di formazione fissiamo chirurgicamente 13 900 clip e uh
Perché questi erano esempi in cui l'attuale modello lotta non abbiamo nemmeno bisogno di cambiare l'architettura del modello a
L'aggiornamento del modo semplice con questi nuovi dati preziosi è sufficiente per risolvere il caso della sfida, quindi vedi che non prevediamo più
Quel veicolo di attraversamento è fermato come mostrato in arancia ma parcheggiato come mostrato in rosso
Nel mondo accademico vediamo spesso che le persone mantengono i dati costanti ma a Tesla è
molto il contrario vediamo più volte che i dati sono uno dei migliori se non la leva più deterministica
Per risolvere questi interventi ti abbiamo appena mostrato il ciclo del motore di dati
Per un caso di sfida, vale a dire queste auto parcheggiate a turno, ma ci sono molti casi di sfida anche per un segnale di
movimento del veicolo applichiamo questo ciclo del motore di dati a ogni singolo caso di sfida che abbiamo diagnosticato se si tratta di autobus
Le strade curvy hanno fermato i parcheggi dei veicoli e non aggiungiamo solo dati una volta che lo facciamo
Fallo ancora e ancora per perfezionare il semantico infatti quest'anno abbiamo aggiornato il segnale di movimento del veicolo cinque volte
E con ogni aggiornamento del peso addestrato sui nuovi dati spingiamo la precisione del movimento del nostro veicolo su e su
Questo framework del motore di dati si applica a tutti i nostri segnali se sono 3d
video multi-cam se i dati sono etichettati con etichetta automatica e simulata umana se si tratta di un modello offline o di un
Modello online e Tesla è in grado di farlo su larga scala a causa della flotta
Vantaggi l'infra che il nostro team di motore ha costruito e le risorse di etichettatura che alimentano le nostre reti
Per addestrare tutti questi dati abbiamo bisogno di un'enorme quantità di calcolo, quindi lo consegnerò a Pete e Ganesh di cui parlare
La piattaforma di supercomputing Dojo grazie [Applause]
grazie grazie katie
grazie a tutti grazie per essere rimasti lì dentro siamo quasi lì il mio nome è Pete Bannon, gestisco l'usanza
squadre di silicio e bassa tensione a Tesla e il mio nome è Ganesh Venkat, gestisco il
programma Doji
[Applauso] Grazie, mi chiede spesso perché è un'auto
azienda che costruisce un super computer per la formazione e questa domanda fondamentalmente
fraintende la natura di Tesla nel suo cuore Tesla è una tecnologia hardcore
L'azienda in tutta l'azienda le persone lavorano duramente in scienze e ingegneria
per far avanzare la comprensione fondamentale e i metodi che abbiamo a disposizione
per costruire robot di soluzioni energetiche di auto e qualsiasi altra cosa possiamo fare
Migliora la condizione umana in tutto il mondo è una cosa super eccitante di cui far parte ed è un privilegio gestire molto
Piccolo pezzo nel gruppo Semiconductor stasera parleremo un po 'di dojo e ti daremo un
Aggiornamento su ciò che siamo stati in grado di fare nell'ultimo anno, ma prima di farlo volevo dare un po '
Background sulla progettazione iniziale che abbiamo iniziato alcuni anni fa quando abbiamo iniziato l'obiettivo era fornire un
Miglioramento sostanziale alla latenza di allenamento per il nostro team di pilota automatico
Le più grandi reti neurali che si sono allenate oggi funzionano per oltre un mese, il che inibisce la loro capacità di rapidamente
Esplora le alternative e valutale in modo che tu sappia una velocità di 30 volte
Davvero bello se potessimo fornirlo in modo competitivo e competitivo energetico
Per fare ciò volevamo costruire un chip con molta aritmetica aritmetica
unità che potremmo utilizzare con un'efficienza molto elevata e abbiamo trascorso molto tempo a studiare se potremmo farlo
Usando DRM varie idee di imballaggio tutte fallite e alla fine anche se
Sembrava un atto innaturale che abbiamo deciso di rifiutare la DRAM come mezzo di archiviazione principale per questo sistema e invece di concentrarci
Su SRAM incorporato nel chip sram fornisce purtroppo un modesto
quantità di capacità ma larghezza di banda estremamente elevata e latenza molto bassa e questo ci consente di ottenere un alto utilizzo
con le unità aritmetiche quelle scelte
Di quella particolare scelta ha portato ad un sacco di altre scelte, ad esempio se si desidera avere una memoria virtuale
tabelle di pagina occupano molto spazio che non abbiamo spazio, quindi nessuna memoria virtuale non abbiamo anche interruzioni
Accelerator è un pezzo di hardware, derubare Bonds, che viene presentato a un compilatore
nel compilatore è responsabile della pianificazione di tutto ciò che accade in modo terminale, quindi non c'è bisogno o
Anche il desiderio di interruzioni nel sistema abbiamo anche scelto di perseguire il modello
parallelismo come metodologia di formazione che non è la situazione tipica più
La maggior parte delle macchine oggi utilizza il parallelismo dei dati che consuma una capacità di memoria aggiuntiva che ovviamente non abbiamo
Quindi tutte queste scelte ci hanno portato a costruire una macchina che è piuttosto radicalmente
diverso da ciò che è disponibile oggi abbiamo anche avuto un sacco di altri obiettivi uno dei più importanti era no
limiti, quindi volevamo costruire un tessuto di calcolo che si ridimensionava in modo illimitato per la maggior parte intendo ovviamente
Ci sono limiti fisici di tanto in tanto, ma sai praticamente se il tuo modello lo era
Troppo grande per il computer che dovevi solo andare a comprare un computer più grande che era quello che stavamo cercando oggi nel modo in cui il pacchetto
Le macchine sono confezionate, c'è un rapporto piuttosto fisso di CPU GPU e ad esempio
e capacità drammatica e capacità di rete e volevamo davvero disaggregarsi tutto ciò che, quando i modelli si sono evoluti potessimo
Vary i rapporti di quei vari elementi e rendono il sistema più flessibile per soddisfare le esigenze del
Team di autopilota sì ed è così vero con la filosofia come non limiti era la nostra stella guida
fino in fondo tutte le nostre scelte erano incentrate su quello e e per
punto che non volevamo che l'infrastruttura tradizionale del data center limiti il nostro
capacità di eseguire questi programmi a velocità, quindi è per questo
Ecco perché mi dispiace per questo è il motivo per cui abbiamo integrato
verticalmente il nostro data center intero data center facendo un verticale
Integrazione del data center potremmo estrarre nuovi livelli di efficienza potremmo ottimizzare la potenza
Raffreddamento alla consegna e gestione del sistema attraverso
l'intero stack del data center anziché fare box by box e integrarlo
quelle caselle nei data center e per farlo volevamo anche
integrare presto per capire i limiti di scala uh per il nostro
carichi di lavoro software in modo che abbiamo integrato l'ambiente Dojo nel nostro software di pilota automatico e abbiamo imparato molto
lezioni e oggi Uh Bill Chang esaminerà il nostro aggiornamento hardware e alcuni
delle sfide che abbiamo affrontato lungo la strada e Rajiv Kurian ti darà un
Incrocio della nostra tecnologia del compilatore e ripassare alcuni dei nostri risultati fantastici
Proprio lì vai
grazie Pete grazie Ganesh um inizierò stasera con un livello elevato
visione del nostro sistema che sarà che aiuterà a preparare le basi per le sfide e i problemi che siamo
risolvere e quindi anche come il software lo sfrutterà per le prestazioni
Ora la nostra visione per Dojo è quella di costruire un singolo unificato accelerato un molto grande
Un software vedrebbe un piano di calcolo senza soluzione di continuità con indirizzabile a livello globale
memoria molto veloce e tutti collegati insieme a una larghezza di banda uniforme e uniforme e
bassa latenza ora per realizzare questo che dobbiamo usare
densità per raggiungere le prestazioni ora sfruttamo la tecnologia per ottenere questa densità per rompere i livelli di
gerarchia fino in fondo dal chip ai sistemi di scala
Ora la tecnologia del silicio ha usato questo lo ha fatto per decenni chips
Seguì la legge di Moore per la densità e l'integrazione per ottenere il ridimensionamento delle prestazioni
Ora un passo chiave per realizzare che la visione era la nostra piastrella di allenamento non solo possiamo integrare 25 stampi
larghezza di banda estremamente elevata ma possiamo ridimensionarla a qualsiasi numero di tessere aggiuntive semplicemente collegandole insieme
Ora l'anno scorso abbiamo mostrato la nostra prima piastrella di allenamento funzionale e in quel momento avevamo già carichi di lavoro in esecuzione
e da allora il team qui ha lavorato duramente e diligentemente per distribuire
Questo su larga scala ora abbiamo fatto progressi sorprendenti e abbiamo avuto molte pietre miliari lungo la strada e di
Ovviamente abbiamo avuto molte sfide inaspettate, ma è qui che il nostro fallisce velocemente
La filosofia ci ha permesso di spingere i nostri confini
Ora spingere la densità per le prestazioni presenta tutte le nuove sfide che un'area è l'erogazione di energia
Qui dobbiamo offrire il potere al nostro dado di calcolo e questo ha un impatto diretto
Le nostre prestazioni di calcolo in alto, ma dobbiamo farlo a densità senza precedenti, dobbiamo essere in grado di abbinare il nostro
Die Pitch con una densità di potenza di quasi un amplificatore per millimetro al quadrato
E a causa dell'estrema integrazione, questo deve essere un verticale a più livelli
soluzione di potenza e perché c'è un materiale eterogeneo complesso impila
Dobbiamo gestire attentamente la transizione materiale, in particolare CTE
Ora perché il coefficiente di espansione termica è importante in questo caso CTE è una proprietà materiale fondamentale
E se non è gestito con cura, quell'attrezzo si strapperebbe letteralmente
Quindi abbiamo iniziato questo sforzo lavorando con i venditori per consegnare questo
soluzione di potenza ma ci siamo resi conto che dovevamo effettivamente sviluppare questo interno
Ora per bilanciare il programma e il rischio abbiamo creato iterazioni rapide per supportare
Sia il nostro sistema a far apparire e lo sviluppo del software e anche per trovare il design ottimale e
impilare che avrebbe raggiunto i nostri obiettivi di produzione finali e alla fine siamo stati in grado di ridurre il CTE oltre il 50 percento
e soddisfare le nostre prestazioni di 3x sulla nostra versione iniziale
ora inutile dire che trovare questo materiale ottimale si accumula massimizzando
le prestazioni a densità sono estremamente difficili
Ora abbiamo avuto sfide inaspettate lungo la strada ecco un esempio in cui spingiamo il
Confini di integrazione che hanno portato a guasti al componente
Questo è iniziato quando abbiamo ridimensionato a carichi di lavoro più lunghi e più lunghi e poi intermedi in intermittenza un singolo
Il sito su una piastrella fallirebbe ora, hanno iniziato come fallimenti recuperabili, ma mentre abbiamo spinto un po 'molto
Potenza sempre più alta, questi diventerebbero fallimenti permanenti
Ora per capire questo fallimento devi capire perché e come costruiamo il nostro
Moduli di potenza che risolvono la densità ad ogni livello è l'IS
è la pietra angolare di raggiungere effettivamente le prestazioni del nostro sistema ora perché il nostro piano x y è usato per
Comunicazione ad alta larghezza di banda tutto il resto deve essere impilato verticalmente
Ciò significa che tutti gli altri componenti diversi dal nostro dado devono essere integrati nei nostri moduli di potenza
Ora questo include il nostro orologio e i nostri alimentatori e anche i nostri controller di sistema
Ora in questo caso i guasti erano dovuti alla perdita di output dell'orologio dai nostri oscillatori
e dopo un ampio debug abbiamo scoperto che la causa principale era dovuta a vibrazioni sul modulo da
Effetti piezoelettrici I nostri condensatori vicini
ora i cappucci che cantano non sono un nuovo fenomeno e in effetti molto comuni nel design del potere
ma normalmente i chip di orologio sono collocati in una zona molto tranquilla del tabellone e spesso
Non influenzato dai circuiti di potenza ma perché dovevamo raggiungere questo livello di integrazione questi oscillatori devono
essere messo in prossimità molto vicina a causa della nostra frequenza di commutazione e
Quindi la risonanza delle vibrazioni ha creato la vibrazione del piano automatico sui nostri MEMS
oscillatore che lo ha fatto rompere ora la soluzione a questo problema è a
Approccio a più fronti possiamo ridurre le vibrazioni utilizzando tappi terminali morbidi
Possiamo aggiornare la nostra parte MEMS con un fattore Q inferiore per la direzione del piano esterno
e possiamo anche aggiornare la nostra frequenza di frequenza di commutazione per allontanare la risonanza da questi
bande sensibili ora aggiungono alla densità uh a
Il livello di sistema che abbiamo fatto molti progressi a livello di infrastruttura
Sapevamo che dovevamo riesaminare ogni aspetto dell'infrastruttura del data center
Al fine di supportare la nostra potenza senza precedenti e densità di raffreddamento
Abbiamo portato un CDU progettato completamente su misura per supportare il denso raffreddamento di Dojo
Requisiti e la parte sorprendente è che siamo in grado di farlo a una frazione del costo rispetto all'acquisto dallo scaffale e
Modificarlo e poiché il nostro gabinetto Dojo integra abbastanza potenza e raffreddamento da abbinare a
Tutta la riga di standard IT dobbiamo progettare con cura il nostro armadietto e
infrastruttura insieme e abbiamo già attraversato diverse iterazioni di questo gabinetto per ottimizzare
Questo e all'inizio di quest'anno abbiamo iniziato a testare il nostro potere e il raffreddamento
infrastruttura e siamo stati in grado di spingerla oltre due megawatt prima di inciampare la nostra sottostazione e abbiamo ricevuto una chiamata dal
città sì ora l'anno scorso abbiamo presentato solo un
un paio di componenti del nostro sistema il d1 personalizzato muore e la piastrella di allenamento ma
Abbiamo preso in giro il pod di uscita come obiettivo finale che cammineremo attraverso le parti rimanenti del nostro sistema che sono necessarie per costruire
fuori questo pod di uscita ora il vassoio di sistema è una parte fondamentale di
Realizzare la nostra visione di un singolo acceleratore ci consente di essere perfettamente senza soluzione di continuità
Collega le piastrelle insieme non solo all'interno dell'armadio ma tra gli armadietti
Possiamo collegare queste piastrelle a una spaziatura molto stretta attraverso l'intero acceleratore
ed è così che raggiungiamo la nostra comunicazione uniforme, questa è una barra degli autobus laminata che consente
noi per integrare un supporto meccanico e termico molto elevato in un'integrazione estremamente densa
È di altezza di 75 millimetri e supporta sei piastrelle a 135 chilogrammi
Questo è l'equivalente da tre a quattro rack ad alte prestazioni
Successivamente dobbiamo alimentare i dati alle tessere di addestramento Questo è dove abbiamo sviluppato il processore di interfaccia Dojo
Fornisce al nostro sistema un dramma di larghezza di banda elevata per mettere in scena i nostri dati di formazione
e fornisce una larghezza di banda completa della memoria alle nostre tessere di addestramento utilizzando TTP la nostra usanza
Protocollo che possiamo usare per comunicare in tutto il nostro acceleratore ha anche Ethernet ad alta velocità
ci aiuta a estendere questo protocollo personalizzato rispetto ad Ethernet standard e forniamo supporto hardware nativo
per questo con poco o nessun software software e infine possiamo connettere connessione ad esso
Attraverso un'interfaccia PCIE GEN 4 standard
Ora abbiniamo 20 di queste carte per vassoio e questo ci dà 640 gigabyte di alto
Dram di larghezza di banda e questo fornisce il nostro livello di memoria disaggregata per le nostre tessere di allenamento
Queste carte sono un percorso di ingresso ad alta larghezza di banda sia tramite PCIe che Ethernet
Forniscono inoltre un percorso di connettività Z elevato che consente scorciatoie attraverso il nostro grande dojo
Accelerator Ora integriamo effettivamente l'host
Direttamente sotto il nostro vassoio di sistema questi host forniscono la nostra elaborazione inger e si collegano alla nostra interfaccia
processori tramite PCIe questi host possono fornire video hardware
Il supporto del decodificatore per la formazione basata su video e le nostre applicazioni utente atterrano su questi
host che noi possiamo fornire loro l'ambiente standard X86 Linux
Ora possiamo mettere due di questi assemblaggi in un mobile e abbinarli a alimentatori ridondanti che dirigono
Conversione della potenza AC a tre fasi 480 volt a 52 volt DC Potenza
Ora concentrandoci sulla densità ad ogni livello possiamo realizzare la visione di un singolo
Accelerator ora inizia con i nodi uniformi sul nostro D1 D1
Possiamo collegarli insieme nella nostra piastrella di allenamento completamente integrata e infine collegando senza soluzione di continuità
li attraverso i confini del gabinetto per formare il nostro acceleratore Dojo
E tutti insieme possiamo ospitare due acceleratori completi nel nostro baccello di uscita per un
combinato un exaflop di ml calco
La tecnologia e l'integrazione sono state fatte solo un paio di volte in
Storia di Calco
[Applausi]
Grazie Bill il mio nome è Rajiv e parlerò alcuni numeri, quindi il nostro stack software inizia con il PI
Torch Extension che parla del nostro impegno per uno standard Pytorch Models Out Out Outly
Parleremo di più del nostro compilatore JIT e della pipeline Ingest che alimenta l'hardware con i dati
Performance astratto Tops Times Utilizzo Tempi Acceleratore Occupazione
Abbiamo visto come l'hardware fornisce le prestazioni di picco è il lavoro del compilatore per estrarre l'utilizzo dal
L'hardware mentre il codice è in esecuzione su di esso ed è il lavoro della pipeline Ingest per assicurarsi che i dati possano essere preparati
Alla throughput abbastanza in alto da consentire all'hardware di non morire di fame, quindi parliamo del perché la comunicazione
I modelli legati sono difficili da ridimensionare, ma prima diamo un'occhiata al perché i modelli di resnet 50 sono più facili da ridimensionarti
Inizia con un singolo acceleratore eseguire i passaggi in avanti e indietro seguiti dall'ottimizzatore
piuttosto che ridimensionarlo, si esegue più copie di questo su più acceleratori e mentre il gradiente è prodotto da
Il passaggio all'indietro deve essere ridotto e questo introduce alcune comunicazioni che può essere eseguita con la pipeline con il
Passare all'indietro questa setup scale abbastanza bene quasi
linearmente per i modelli con attivazioni molto più grandi
incontriamo un problema non appena vogliamo eseguire il passaggio in avanti la dimensione del lotto che si adatta a una singola
L'acceleratore è spesso più piccolo della superficie della norma batch, quindi per aggirare questo ricercatori in genere eseguono questa configurazione su più
Acceleratori nella modalità Norm batch di sincronizzazione Questo introduce la comunicazione legata alla latenza al percorso critico di
il passaggio in avanti e abbiamo già un collo di bottiglia di comunicazione e mentre ci sono modi per spostarsi
Questo di solito coinvolgono un noioso lavoro manuale più adatto per un compilatore e alla fine non c'è battiscopa
Intorno al fatto che se il tuo stato non si adatta a un singolo acceleratore puoi essere vincolato alla comunicazione
E anche con sforzi significativi da parte dei nostri ingegneri ML vediamo tali modelli non si ridimensionano in modo lineare
Il sistema Dojo è stato costruito per far funzionare tali modelli ad alto utilizzo
L'integrazione della densità è stata costruita non solo per accelerare le parti legate al calcolo di un modello, ma anche la latenza
porzioni legate come una norma batch o le porzioni legate alla larghezza di banda come un gradiente
Tutto il parametro ridotto o tutti raccogli una fetta della mesh Dojo può essere scolpita
fuori per eseguire qualsiasi modello L'unica cosa che gli utenti devono fare è rendere la fetta abbastanza grande da adattarsi a
superficie del bagno per il loro modello particolare dopo che la partizione si presenta
Come un grande acceleratore che libera gli utenti dal dover preoccuparsi dei dettagli interni dell'esecuzione
e come compito del compilatore per mantenere questa astrazione di primitive di sincronizzazione del grano
Latenza uniforme a bassa latenza rende facile accelerare tutte le forme di parallelismo tra i limiti di integrazione tensori
di solito sono archiviati in sram e replicati appena in tempo per l'esecuzione dei livelli dipendiamo dall'alto dojo
Larghezza di banda per nascondere questo tempo di replica Replica del tensore e altri trasferimenti di dati sono sovrapposti al calcolo
E il compilatore può anche ricompensare gli strati quando è redditizio farlo
Ci aspettiamo che la maggior parte dei modelli funzionino fuori dalla scatola come esempio abbiamo preso il modello di diffusione stabile recentemente rilasciato e ottenuto
Funziona su dojo in pochi minuti fuori dalla scatola il kampala è stato in grado di mapparlo in modo parallelo modello su 25 dojo
Ecco alcune foto di un cyber camion su Marte generato da una diffusione stabile in esecuzione su Dojo
sembra [applauso]
Sembra che abbia ancora qualche modo per andare prima di abbinare il team di Tesla Design Studio
Quindi abbiamo parlato di come i colli di bottiglia di comunicazione possono ostacolare la scalabilità forse un test acido di un compilatore e
L'hardware sottostante sta eseguendo uno strato di forma cross-diabash come menzionato prima che questo possa essere un collo di bottiglia seriale
La fase di comunicazione di uno scapolo inizia con i nodi che calcolano la media locale e le deviazioni standard
coordinando per ridurre questi valori, quindi trasmettere questi valori e quindi riprendono il loro lavoro in parallelo
Allora come sarebbe una forma batch ideale su 25 dojo punti diciamo le precedenti meno attivazioni
sono già divisi tra i dadi ci aspetteremmo che 350 nodi su ciascuno
morire per coordinare e produrre la media locale e la divisione standard dei valori di divisione idealmente che otterrebbero ulteriormente
ridotto con il valore finale che termina da qualche parte e verso il centro della piastrella, speriamo quindi di vedere una trasmissione di
Questo valore irradiante dal centro vediamo come il compilatore esegue effettivamente una vera operazione di laurea
attraverso 25 dadi gli alberi di comunicazione sono stati estratti dal compilatore e dal
Il tempismo è da un vero hardware che stiamo per vedere 8750 nodi su 25 stampi
coordinamento per ridurre e quindi trasmettere la media di bastro e le valvole di deviazione standard
comporre la riduzione locale seguita dalla riduzione globale verso il centro del pareggio
quindi la trasmissione a valore ridotto che si irradia dalla media accelerata dalla trasmissione dell'hardware
Facilizia Questa operazione ne richiede solo cinque
Microsecondi su 25 dadi dojo La stessa operazione prende 150 microsecondi su 24
GPU questo è un ordini di miglioramento della grandezza rispetto alle GPU
e mentre abbiamo parlato di un'operazione tutto ridotta nel contesto di una norma batch è importante ribadire che il
Gli stessi vantaggi si applicano a tutte le altre primitive di comunicazione e questi primitivi sono essenziali per su larga scala
allenamento, quindi che ne dici delle prestazioni complete del modello, quindi mentre pensiamo che il risonante 50 sia
Non è una buona rappresentazione dei carichi di lavoro Tesla nel mondo reale, è un punto di riferimento standard, quindi iniziamo lì
Siamo già in grado di abbinare il 100 die per die, ma forse un pizzico di dojo
Le capacità è che siamo in grado di colpire questo numero con solo un lotto di 8 per die
Ma Dojo è stato davvero costruito per affrontare modelli complessi più grandi, quindi quando abbiamo deciso di affrontare il mondo reale
Carichi di lavoro Abbiamo esaminato i modelli di utilizzo del nostro attuale cluster GPU e due modelli hanno alzato l'etichettatura automatica
reti Una classe di modelli offline che vengono utilizzati per generare verità di terra e le reti di occupazione che hai sentito
Informazioni sulle reti di etichettatura automatica ci sono grandi modelli che hanno un'alta intensità aritmetica mentre le reti di occupazione
Può essere in Justbound, abbiamo scelto questi modelli perché insieme spiegano un grosso pezzo del nostro attuale cluster GPU
utilizzo e sfidano il sistema in modi diversi
Quindi, come facciamo su queste due reti, i risultati che stiamo per vedere sono stati misurati su sistemi multi-die per entrambi
la GPU e il dojo, ma normalizzati ai numeri per die sulla nostra rete di etichettatura automatica
Già in grado di superare le prestazioni di un A100 con il nostro hardware attuale in esecuzione sui nostri VRM di generazione più vecchi
Il nostro hardware di produzione con i nostri nuovi vram che si traduce nel raddoppiare il throughput di un A100
e il nostro modello ha mostrato che con alcune ottimizzazioni del compilatore chiave potremmo arrivare a più di tre prestazioni extra di un
A100 Vediamo salti ancora più grandi sulla rete di occupazione
Quasi 3 volte con il nostro hardware di produzione con spazio per ulteriori informazioni
straniero [applausi]
Livello delle prestazioni del compilatore potremmo sostituire il calcolo ML di una GPU di due tre quattro e sei
scatole con una sola piastrella dojo [applauso]
E questa piastrella Dojo costa meno di una di queste scatole GPU whoa
sì, quello che significa veramente è che le reti
Ci sono voluti più di un mese per allenarsi ora richiede meno di una settimana
purtroppo quando misuriamo le cose non si è rivelato così bene al livello della torcia che non abbiamo visto
Le nostre prestazioni previste fuori dal git e questo grafico della sequenza temporale mostrano il nostro problema le piccole barre verdi adolescenti che sono
Il codice di compilazione in esecuzione sull'acceleratore la riga è per lo più spazio bianco dove il
L'hardware è solo in attesa di dati con i nostri densi ML Calcod Dojo Hosts
avere effettivamente 10 volte più ml di calcolo rispetto all'host GPU Il caricatore di dati è in esecuzione su questo host semplicemente non potrebbe
Tieniti al passo con tutto quell'hardware ML in modo da risolvere la scalabilità del nostro caricatore di dati
Problemi che sapevamo che dovevamo superare il limite di questo singolo ospite Il protocollo di trasporto Tesla sposta i dati
perfettamente attraverso le piastrelle dell'ospite e i processori ingeriscono così abbiamo esteso la Tesla
Protocollo di trasporto per lavorare su Ethernet Abbiamo quindi costruito l'interfaccia di rete Dojo chiamata DNIC per sfruttare il TTP su
Ethernet questo consente a qualsiasi host con una scheda DNIC di poterlo fare e
Da altri endpoint TTP così abbiamo iniziato con la mesh Dojo
Quindi abbiamo aggiunto un livello di host di caricamento dei dati dotati della scheda DNIC
Abbiamo collegato questi host alla mesh tramite uno switch Ethernet ora ogni host in questo livello di caricamento dei dati è in grado di
Raggiungere tutti gli endpoint TTP nella mesh Dojo tramite hardware accelerato DMA
Dopo che queste ottimizzazioni sono andate nella nostra occupazione sono passate dal quattro percento
al 97 percento in modo che le sezioni di caricamento dei dati siano ridotte
dati Le sezioni di caricamento dei dati si sono ridotte drasticamente e l'hardware ML è tenuto occupato, ci aspettiamo davvero questo
Numero per andare a 100 molto presto dopo che questi cambiamenti sono andati a vedere la velocità prevista per il Pytorch
Layer e siamo tornati in attività, quindi abbiamo iniziato con la progettazione di hardware che
rompe i tradizionali confini di integrazione al servizio della nostra visione di un singolo acceleratore gigante
Abbiamo visto come il compilatore e solo i livelli si basano su quell'hardware, quindi dopo aver dimostrato le tue prestazioni
Queste complesse reti del mondo reale sapevamo cosa avrebbe preso di mira la nostra prima distribuzione su larga scala
Network di etichettatura automatica di intensità aritmetica oggi che occupa 4000 GPU oltre 72
Rack GPU con il nostro computer denso e le nostre alte prestazioni ci aspettiamo di fornire il
stesso throughput con solo quattro armadi Dojo
[Applausi]
E questi quattro armadi Dojo faranno parte del nostro primo esopode che prevediamo di costruire nel quartiere del 2023
Questo più della doppia capacità di etichettatura automatica di Tesla
[Applausi] La prima parte in più fa parte di un totale
di sette parti extra che prevediamo di costruire in Palo Alto proprio qui attraverso il muro
[Applausi] E abbiamo un armadio display da uno di questi esopodi per tutti da guardare
sei piastrelle densamente confezionate su un vassoio 54 petaflop di calcolo 640 gigabyte di
Memoria ad alta larghezza di banda con alimentazione e host per nutrirlo
Molto e stiamo costruendo nuove versioni di
Tutti i nostri componenti del cluster e migliorando costantemente il nostro software per colpire nuovi limiti di abilità crediamo che noi
può ottenere un altro miglioramento 10x con il nostro hardware di prossima generazione
E per realizzare i loro obiettivi ambiziosi abbiamo bisogno dei migliori ingegneri di software e hardware, quindi per favore vieni a parlarci o
Visita Tesla.com AI Grazie [Applause]
Va bene, fammi sapere
Va bene, quindi speriamo che siano stati abbastanza dettagli
E ora possiamo passare alle domande um e uh ragazzi come penso alla squadra
è tornato, vieni fuori sul palco e ma volevamo davvero mostrare la profondità
e ampiezza di Tesla nell'intelligenza artificiale UM
Attuatori di robotica hardware di calcolo e [musica]
e cerca di spostare davvero la percezione dell'azienda da UH, sai un
Molte persone pensano che siamo come solo una compagnia automobilistica o facciamo auto interessanti
Non hanno la maggior parte delle persone non ha idea che Tesla sia probabilmente il leader in
hardware e software AI del mondo reale e che stiamo costruendo
Uh qual è probabilmente il primo uh alcuni dei più radicali
Architettura per computer da The Crayon Supercomputer e penso se sei interessato
Sviluppare alcune delle tecnologie più avanzate al mondo che influenzerà davvero il mondo in un
il modo positivo ci dice il posto dove essere, quindi sì, licenziamo un po '
Domande penso che ci sia un microfono nella parte anteriore e un
microfono sul retro
Grazie mille, sono rimasto colpito qui sì, sono rimasto molto colpito da
Optimus ma mi chiedo perché non hanno guidato la caccia perché hai scelto un
Approccio tenero per la caccia perché i tendini non sono molto resistenti e
Perché la primavera carica bene questo è piuttosto fantastico, sì
Questa è una grande domanda che sai quando si tratta di qualsiasi tipo di schema di attuazione ci sono compromessi
tra voi sai se si tratta o meno di un sistema di urina tendineo o di un qualche tipo di sistema basato sul collegamento, sono appena tenuto dentro
Menti vicino alla tua bocca un po 'più vicina, sì Jeremy Cool Um Quindi sì, il motivo principale per cui siamo andati
Per un sistema a base di tendini è che prima sai che abbiamo effettivamente studiato alcuni tendini sintetici, ma lo abbiamo scoperto
Cavi in barca metallici Conosci molto più forte Um uno dei vantaggi di questi cavi
um è che è molto buono per la riduzione delle parti, vogliamo fare molte di queste mani, quindi avere un sacco di parti a
Un mucchio di piccoli collegamenti finisce per essere conosci un problema quando stai facendo un sacco di qualcosa di grandi motivi
che sai che i tendini sono migliori dei collegamenti in un certo senso è che puoi essere anti-backlash
Quindi l'anti-backlash essenzialmente sai che ti permette di non avere alcuna lacuna o te
Conosci il movimento di balbuzie nelle dita caricato a molla principalmente ciò che è stato caricato a molla
ci consente di fare è che ci consente di avere apertura attiva, quindi invece di doverlo
Avere due attuatori per far chiudere le dita e poi aprire abbiamo la possibilità di sapere che il tendine le guidi
chiuso e poi le sorgenti si estendono passivamente e questo è qualcosa che si vede nelle nostre mani e proprio abbiamo il
capacità di flettere attivamente e quindi abbiamo anche la capacità di estendere sì
Voglio dire, il nostro obiettivo con Optimus è avere un robot che è al massimo utile come
rapidamente il più possibile, quindi ci sono molti modi per risolvere i vari problemi di un robot umanoide
Um e uh probabilmente non stiamo inscatolando l'albero giusto su tutti i tecnici
Soluzioni e dovrei dire che siamo aperti ad evolvere le soluzioni tecniche che vedi qui nel tempo
Non siamo bloccati nella pietra um, ma dobbiamo scegliere qualcosa
ehm in e vogliamo scegliere qualcosa che ci permetterà di produrre il robot il più rapidamente possibile
e fallo come ho detto di essere utile il più rapidamente possibile, stiamo cercando di seguire l'obiettivo del percorso più veloce verso un
Robot utile che può essere realizzato a volume e testeremo il robot internamente a Tesla Uh nella nostra fabbrica
e uh e vedi solo come è utile perché devi avere un tu
Andare a chiudere il ciclo sulla realtà per confermare che il robot è effettivamente utile
um e uh sì, quindi lo useremo solo per costruire cose e noi siamo
fiducioso che possiamo farlo con la mano che abbiamo attualmente progettato, ma questo sono sicuro che avranno la versione due
versione tre e potremmo cambiare l'architettura in modo abbastanza significativo nel tempo
scusa ciao um, il robot Optimus è davvero impressionante che tu abbia fatto un ottimo lavoro
i robot bipedi UM sono davvero difficili, ma quello che ho notato potrebbe mancare dal tuo piano è per riconoscere il
Utilità dello spirito umano e mi chiedo se Optimus avrà mai una personalità e sarà in grado di ridere del nostro
battute mentre sono bene piega i nostri vestiti sì assolutamente
um penso che vogliamo avere versioni davvero divertenti di Optimus
um e in modo che gli ottimisti possano entrambi essere utilitari e svolgere compiti, ma possono anche esserlo
Un po 'come un amico um e un amico e e um uscire
Tu e sono sicuro che le persone penseranno a tutti i tipi di usi creativi per questo robot
um e uh conosci la cosa una volta che hai l'intelligenza e gli attuatori di base
capito, allora puoi effettivamente sai mettere tutti i tipi di
costumi immagino sul robot voglio dire che puoi far sembrare il robot uh
puoi scansionare il robot in molti modi diversi e um sono sicuro che le persone troveranno uh
modi molto interessanti per uh yeah versioni di ottimus così
Grazie per la grande presentazione che volevo sapere se c'era un equivalente agli interventi in Optimus
Sembra un'etichettatura di momenti in cui gli umani non sono d'accordo con ciò che sta accadendo è importante e in un robot umanoide
Potrebbe anche essere una fonte di informazione desiderabile
sì, stava dicendo ehm sì, penso che avremo modi di farlo
remoto gestisce il robot e intervenga quando fa qualcosa di male soprattutto quando stiamo allenando il robot e
Portandolo in umano e speriamo che tu sappia progettarlo in un modo da poter fermare il robot
Se colpirà qualcosa, possiamo semplicemente tenerlo e smetterà che non ti piaccia che ti schiaccia la mano o qualcosa del genere e quelli sono tutti interventi
dati uh sì e possiamo imparare molto anche dai nostri sistemi di simulazione dove possiamo
Verifica le collisioni e supervisiona che quelle sono cattive azioni sì, intendo così ottimale che vogliamo nel tempo
per essere um, conosci un tipo di Android Android che hai visto nei film di fantascienza come
Star Trek la prossima generazione come i dati, ma ovviamente potremmo programmare il robot per essere meno robot e più amichevole
e e uh sai che ovviamente puoi imparare a emulare gli umani e sentirti molto naturale
Quindi, come come Ai in generale, migliora, possiamo aggiungerlo al robot e
Um, sai che dovrebbe essere ovviamente in grado di fare semplici istruzioni o addirittura
In esso quello che vuoi um in modo da poterlo dare un'istruzione di alto livello e quindi può romperlo
giù in una serie di azioni e intraprendi tali azioni
ciao uh sì, è eccitante pensare che con l'ottimale lo penserete
È possibile ottenere ordini di grandezza di miglioramento e produzione economica
um è davvero emozionante e quando Tesla ha iniziato la missione era di accelerare l'avvento di
energia rinnovabile o trasporto sostenibile così con l'ottimale
Vedi ancora che la missione è questa missione di Tesla o verrà aggiornata con te lo sai
missione di accelerare l'avvento di non conosco l'abbondanza infinita o
Economia illimitata senza limiti sì, voglio dire che non è rigorosamente
Parlando um Optimus non sta parlando a stretto contatto uh
direttamente in linea con uh che accelera l'energia sostenibile che conosci
Nella misura in cui è più efficiente nel fare le cose rispetto a una persona con cui mi assisti se lo sai
energia sostenibile, ma penso che la missione faccia efficacemente si allarga in qualche modo con l'avvento di Optimus uh a
uh sai che non so rendere fantastico il futuro, quindi sai che ti penso
Guarda gli ottimisti e la um, ne so, ma sono entusiasta di vedere quali ottimisti diventeranno
E sai che è come se sai se potresti dire che puoi dire come ogni data tecnologia
Se lo fai, vuoi vedere com'è in un anno due anni tre anni quattro anni cinque anni dieci
Direi con certezza che vuoi assolutamente vedere cosa è successo con Optimus Um mentre conosci un mucchio di altri
Tecnologie Lo sai una specie di plateau ehm sui nomi dei nomi qui ma uh
[Risate] Um lo sai
Penso che Optimus sarà incredibile tra cinque anni dieci anni come strabiliante e io sono davvero
interessato a vederlo accadere, spero che lo sia anche tu oh, credo
Ehm ho una breve domanda qui, sono Justin e mi chiedevo come sei
Pianificare di estendere come capacità di conversazione per il robot e il mio secondo
Domanda di follow-up a ciò è come è l'obiettivo finale qual è l'obiettivo finale con Optimus
uh sì ottimisti avrebbero sicuramente funzionalità di conversazione così
Um io io saresti in grado di parlarne e avere una conversazione e mi piacerebbe abbastanza
naturale quindi dal punto di vista delle chiamate finali sono non so che penso che manterrà
Continua a evolversi e non sono sicuro di dove finisce ma
qualche posto interessante per certo, sai che dobbiamo sempre stare attenti
Informazioni che sai di non andare giù per il percorso Terminator Uh, che è uno che sai io
pensato per forse dovremmo iniziare con un video di simile al terminator che inizia con questo sai cranio
schiacciante ma oh potrebbe essere non so se vuoi prenderlo troppo sul serio, quindi sì, sai che vogliamo Optimus
Sii al sicuro, quindi stiamo progettando in garanzie UM dove puoi uh a livello locale
fermare il robot eh e uh lo sai con un posto fondamentalmente localizzato
Controlla ROM che non puoi aggiornare su Internet, cosa che penso sia abbastanza importante
ehm essenziale francamente um sola
Uh come un pulsante di arresto localizzato Um Remote Control qualcosa di simile
che non può essere cambiato um
Ma voglio dire che sarà sicuramente interessante, non sarà noioso così
ok sì, ti vedo oggi hai un prodotto molto attraente con dojo e le sue applicazioni, quindi mi chiedo cosa sia il
Future per la piattaforma Dojo vorremmo fornire come un'infrastruttura e un servizio di infrastruttura come AWS o
Sarai come una vendita un chip come il nvidia quindi in pratica qual è il futuro a causa di io dico che usi un sette
nanometro in modo che il costo degli sviluppatori sia facilmente come oltre 10 milioni di dollari USA come si fa a rendere il pene come un business dal punto di vista aziendale
sì, intendo um dojo è un computer molto grande e in realtà ne useremo molti
potere e ha bisogno di un sacco di raffreddamento, quindi penso che probabilmente avrà più senso far funzionare Dojo come uh
Modo di Amazon Web Services piuttosto che provare a venderlo a qualcun altro
ehm quindi il massimo che sarebbe il modo più efficiente per far funzionare il dojo è solo essere un servizio che tu
può usare uh disponibile online e che dove puoi addestrare i tuoi modelli
più veloce e per meno soldi e quello come il
UM World Transitions to Software 2.0
E questo è sulla carta del bingo qualcuno che so che deve sapere come bere cinque tequila
um quindi vediamo il software UM 2.0
[Risate] Sì, useremo molta rete neurale
Allenarsi così, lo sai che ha senso che nel tempo non ci sia più neurale
roba netta che le persone vorranno usare e UH il neurale a basso costo più rapido
Sistema di allenamento netto Quindi penso che ci siano molte opportunità in quella direzione
ciao mi chiamo Ali Jahanian grazie per questo evento è molto ispiratore mio
la domanda è um, mi chiedo qual è la tua visione per uh
robot umanit che comprendono le nostre emozioni e arte e possono contribuire
La nostra creatività bene penso che ci sia questo um sei
già vedendo robot che almeno uh sono in grado di generare molto interessanti
arte con come Dali Um e Dali 2. Um
E penso che inizieremo a vedere l'IA che possa effettivamente generare anche film che hanno una coerenza
come film interessanti e raccontare battute, quindi è abbastanza notevole quanto sia veloce l'intelligenza artificiale
Uh avanzare in molte aziende oltre a Tesla
Siamo diretti per un futuro molto interessante e um sì, quindi
Ragazzi, volete commentare che sì, immagino che il robot ottimista possa inventare arte fisica non solo arte digitale
Puoi sapere che puoi chiedere alcune mosse di danza nel testo o nella voce e quindi puoi produrre quelle in futuro così
È un sacco di cuore fisico non solo arte digitale oh sì sì i computer possono assolutamente
Crea un'arte fisica sì sì sì, sì, come ballare sicuro di giocare a calcio o qualunque cosa tu
Ehm Voglio dire che deve diventare più agile ma nel tempo sicuramente
grazie mille per la presentazione per le diapositive di autopilota Tesla che ho notato
che i modelli che stavi usando erano fortemente motivati dai modelli linguistici e mi chiedevo quale sia la storia di questo
era e quanto miglioramento ha dato pensavo che fosse una scelta curiosa davvero interessante da usare
Modelli linguistici per la transizione della corsia in modo che ci siano due aspetti per il motivo per cui siamo passati alla modellazione linguistica
il primo discorso a discorso forte e vicino va bene, va bene
Sì, quindi i modelli linguistici ci aiutano in due modi in cui il primo modo è che ci consente di prevedere corsie che non potremmo avere
Altrimenti come uno scosto menzionato in precedenza in pratica quando abbiamo previsto le corsie in una specie di fitta moda 3D puoi solo
Modella certi tipi di corsie ma vogliamo ottenere quelle connessioni incrociate all'interno degli incroci, non è possibile farlo senza farlo
Previsione grafica Se si tenta di farlo con una segmentazione densa non funziona anche la previsione della corsia è un multimodale
problema a volte non hai informazioni visive sufficienti per sapere esattamente come le cose appaiono dall'altra
lato dell'intersezione in modo da aver bisogno di un metodo in grado di generalizzare e produrre um che conosci previsioni coerenti
Non voglio prevedere due corsie in tre corsie nello stesso momento in cui vuoi impegnarti in un modello generativo come questi modelli linguistici
ciao oh ciao uh mi chiamo giovanni um yeah grazie per la presentazione
È davvero bello ho una domanda per il nostro team FSD, quindi per le reti neurali come fai
Test come come eseguire il software unità di test unità test su quello come hai come un mucchio o non lo so
migliaia o uh sì uh casi in cui
Quindi la rete neurale che dopo averlo addestrata devi passarla prima di rilasciarlo come prodotto giusto Uh yeah
Qual è la tua strategia di test dell'unità software per questo sostanzialmente sì, hai chiesto che tu abbia chiesto che ci sia una serie di test
che abbiamo definito UH a partire da te Know Unità Test per il software stesso, ma per i modelli di rete neurale abbiamo definiti set VIP dove
sai che puoi definire uh se hai solo un set di test di grandi dimensioni che non è sufficiente ciò che troviamo di cui abbiamo bisogno
sofisticato UH VIP imposta per diverse modalità di fallimento e quindi le curaniamo e le coltivano nel tempo del
Prodotto così nel corso degli anni abbiamo come centinaia di migliaia di esempi in cui abbiamo fallito in passato
Che abbiamo curato e quindi per qualsiasi nuovo modello che testiamo contro l'intera storia di questi fallimenti Uh e poi
Continua ad aggiungere a questo test set sopra di questo abbiamo modalità ombra in cui spediamo questi modelli in silenzio
L'auto e otteniamo i dati su dove stanno fallendo o succedendo uh e c'è un ampio programma di QA è molto
difficile da spedire una regressione ci sono come nove livelli di filtri prima che colpisca i clienti, ma poi abbiamo davvero bene
infra per renderlo tutto efficiente e io sono uno dei tester QA, quindi I QA
L'auto sì come un creatore sì, quindi sono costantemente in macchina solo
Fila come qualunque sia l'ultima build uh alpha che non si schianta totalmente
Trova molti bug uh hi ehm grande evento ho una domanda
Informazioni su uh modelli fondamentali per uh ho visto tutti i grandi modelli che
può davvero quando si aumenta i dati e il parametro del modello direttamente da GT3 a
Palmo può effettivamente fare il ragionamento vedi che è essenziale skinning
modelli di base su dati e dimensioni e quindi almeno puoi ottenere un
Modello dell'insegnante giusto che potenzialmente può risolvere tutti i problemi e quindi distillare su un modello di studenti è come come
Vedi i modelli di base rilevanti per 100 intendo che è abbastanza simile al nostro modello di etichettatura automatica in modo che non lo facciamo
Basta avere modelli che corrono nell'auto che alleniamo modelli completamente offline che sono estremamente grandi che non possono
Corri in tempo reale sull'auto, quindi eseguiamo solo quelli offline sui server che producono etichette davvero buone
Ciò può quindi addestrare le reti online in modo che questa sia una forma di distillazione di
Questi modelli di studenti insegnanti proprio in termini di modelli di fondazione stiamo costruendo alcuni davvero molto grandi
Set di dati che sai sono più petabyte e stiamo vedendo che alcune di queste attività funzionano davvero bene quando noi
avere questi grandi set di dati come la cinematica come ho menzionato il video in tutte le cinematiche di tutti gli oggetti
e fino al quarto derivato e la gente pensava che non potessimo rilevare con la velocità di profondità di rilevamento delle telecamere
accelerazione e immagina quanto siano precisi questi che questi derivati di ordine superiore siano accurati e tutto questo
viene da questo tipo di grandi set di dati e modelli di grandi dimensioni, quindi stiamo vedendo l'equivalente dei modelli di fondazione a modo nostro
geometria e cinematica e cose come quelle che vuoi aggiungere qualsiasi cosa John
sì, lo terrò breve in pratica ogni volta che ci alleneremo su un set di dati più ampio vediamo un grande ok, in pratica ogni volta che lo facciamo
Allenati su un set di dati più ampio vediamo grandi miglioramenti nelle prestazioni del nostro modello e sostanzialmente ogni volta che inizializziamo il nostro
reti con voi conosci un passo pre-allenamento da qualche altro compito ausiliario, fondamentalmente vediamo miglioramenti il
auto-supervisionato o supervisionato con set di dati di grandi dimensioni aiutano entrambi molto
hey così all'inizio Elon disse che Tesla era potenzialmente interessata a costruire intelligenza generale artificiale
sistemi dato l'impatto potenzialmente trasformativo della tecnologia come se sembra prudente investire
Sicurezza AGI tecnica UH UH SPECIALE SPECIARE IN SO TESLA fa molto
Ricerca tecnica di sicurezza dell'intelligenza artificiale ero curioso di sapere se Tesla intendeva
Cerca di costruire competenze nella sicurezza dell'intelligence generale artificiale tecnica specificamente
Beh, se intendo se se inizia a sembrare come faremo un contributo significativo a artificiale
intelligenza generale quindi allora investiremo sicuramente nella sicurezza UH, sono un grande sostenitore della sicurezza dell'IA, penso che lì
dovrebbe essere una sorta di autorità regolatoria a livello di governo, proprio come c'è un
Autorità normativa per UH tutto ciò che influisce sulla sicurezza pubblica, quindi abbiamo un'autorità di regolamentazione per gli aeromobili e
auto e uh una sorta di cibo e droghe e perché colpiscono la sicurezza pubblica e l'IA
colpisce anche la sicurezza pubblica, quindi penso che sia e questo non è davvero qualcosa che il governo penso capisca ancora ma io
Penso che penso che ci dovrebbe essere un arbitro che sta garantendo la um o il tentativo di garantire il pubblico
Sicurezza per Uh AgI e ti pensi come bene come sono
Gli elementi necessari per creare AGI come UH il set di dati accessibile è estremamente
importante e se hai un gran numero di auto e robot umanoidi uh
elaborazione conosci Petabyte di dati video e
dati audio dal mondo reale uh proprio come gli umani che potrebbe essere
Il più grande set di dati è probabilmente il più grande set di dati UM perché è possibile
Ovviamente scansionare in modo incrementale Internet UM ma ciò che Internet non può fare è proprio
hanno milioni o centinaia di milioni di telecamere nel mondo reale
Come ho detto con audio e e uh e anche altri sensori, quindi penso che noi
probabilmente avrà la maggior quantità di dati UM e probabilmente la maggior quantità di TR di
potere di allenamento quindi probabilmente Uh faremo a
Contributo all'AGI
hey um ho notato che il semi era laggiù ma non ne abbiamo parlato troppo, mi stavo solo chiedendo per il camion semi
Quali sono i cambiamenti uh a cui stai pensando da una prospettiva di rilevamento, immagino che ci sia molto diverso
Requisiti ovviamente di un semplice auto se e se non pensi che sia vero perché è così vero
uh no, penso che praticamente puoi guidare un'auto, intendo pensare a ciò che guida qualsiasi veicolo è un biologico
neurale net uh con uh con gli occhi con telecamere essenzialmente così se um e davvero
Quali sono i tuoi sensori primari sono uh due telecamere su un gimbal lento molto
rallentano gimbal um è uh che è la tua testa uh quindi se
Se si sai se una rete neurale biologica con due telecamere su un gimbal lento può guidare un camion semi
Um se hai circa otto telecamere con visione continua a 360 gradi uh
Operando a un frame rate più elevato e velocità di reazione molto più elevata, quindi penso che sia ovvio che dovresti essere in grado di guidare un semi o qualsiasi veicolo molto
meglio di un umano ciao mi chiamo akshay grazie per il
evento Uh supponendo che tu sappia che Optimus verrebbe utilizzato per diversi casi e
si evolverebbe in un pezzo diverso per questi casi d'uso che sarebbe possibile
Per sviluppare e distribuire diversi componenti software e hardware in modo indipendente e distribuirli, lo sai
In Optimus in modo che il complesso si sappia lo sviluppo delle caratteristiche è più veloce
Optimus riferimento alle domande
Ok, va bene, non abbiamo capito, purtroppo la nostra rete neurale non ha compreso la domanda
uh sì così bene la prossima domanda
Voglio passare un marcia al pilota automatico, quindi quando avete intenzione di lanciare il
BETA FSD in paesi diversi da noi e in Canada e anche la mia prossima domanda è
Qual è il più grande collo di bottiglia o la barriera tecnologica che pensi nell'ordine attuale parte dello stack e come
Immagina di risolverlo per rendere l'autopilota è considerevole meglio che umano in termini di matrice di prestazioni
sicurezza della sicurezza e fiducia umana penso che tu stia abbinando anche 4v uh fstb
o qualunque cosa tu sia ragazzi che combinano l'autostrada e la città come un singolo stack e un po 'di architettonico uh
Grande miglioramento, forse puoi sperimentare un po 'su questo grazie bene, è un sacco di un sacco di
Domande bene, noi, speriamo di potermi pensare
Da un punto di vista tecnico UM FSD Beta dovrebbe essere possibile lanciare che SFSD beta uh
in tutto il mondo entro la fine di quest'anno ume um, ma lo sai da un sacco di
Paesi Abbiamo bisogno di approvazione normativa UM e quindi siamo in qualche modo recintati dall'approvazione normativa in altri paesi
Um ma lo sai, ma penso dal punto di vista tecnico sarà pronto per
Vai a una beta mondiale entro la fine di quest'anno e c'è un grande grande
Miglioramento che ci aspettiamo di rilasciare il prossimo mese uh che sarà sempre particolarmente bravo in UH
Valutare la velocità del traffico trasversale in rapido movimento e un sacco di altre cose, quindi chiunque elabora
Per gli oggetti sì, immagino, quindi c'erano molte differenze tra la produzione
Il pilota automatico e la beta a guida autonoma, ma quelle differenze sono diventate sempre più piccole nel tempo, penso
Solo pochi mesi fa ora utilizziamo lo stesso stack di rilevamento degli oggetti nella stessa visione in FSD e nella produzione
pilota automatico su tutti i veicoli, ci sono ancora alcune differenze che la principale è il modo in cui noi
Prevedi le corsie in questo momento, quindi abbiamo aggiornato la modellazione della corsia in modo che possa gestire queste geometrie più complesse come ho menzionato nel discorso
Autopilota di produzione Usiamo ancora un modello di corsia più semplice ma stiamo estendendo i nostri attuali modelli beta FSD in cui lavorare
tutti i tipi di scenari autostradali anche uh sì e la versione di Uh fst
beta che guido in realtà ha lo stack integrato, quindi questo usa il
FSD si impila sia nelle strade della città che in autostrada e Uh funziona abbastanza bene per me noi, ma dobbiamo convalidarlo
tutti i tipi di tempo come la polvere di neve di pioggia pesante em e uh e assicurati solo che lo sia
Lavorare come meglio dello stack di produzione Uh in You Know in una vasta gamma
degli ambienti uh ma siamo abbastanza vicini a quello um voglio dire, penso che non lo so forse
Sarò sicuramente prima della fine dell'anno e e forse novembre sì, nelle nostre spinte personali, l'FSD
stack su unità autostradale già meglio dello stack di produzione che abbiamo e prevediamo anche di includere il
Piccolo del parcheggio come parte dello stack FSC prima della fine di quest'anno in modo che praticamente ti porterà
Siediti in macchina nel parcheggio e guida fino alla fine del parcheggio in un parcheggio prima della fine di questo
anno sì e e in termini di come il fondamentale la metrica fondamentale da ottimizzare è
Um quante miglia per un intervento necessario così
Ehm migliorando in modo massiccio il numero di miglia su cui la macchina può guidare per intero
l'autonomia prima che sia richiesto un intervento che sia una sicurezza critica, quindi
sì, è la metrica fondamentale che stiamo misurando uh ogni settimana e stiamo facendo radicali
Miglioramenti per questo ciao grazie ciao grazie mille per
la presentazione molto stimolante il mio nome è daisy in realtà ho un non tecnico
Domanda per te sono curioso uh se torni ai tuoi 20 quali sono alcuni di
le cose che vorresti sapere allora quali sono alcuni consigli che daresti al tuo io più giovane
beh, sto cercando di capire qualcosa di utile per dirlo
sì sì, mi sono unito a Tesla sarebbe una cosa um
Ehm sì, penso che in genere cerchi di esporsi a tante persone intelligenti
possibile e leggo molti libri
Um, sai che lo ho fatto, sebbene uh
Quindi um penso che ci sia un po 'di merito anche da
come non essere come necessariamente troppo intenso e e piace goderti il
momento un po 'di più direi a 20 o 20 qualcosa che me è solo a te conoscere uh
Fermarsi e annusare le rose di tanto in tanto sarebbe probabilmente una buona idea
Um lo sai che è come quando stiamo sviluppando il razzo Falcon One
e Uh su sull'atollo quadrilina e abbiamo avuto questa bellissima piccola isola che
Stiamo sviluppando il razzo e non una volta che durante tutto quel tempo ho anche bevuto un drink sul
spiaggia sto bene, avrei dovuto bere qualcosa sulla spiaggia che sarebbe andato bene
Grazie mille, penso che tu abbia eccitato tutte le persone di robotica
Con Optimus uh questo sembra molto simile a 10 anni fa nella guida ma come uh
La guida si è rivelata più difficile di quanto sembrasse effettivamente 10 anni fa cosa sappiamo ora che non abbiamo 10 anni fa
Ciò renderebbe ad esempio l'AGI su un umanoide arrivare più velocemente
beh, voglio dire mi sembra che Hei stia avanzando molto rapidamente um
Difficilmente passa una settimana senza un annuncio significativo e Uh sì, intendo
A questo punto come l'IA sembra essere in grado di vincere in quasi tutti i giochi basati sulle regole
Uh è in grado di creare arte estremamente impressionante
impegnarsi in conversazioni che sono molto sofisticate, sai
Scrivi saggi e questi continuano a migliorare
Ehm e c'è molto di più così tante più persone di talento che lavorano
su AI e l'hardware sta migliorando, penso che sia un AI è su un super
come una forte curva esponenziale di miglioramento indipendente da ciò che facciamo
Tesla um e ovviamente trarremo un po 'bene a quella curva esponenziale di
Anche il miglioramento con Ai UM accessibile sembra essere molto
Bene in attuatori che motori conoscete i motori cambi controller Batterie di elettronica di alimentazione
Sensori um e um che sai davvero come io dico che lo sai
La più grande differenza tra il robot su quattro ruote e il robot con braccia e gambe è ottenere gli attuatori
giusto in realtà è un problema di attuatori e sensori em e ovviamente sai come tu
Controlla quegli attuatori e i sensori ma sono attuatori e sensori sì e come tu
Controlla gli attuatori È un
Robot avvincente e lo stiamo facendo così
ciao elan uh stai effettivamente portando l'umanità al livello successivo letteralmente Tesla e
Stai portando l'umanità al livello successivo, quindi hai detto Optimus Prime Uh
Optimus verrà utilizzato nella prossima fabbrica Tesla la mia domanda è una nuova Tesla
La fabbrica sarà gestita completamente dal programma Optimus e
E quando può ordinare il pubblico in generale un umanoide, sì, penso che saperai che siamo
Inizieranno gli ottimisti con compiti molto semplici nella fabbrica Um lo sai come forse come caricamento
a parte come hai visto nel video caricando una parte uh perché sapete che porti a parte uno
collocare un altro o caricare una parte in Um uno dei nostri robot più convenzionali
cellule uh a te sai che salda il corpo insieme, quindi inizieremo
Sto solo cercando di renderlo utile in tutte le um e poi e poi ad espandere gradualmente il numero di situazioni in cui si trova
Utile um e penso che il numero di situazioni in cui Optimus
è utile, crescerà esponenzialmente come davvero molto velocemente
ehm in termini di quando le persone possono ordinarne una non so, penso che non sia così lontano
via ehm beh, penso che tu intenda quando le persone possono riceverne uno
ehm quindi non so che sono come direi probabilmente entro tre anni non sono di più
di cinque anni entro tre o cinque anni potresti probabilmente ricevere un ottime
Sento il modo migliore per fare i progressi per le AGIS per coinvolgere il maggior numero possibile di persone intelligenti in tutto il mondo
Le dimensioni e le risorse di Tesla rispetto alle società robot e al momento hanno dato lo stato dell'umanità
non avrebbe senso per il tipo di Tesla per una sorta di open source alcuni dei
parti hardware di simulazione penso che Tesla possa ancora essere il platform dominante
dove può essere qualcosa come Android OS o come le cose iOS per l'intero umano o la ricerca sarebbe
qualcosa che piuttosto che mantenere l'ottimale per solo i ricercatori di Tesla o il
La stessa fabbrica può aprirlo e lasciare che il mondo intero esplora la ricerca umana
um penso che dobbiamo stare attenti al fatto che Optimus sia potenzialmente usato in modi che sono cattivi perché quello è uno
delle cose possibili da fare, quindi penso che lo faresti
Fornire ottimisti in cui è possibile fornire istruzioni agli ottimisti ma dove tali istruzioni
Sei uh che conosci governato da alcune leggi della robotica che non puoi superare
Quindi sai di non fare del male agli altri e uh
Avrei pensato probabilmente a alcune cose relative alla sicurezza con Optimus sì, quindi va bene lo faremo
Prendi forse qualche altra domanda e poi e poi grazie a tutti per essere venuti
domande um uno profondo e uno largo in profondità per ottimus qual è il
Currente e qual è la larghezza di banda del controller ideale e poi nella domanda più ampia, c'è così grande
Pubblicità per la profondità e l'ampiezza dell'azienda di cosa si tratta in modo univoco
Tesla che consente a chiunque voglia affrontare la larghezza di banda
Domanda sì sì, quindi la larghezza di banda tecnica del costume
Va bene per la domanda di larghezza di banda che devi capire o capire cos'è il
compito che volevi fare e cosa è gratuito se hai preso una trasformazione di frequenza di quell'attività che cosa è così
Vuoi che i tuoi arti facciano ed è qui che ottieni la tua larghezza di banda da It non è un numero che puoi specificamente dire che devi capire il tuo uso
caso ed è da qui che la larghezza di banda viene da uh ok qual è la domanda ampia
Non ricordo bene l'ampiezza e la profondità a cui posso rispondere all'ampiezza e alla profondità, ma sì
Sono stato interessante sul retro della domanda, penso che probabilmente finiremo per aumentare la larghezza di banda o te
sapere che si traduce nell'effetto della destrezza uh e nel tempo di reazione del robot
ehm come potessi salvare gli stati non è una Hertz um ed è forse non devi andare
fino a 100 Hertz uh ma non so forse 10 25 non lo so
Nel tempo penso che la larghezza di banda aumenterà un po 'o tradotta in destrezza e latenza
um uh vorresti minimizzarlo nel tempo Uh sì minimizzare la latenza massimizza la destrezza
Ehm intendo in termini di ampiezza e profondità, immagino tu sappia che abbiamo
A questo punto siamo un'azienda piuttosto grande, quindi abbiamo molte diverse aree di competenza che dobbiamo necessariamente
Sviluppa per rendere autonome o per creare auto elettriche e quindi per rendere elettriche autonome
auto um abbiamo solo intendo che Tesla è come un'intera serie di startup fondamentalmente e
Finora hanno quasi avuto tutti abbastanza successo, quindi dobbiamo fare qualcosa di giusto
um e io sai che considero una delle mie responsabilità fondamentali uh la società iraniana è avere un ambiente in cui
Uh grandi ingegneri possono prosperare e penso in molte aziende
Non so forse la maggior parte delle aziende se se qualcuno è un ingegnere molto talentuoso, non sono in grado di effettivamente
Uh i loro talenti sono soppressi in molte aziende e lo sai
e e alcune delle aziende che il talento ingegneristico è soppresso in un modo che forse non è ovviamente male
ma dove è così comodo e hai pagato così tanti soldi e tu ma tu sei il risultato che devi effettivamente
il prodotto è così basso che è come una trappola del miele che sai, quindi come ce ne sono alcuni
Honey Trap Uh Places nella Silicon Valley Uh dove non sono necessariamente non sembrano posti cattivi per gli ingegneri ma
Hai detto come un buon ingegnere e cosa sono usciti
e la produzione di quel talento ingegneristico sembra molto basso
Anche se sembra essersi divertiti, ecco perché lo chiamo ci sono alcune compagnie di trappole al miele in
Silicon Valley Uh Tesla non è una trappola del miele che stiamo chiedendo ed è come se facessi molto
eh e sarà davvero bello em e sai che non sarà facile
ma se sei un ingegnere di grande talento i tuoi talenti saranno usati i
Pensa in misura maggiore che altrove
Sai anche SpaceX in questo modo così highline uh uh ho due domande così
Sia per la squadra di pilota automatico, quindi la cosa è come se ho seguito i tuoi progressi negli ultimi anni, quindi oggi
Hai apportato modifiche come il rilevamento snello come hai detto che come in precedenza state facendo una segmentazione semantica istantanea ora voi ragazzi
Costruito modelli di trasferimento per come costruire le corsie, quindi quali sono altre alcune altre sfide comuni che voi ragazzi
stanno affrontando in questo momento come stai risolvendo in futuro come ingegnere curioso in modo che come noi come ricercatore possa lavorare
Su coloro che iniziano a lavorare su quelli e la seconda domanda è come se fossi davvero curioso del motore di dati come te
Ragazzi, mi piace un caso come dove viene fermata l'auto, quindi come stai trovando casi che è molto simile
A quello dai dati che hai così un po 'di più sul motore dati sarebbe fantastico, quindi va bene
Ehm inizierò a rispondere alla prima domanda Uh usando la rete di occupazione come esempio, quindi quello che hai visto nella presentazione
non esisteva un anno fa, quindi abbiamo trascorso solo un anno in tempo per cui sono un rapporto con più di 12 occupazioni
Rete e hai un modello di base in realtà per rappresentare l'intero
mondo fisico intorno ovunque e tu sempre la condizione è davvero davvero
davvero impegnativo, quindi solo più di un anno fa siamo un po 'come guidare un 2D dove se c'è una guerra e
Dice curva che rappresentiamo in un certo senso con lo stesso bordo statico che ovviamente non sai non ideale, proprio c'è un
Grande differenza tra una curva e un muro quando guidi fai scelte diverse bene dopo aver capito
Dobbiamo andare al 3D dobbiamo sostanzialmente ridercinare l'intero problema e pensare a come ci affrontiamo, quindi questo lo farà
Sii come un esempio di sfide che abbiamo uh uh abbiamo una conquista nell'ultimo anno
sì, per rispondere alla domanda su come realizziamo effettivamente esempi delle auto difficili da fermare, ci sono alcuni modi per andare
su questo, ma due esempi sono uno che possiamo innescare per i disaccordi all'interno dei nostri segnali, quindi diciamo che parcheggiato bit
Frompila tra parcheggio e guida attirerà quel retro e il secondo è che possiamo sfruttare più della modalità ombra
logica quindi se il cliente ignora l'auto ma pensiamo che dovremmo fermarci per recuperare quei dati, quindi questi sono solo
diverso come vari trigger logica che ci consente di recuperare quelle campagne di dati
ciao grazie per la straordinaria presentazione grazie mille
sono molte aziende che si stanno concentrando sul problema dell'AGI e uno dei motivi per cui è un problema così difficile
Perché il problema stesso è così difficile da definire diverse aziende hanno diverse definizioni su cui si concentrano
cose diverse, quindi cosa è Tesla come sta Tesla a definire il problema ATI e su cosa ti stai concentrando specificamente
bene bene non siamo in realtà focalizzati specificamente su AGI, sono semplicemente
dicendo che l'HGI è così sembra essere una proprietà emergente di ciò che siamo
facendo um perché stiamo creando tutte queste auto autonome e umanoidi autonomi
um che sono in realtà in un flusso di dati davvero gigantesco che sta arrivando
ed ed essere elaborato è di gran lunga la maggior quantità di dati e dati del mondo reale che non puoi ottenere
Sto solo cercando in Internet perché devi essere là fuori nel mondo e interagire con le persone e interagire con le strade e e solo te
sapere che la terra è un posto grande e la realtà è disordinata e complicata, quindi penso che sia un po 'come uh
probabilmente sembra che sia probabile che sia una proprietà emergente di se hai conosci decine o centinaia di milioni di milioni
veicoli autonomi e e forse anche un numero comparabile di umanoidi forse più di quello sul fronte umanoide
Ehm beh, questa è solo la maggior quantità di dati em e se quel video viene elaborato
Sembra solo probabile che tu sappia che le macchine andranno sicuramente meglio dell'umano
i conducenti e i robot umanoidi diventeranno sempre più
indistinguibile forse dagli umani e quindi quindi come hai detto di avere un
Proprietà emergente di AgI um
e probabilmente gli umani che conosci collettivamente sono una specie di super intelligenza e soprattutto come noi
Migliora la frequenza dei dati tra esseri umani, intendo pensare che quello sembra essere indietro nei primi giorni in cui Internet lo era
come se Internet fosse come l'umanità um che acquisisce un sistema nervoso in cui all'improvviso nessuno
Element of Humanity poteva conoscere tutta la conoscenza degli umani collegando
su Internet quasi tutte le conoscenze o certamente una parte enorme di essa, mentre in precedenza uscivamo
Informazioni da parte di Osmosi da parte di voi che sappiamo che dovremmo apprezzare per trasferire i dati in modo da dover scrivere una lettera
Qualcuno dovrebbe portare la lettera per persona a un'altra persona e poi un sacco di cose nel mezzo e
allora era come questa posizione, sì, voglio dire, è follemente lento quando ci pensi
ehm e anche se eri nella biblioteca del Congresso non avevi ancora accesso a tutte le informazioni del mondo e tu
Certamente non potrei cercarlo e so che ovviamente pochissime persone sono nella biblioteca del Congresso così
Ehm intendo uno dei grandi ehm una sorta di elementi di uguaglianza
come se Internet è stato il più grande equalizzatore della storia in
Termini di accesso a informazioni o conoscenze um in qualsiasi studente di storia credo
Sarei d'accordo con questo perché sai che torni indietro mille anni c'erano pochissimi libri come
come e i libri sarebbero stati incredibilmente costosi, ma solo poche persone sapevano leggere e solo se un ancora più piccolo
Il numero di persone aveva anche un libro ora ora guardalo come te puoi accedere a qualsiasi libro all'istante che puoi imparare
qualsiasi cosa per praticamente gratuitamente è piuttosto incredibile
Sai che mi è stato chiesto di recente quale periodo della storia preferirei essere
Al massimo e la mia risposta è stata in questo momento
Questo è il momento più interessante della storia e ho letto molta storia
Quindi andiamo oh sì, facciamo del nostro meglio per continuare sì
E per tornare a una delle prime domande che risponderò come se potessi la cosa che è successa nel tempo
Rispetto al pilota di Tesla è che abbiamo solo il
Le reti neurali sono state gradualmente assorbite sempre più software e nel limite ovviamente
potrebbe dire semplicemente di prendere i video visti dall'auto e confrontarli con questi
Gli input di sterzo dal volante e dai pedali che sono input molto semplici e in linea di principio potresti
Allenati senza nulla in mezzo perché è quello che gli umani stanno facendo con una rete neurale biologica che potresti addestrare
Basato su video e uh e ciò che allena il video è il movimento di
Il volante e i pedali senza altro software tra non ci siamo ancora, ma è gradualmente
Andare in quella direzione oh va bene aspetta l'ultima domanda
Stai andando Uh penso che abbiamo una domanda davanti qui Uh ciao lì proprio lì farò due
Domande bene laggiù ehm hi uh grazie per una presentazione così grande, la vecchia domanda dura
Ehm con FSD utilizzato da così tante persone, pensi qual è il com come si valuta il rischio dell'azienda
tolleranza in termini di statistiche sulle prestazioni e pensi che debba esserci più trasparenza o regolamentazione da terzi su come ciò che è buono
Abbastanza e che definisce le soglie per le prestazioni
Alcuni miglia uh sicuramente bene lo sai io
Il requisito di design numero uno a Tesla è la sicurezza così come e quello
va oltre il tabellone, quindi in termini di sicurezza meccanica dell'auto abbiamo la più bassa probabilità di lesioni di qualsiasi auto
mai testato dal governo solo per una sicurezza meccanica passiva essenzialmente
Struttura degli incidenti e airbag e quant'altro che abbiamo il migliore
Valutazione anche per la sicurezza attiva e um penso che arriverà al punto
dove sei l'atto di sicurezza è così ridicolmente buono, è che è come semplicemente assurdamente meglio di un essere umano
um e poi rispetto a uh autopilot um, pubblichiamo questo uh ampiamente
Parlando le statistiche su miglia di UM guidate con auto che non hanno no
autonomia o auto Tesla senza autonomia con una specie di hardware uno hardware due
Hardware tre um e poi uh quelli che si trovano in fsd beta
um e vediamo costante miglioramenti lungo tutto il tempo e sai a volte c'è questo
dicotomia di te lo sappia che dovresti aspettare fino a quando la macchina è come se non lo conoscessi
tre volte più sicuro di una persona prima di distribuire qualsiasi tecnologia, ma penso che sia in realtà moralmente sbagliato
ehm al punto in cui credi che l'aggiunta di autonomia uh riduca uh
lesioni e morte um penso che tu abbia l'obbligo morale di distribuirlo anche se lo farai
essere citato in giudizio e incolpato da molte persone perché le persone le cui vite hai salvato non sanno che le loro vite sono
salvati e le persone che le persone che occasionalmente muoiono o si feriscono che lo sanno sicuramente o la loro proprietà fa
che è stato tu sai qualunque cosa ci sia un problema con il pilota automatico è per questo che devi guardare AT
I numeri in una sorta di miglia totali guidavano quanti incidenti si sono verificati quanti incidenti erano gravi quanti
morti e sai che abbiamo ben oltre tre milioni di auto sulla strada, quindi questo è un sacco di miglia
Ogni giorno non sarà perfetto, ma ciò che conta è che è molto chiaramente più sicuro che no
Distribuirlo um sì, quindi penso che l'ultima domanda
Penso di sì, quindi grazie qual è l'ultima domanda qui
va bene um sì, ho capito bene uh ciao
Ehm non lavoro su hardware quindi forse il team di hardware e voi ragazzi possiamo
illuminami uh perché è necessario che ci sia simmetria
ehm nella progettazione di Optimus perché gli umani abbiamo consegnato bene noi
Usiamo una serie di muscoli più di altri nel tempo c'è usura
Uh giusto quindi forse inizierai a vedere alcuni guasti congiunti o qualche attuatore
fallimenti più nel tempo capisco che questo è estremamente pre-stage
Anche noi come umani abbiamo basato così tanta fantasia e finzione su super umano
capacità come tutti noi non vogliamo camminare proprio laggiù vogliamo estendere le braccia e come se avessimo tutti
Questi conosci molti design fantastici fantasy, quindi considerando
tutto il resto che sta succedendo in termini di batterie e intensità di
Calcola forse puoi sfruttare tutti quegli aspetti per elaborare qualcosa
Beh, non so più interessante in termini del tuo robot che sei
costruire e spero che tu sia in grado di esplorare quelle indicazioni, sì, voglio dire penso che sarebbe bello farlo
avere come se lo sapete rendere reale l'ispettore gadget che sarebbe piuttosto dolce, quindi sì, voglio dire che in questo momento noi
voglio solo fare un umanoide di base ciò che funziona bene e il nostro obiettivo è il percorso più veloce
Per un utile robot umanoide penso che questo ci metta a terra nella realtà
letteralmente ehm e assicurati di fare uh
Qualcosa di utile come una delle cose più difficili da fare è essere utile per
In realtà e poi e poi avere un'alta utilità sotto la curva come quante persone hai aiutato il tempo che conosci e
Quanto aiuto hai fornito in media a ogni persona
E poi quante persone hai aiutato l'utilità totale come cercare di spedire effettivamente un prodotto utile
che alla gente piace un gran numero di persone è così follemente duro che sbalordi
la mente um che sai è per questo che potrei dire come l'uomo c'è una differenza tra un'azienda che ha un prodotto a turno e uno non ha sicuro del prodotto è un
gioco questo è giorno e notte e poi anche una volta spedito il prodotto puoi fare il costo del valore del
output vale più del costo dell'input che è di nuovo follemente difficile soprattutto con l'hardware così
um ma penso nel tempo penso che siamo carini a fare cose creative e abbiamo come otto braccia e qualunque cosa
um e hai versioni diverse e forse sai che ci sarà un po 'di hardware
come le aziende che sono in grado di aggiungere cose a un ottimista come forse
Sai aggiunto in una porta di potenza o qualcosa del genere o attaccarli puoi aggiungere che sai aggiungere allegati al tuo
Ottimista come se potessi aggiungerli al tuo telefono um potrebbe essere un sacco di cose interessanti che potrebbero essere fatte nel tempo e ci potrebbe
essere forse un ecosistema di piccole aziende che o aziende che realizzano componenti aggiuntivi per
Optimus Quindi con questo uh ringrazia il team per il loro duro lavoro
uh ragazzi siete fantastici e uh sì e uh grazie
Tu e Uh grazie a tutti per essere venuti e per tutti online grazie per aver sintonizzato
um e penso che questo sarà uno di quei fantastici video in cui ti piace se puoi andare avanti rapidamente ai pezzi
che trovi più interessante, ma cerchiamo di darti un'enorme quantità di dettagli, in modo da poter guardare
Il video a tuo piacimento e puoi concentrarti sulle parti che trovi interessanti e saltare le altre parti uh
Quindi grazie a tutto ciò e lo faremo per farlo ogni anno e potremmo anche fare una parte di un podcast mensile
um uh così uh ma penso che saperai che è bello una specie
Portati per la corsa e e mi piace mostrarti cosa stanno accadendo le cose interessanti e ehm sì, grazie
