테슬라 CEO 엘론 머스크 (Elon Musk)는 최근 회사의 테슬라 봇을 공개했다. 로봇 코드 이름 지명 옵티머스는 무대를 가로 질러 섞여 손을 흔들며 천천히 춤을 추고 팔을 펌핑했습니다. 머스크는 로봇이 계획에 따라 모든 것이 진행되면 로봇이 3 ~ 5 년 안에 20,000 달러의 비용이들 수 있다고 예측합니다. 그러나 문제는 우리를 위해 무엇을 할 수 있는지입니다. 그러나 우리가 그것에 들어가기 전에, 테슬라 봇을 구동하는 주요 장치를 살펴 보겠습니다.
테슬라 봇 액추에이터
그만큼 액추에이터 모든 로봇의 메인 드라이브 시스템입니다. 로봇이 움직이는 부품이있는 PC에 지나지 않거나 다시 말해 로봇은 액추에이터와 센서가있는 PC라고 말할 수 있습니다. Tesla는 봇을위한 자체 액추에이터를 개발했으며 3 가지 유형의 로터리 액추에이터와 3 가지 유형을 사용합니다. 선형 액추에이터.
Tesla가 왜 표준화 된 선형 액추에이터를 사용하지 않았는지 궁금하다면 FIRGELLI 액추에이터는 로봇이 궁극적으로 가볍고 전력 효율적이며 고출력 밀도 및 저렴한 비용이되도록 자체 시스템을 개발해야한다는 몇 가지 제약이 있기 때문에 자체 시스템을 개발해야한다는 것을 의미합니다. Tesla는 봇을 각각 $ 20,000에 소매하도록하고 싶다고 주장했다. 이것은 Gong이 23 개의 액추에이터와 강력한 PC, 많은 센서 및 배터리 팩을 필요로하는 것이 큰 순서입니다.
테슬라 봇 선형 액추에이터
Tesla가 개발 한 선형 액추에이터는 특정 역할에 대해 매우 구체적입니다. 이는 로봇 이외의 다른 응용 프로그램에 실제로 많이 사용되지 않을 것임을 의미합니다. 그들의 액추에이터는 행성 롤러 시스템을 사용하고 Tesla는 그것을 부릅니다. 그러나 이것은 기본적으로 Ballscrew Leadscrew 디자인의 코드이며, 모터 중간의 전통적인 자기 전기자 코일 대신 브러시리스 코어 모터 설계를 사용하기로 결정했습니다. 이것은 Ball Leadscrew Design이 매우 효율적이며 전력이 적지 만 더 비싸다는 것을 의미합니다. 또한 브러시리스 전원 시스템을 사용합니다. 즉, 라이브 스팬이 상당히 빠르며 소프트웨어에 의해 제어되는 매우 구체적인 드라이브 모드를 허용합니다.
여행의 길이는 길이가 약 2 인치이며, 그림이 500kg에서 피아노를 들어 올리는 것이 무게가 많이 나타납니다. 무게가 많은 무게를 들어야하는 이유가 궁금 할 것입니다. 금속 골격, 액추에이터 여행은 움직이는 것에 대한 스토크를 증폭시켜야합니다. 따라서 로봇의 다리를 움직이면 다리는 약 150도 또는 2 피트 이상으로 다리가 스윙해야합니다. 약 0에서 3 피트 아크. M 제작은 액추에이터가 2 인치에 걸쳐 500kg의 무게를 들어 올릴 수 있지만, 레버에 연결된 액추에이터가 레버리지 비율에 따라 힘이 크게 줄어들지 만, 속도가 높아져 좋은 거래를 만듭니다. -끄다.
테슬라 봇 프레젠테이션.
테슬라 자체가 2022 년 9 월 30 일에 제공 한 최신 봇 프레젠테이션에 대해 말한 내용은 다음과 같습니다.
엘론 머스크 선물 : w당신에게 보여줄 정말 흥미로운 것들이 있습니다. 나는 당신이 꽤 감동 할 것이라고 생각합니다. 작년에 아는 것처럼 옵티머스 로봇에 대한 기대치를 설정하고 싶습니다. 작년에 로봇 슈트를받은 사람 일뿐 만 아니라 우리는 먼 길을 오지 않았으며, 그와 비교하여 알고 있다고 생각합니다. 매우 인상적입니다. 그리고 우리는 전체 자율 주행을위한 AI의 진보와 그들이 더 많은 것에 어떻게 적용되는지에 대해 이야기 할 것입니다.일반적으로 휴머노이드 로봇과 같은 실제 AI 문제 및 심지어 그 이상의 문제. Tesla에서 우리가 여기에서하고있는 일이 AGI에 의미있는 기여를 할 수 있다는 잠재력이 있다고 생각합니다. 그리고 우리는 공개적으로 거래되는 회사이기 때문에 거버넌스 관점에서 그것을 할 수있는 좋은 단체를 알려줍니다. 주식의 종류와 그것은 대중이Tesla를 통제하고 나는 그것이 실제로 좋은 일이라고 생각합니다.내가 미쳤지 않을 수도 있습니다. 그래서 우리는 AI Autopilot의 진전과 Dojo와의 진행 상황에 대해 많은 이야기를 할 것입니다. 그리고 우리는 팀을 이끌어 내고 긴 Q & A를 할 것입니다. 질문. 실존 질문이 무엇이든 가능한 한 Q & A에 많은 시간을 보내고 싶다면 기술적 인 질문이 있으므로 매일 무엇을 추측하십시오.
헤이 얘들 아 나는 밀라노 나는 오토 파일럿에서 일하고 있고 고무이다. 나는 프로젝트의 기계 엔지니어도 괜찮다.
기계식 메커니즘 케이블 없음 아무것도 없습니다. 그래 난 너희들과 합류하고 싶어
오늘 밤하지만 처음 이었어요테슬라 자동차에서 실행되는 자율 주행 컴퓨터는 문자 그대로 로봇이 테더없이 처음으로 운영 된 것은 오늘 밤 무대에 있었기 때문에 로봇은 실제로 우리에게 보여준 것보다 훨씬 더 많은 일을 할 수 있습니다. 그냥 얼굴에 빠지기를 원하지 않았으므로 우리는 로봇에 대한 비디오를 보여 드리겠습니다.
그래 우리는 지난 몇 달 동안 우리가 한 일을 조금 더 보여주고 싶었습니다.무대에서 걸어 다니고 춤을 추고 겸손한 시작이지만 자동 조종 장치 신경망이 다음과 같은 것을 볼 수 있습니다.
저의 물에있는 새로운 플랫폼에서 버드를 직접 재교육합니다.로봇이 로봇이라는 렌더링 된 견해 로봇이 보는 세상은 무엇입니까? 그래서 그것은 이와 같은 객체를 매우 명확하게 식별하는 것입니다. 우리는 자동 조종 장치가 네트워크에서 데이터를 수집하는 것과 동일한 프로세스를 사용합니다.
상체를 조금 더 보여주는 예입니다.
앞으로 몇 개월 동안 몇 달 안에 손톱을 뿌리려고하는 것이 완벽하다고 말할 것입니다.이것은 실제로 Fremont 공장의 실제 역입니다.
그것이 오늘 우리가 보여 주어야 할 유일한 것은 아니기 때문에 우리가 Bumble C라고 부르는 것이 었습니다. 그것은 Semi-Off-The-Spirl Actuators를 사용하는 우리의 거친 개발 로봇이지만 실제로는 이미 그보다 한 단계 더 나아갔습니다. 팀은 놀라운 일을했고 우리는 실제로
두 액추에이터 배터리 팩 제어 시스템에서 설계된 완전 테슬라걸을 준비가되지는 않았지만 몇 주 안에 걸을 것이라고 생각하지만, 우리는 로봇과 실제로 생산에 들어갈 내용에 상당히 가까운 것을 보여주고, 가능한 모든 것을 보여주고 싶었습니다. 그렇게 해보자
우리는 옵티머스 생산 장치 1에 능력이있을 것으로 기대합니다.
모든 손가락이 독립적으로 엄지 손가락을 움직이려면 두 개를
자유 의도는 반대되는 엄지 손가락과 왼쪽과 오른손을 가지고 있습니다.
도구를 작동하고 유용한 일을 할 수 있습니다. 우리의 목표는 유용한 것을 만드는 것입니다.
가능한 한 빨리 휴머노이드 로봇을 사용하여
우리가 자동차를 설계하는 데 사용하는 것과 동일한 징계는 가능합니다.높은 신뢰성으로 저렴한 비용으로 로봇을 대량으로 만들기 때문에 매우 중요합니다. 매우 중요합니다. 나는 당신이 모두 매우 인상적인 Humanoid Robot 시연을 보았고 그것이 훌륭하지만 무엇이 빠졌습니까? t는 지능을 가지고 있습니다
스스로 세상을 탐색하면 매우 비쌉니다.그리고 이것은 적은 양으로 만들어졌지만 이것은 낙관적 인 사회이며 매우 유능한 로봇이지만 매우 많은 양으로 만들어 졌을 것입니다.
나는 아마 2 만 달러 미만이 내 추측 일 것이라고 말할 것입니다.
낙관적 인 잠재력은 매우 효과적으로 감사한다고 생각합니다.
사람들은 평소처럼 테슬라 데모가 뜨거워지고 있습니다.그래서 좋아요 좋아 그들이 한 일을 매우 자랑스럽게 생각합니다. 그들이이 팀의 전체 옵션에 손을 뻗고 싶은 훌륭한 일을했기 때문에 지금은 옵티머스와 최적화를 개선하기 위해해야 할 일이 여전히 많다는 것을 알고 있습니다. 분명히 이것은 옵티머스 버전 1 일 뿐이며, 이것이 우리 가이 행사를 개최하는 이유입니다.이 행사는 테슬라에 합류하여 현실을 만들고 실현하도록 도와주는 것과 같은 세상에서 가장 재능있는 사람들 중 일부를 설득하는이 행사를 개최하는 이유입니다. 규모가 수백만의 사람들과 그것이 좋아하는 잠재력을 도울 수 있도록 규모는 경제의 경제가 무엇인지처럼 말해야하기 때문에 실제로 마음을 괴롭히는 것입니다. 자본에 제한이없는 시점에서 1 인당 생산성, 경제가 그 시점에서 경제가 의미하는 바를 확실히 명확하지 않습니다. 따라서 경제가 Quasionally Infinite가되기 때문에 희망적으로 양성 시나리오에서 결실을 맺는 것이 u를 의미합니다. 미래 풍부
제품 및 서비스 측면에서 원하는 것을 가질 수 있습니다.그것은 우리가 분명히 우리가 변화가 긍정적이고 안전하고 안전하고 안전하고, 테슬라가 공개적으로 공개적으로 거래하는 단일 주식이라고 생각하는 이유이기도합니다. 대중은 매우 중요하며 간과되어서는 안됩니다. 대중이 테슬라가 대중이하는 일이 테슬라에서 주식을 사서 다르게 투표 할 수있는 것을 좋아하지 않기 때문에 이것이 필수적이라고 생각합니다.
이것은 내가 당신이 알고 싶은 일을 할 수 없다는 것이 매우 중요하다는 것과 같은 큰 문제입니다.때때로 사람들은 그렇지 않다고 생각하지만 사실이 아니라고 생각합니다. 이런 일이 발생하는 기업 단체가 대중이 제대로 영향을 줄 수있는 것입니다. 나는 당신이 자율 주행 차가 확실히 세계에 엄청난 영향을 미칠 것이라는 것을 알고 있다고 말했습니다.
적어도 절반 정도의 운송 생산성은 아마도규모의 순서 아마도 더 많은 UM 낙관론자들은 아마도 제한이 실제로 무엇인지 명확하지 않다는 것과 같은 경제 생산량의 2 배 순위 잠재력 개선을 가질 수 있다고 생각합니다. 그것은 신중하고 안전하며 결과가 문명에 유리한 결과이며,이 일이 없으면 인류가 될 수있는 것은 분명히 매우 중요합니다. 그래서 Tesla에 참여하여 Tesla에서 이러한 목표를 달성하는 것을 고려할 수 있기를 바랍니다. 여기서 옳은 일을하는 것에 대해 항상 옳은 일을하고자하는 것을 열망하고 정말 좋은 의도로 지옥으로가는 길을 지불하지 않고 지옥으로가는 길은 대부분 나쁜 의도로 포장되어 있다고 생각하지만, 지금은 항상 좋은 의도가 있습니다. 그래서 우리는 옳은 일을하고 싶습니다. 그래서 당신은 우리와 함께하고 그와 함께 일어나도록 도와주는 것을 고려한다는 것을 알고 다음 단계로 올라가자 엘론에 감사드립니다.
오늘 두 로봇을 보았습니다.
개념이지만 개념은 우리에게 우리가 실제 개발 및 통합 플랫폼이 필요하다는 것을 알았습니다.
가능한 한 빨리 학습을 받으십시오.
6 개월 안에 소프트웨어 통합 하드웨어 업그레이드 작업을 구축했지만 그 이후로 몇 달 동안
동시에 우리는 또한 여기에서 차세대를 설계했습니다.
이 사람
우리가 이미 이미 가지고 있다는 학습은 작년 이후로 바뀌었지만 몇 가지가 있습니다.
우리는 여전히 우리가 여전히 우리가
몇 가지 이유로 문제가 있지만 우리는 인체가 얼마나 놀라운 지 생각하는 데 많은 시간을 보냅니다.
이 놀라운 움직임 범위는 일반적으로 정말 놀라운 힘 재미
운동은 당신이 당신의 의자에 손가락을 넣는다면, 당신은 당신의 의자에 큰 움직임이 있음을 알 수 있습니다.
손가락 끝을 움직이지 않고 어깨와 팔꿈치에 있습니다.
UM을 통해 UM을 통해 당신이 그 주요 기능을 알고있는 로봇은 진정한 유용한 작업을 수행하는 것입니다.
아마도 그 모든 자유도를 즉시 필요로하는 것은 아니기 때문에 우리는 그것을 최소한으로 줄였습니다.
28 기본 자유도의 자유도와 물론 그 외에도 우리의 손
인간은 또한 어떤 것도 매우 효율적이며 다른 시간에는 그렇게 효율적이지 않으므로 예를 들어 우리는 작은 것을 먹을 수 있습니다.
몇 시간 동안 자신을 지탱할 음식의 양은 위대한 것입니다. 그러나 우리가 그냥 앉아있을 때
공격하지만 우리는 비효율적입니다.
해야 할 일이 우리는 유휴 전력 소비가 가능한 한 낮게 떨어지고 그렇게 할 수 있다는 것을 최소화 할 것입니다.
스위치를 뒤집고 즉시 로봇이 유용한 작업으로 바뀝니다.
그래서이 최신 세대에 대해 자세히 설명하겠습니다.
Orange는 우리가 조금 그리고 파란색으로 전기 시스템에 도달하는 액추에이터입니다.
이제 우리는 일종의 인간 기반 연구를 가지고 있었고 우리는 두 가지 모두가있는 첫 번째 개발 플랫폼을 가지고 있습니다.
이 설계에 대한 연구 및 실행은 다시 차량 디자인을 사용하고 있습니다.
우리는 설계 및 분석을 통해 개념에서 가져 와서
그런 다음 비용 및 효율성과 같은 것들을 최적화하는 방식을 따라 구축 및 검증
그것들은이 제품을 확장하여 결국 우리가 어떻게 그렇게 할 것인가를 확장하는 데 중요한 메트릭이기 때문에
우리의 부품 수를 줄이고 가능한 모든 요소의 전력 소비를 줄이려고합니다.
손과 발에 많은 질량이 상상할 수있는 감지와 배선을 줄입니다.
매우 어렵고 전력 소비가 필요하며 우리는 우리의 두 가지를 중앙 집중화 할 것입니다.
전력 분배 및 플랫폼의 물리적 중심으로의 컴퓨팅
그래서 우리 몸통 한가운데서 실제로 우리는 우리가 배터리 팩을 가지고있는 몸통입니다. 이것은 2.3 킬로와트 시간에 크기입니다.
이 배터리에서 정말 독특한 하루 종일 일하는 일에 적합합니다.
팩은 모든 배터리 전자 제품이 팩 내 단일 PCB에 통합되어 있으므로 모든 것을 의미합니다.
감지에서 융합 충전 관리 및 전력 분배에 이르기까지 모든 것이 하나입니다.
한 곳에서 우리는 차량 제품과 에너지 제품을 모두 활용하여 롤
이 모든 주요 기능 이이 배터리에 대한 모든 주요 기능을 통해 제조가 정말 효율적이고 간소화되었습니다.
간단한 냉각 방법 배터리 관리 및 안전 및 물론 Tesla의 활용 수 있습니다.
기존의 인프라와 공급망이 우리의 뇌를 계속해서
머리에 있지는 않지만 몸통에도 꽤 가깝습니다.
우리가 생산하는 모든 차량의 자체 운전 컴퓨터를 배송합니다.
휴머노이드 플랫폼을위한 소프트웨어이지만 요구 사항과 폼 팩터가 다르기 때문에 우리는
먼저 몇 가지를 바꿀 것입니다. 그래서 우리는 여전히 인간의 두뇌가하는 모든 일을 할 것입니다.
여러 감각 입력 및 커뮤니케이션을 기반으로 한 두 번째 결정 분할 비전 데이터 처리
커뮤니케이션을 지원하기 위해서는 무선 연결 및 오디오 지원이 장착되어 있습니다.
그런 다음 로봇과 사람들을 보호하는 데 중요한 하드웨어 수준 보안 기능도 있습니다.
로봇 주위에 우리는 우리의 종류의 핵심을 가지고 있습니다.
우리는이 사람에게 사지가 필요할 것이고 우리는 액추에이터와 우리의 완전에 대해 조금 보여주고 싶습니다.
기능적 손도 있지만, 우리가하기 전에 나는 조금 말할 것인 Malcolm을 소개하고 싶습니다.
로봇에 대한 우리의 구조적 기초 [박수]
감사합니다
Tesla는 매우 복잡한 시스템을 마무리 할 수있는 능력을 가지고 있습니다.
여기에서 실제 물리적 충돌 위에 중첩 된 모델 3의 시뮬레이션 된 충돌
이 모델의 복잡성에 대한 아이디어를 제공하는 것이 얼마나 정확한지는 실제로 놀라운 일입니다.
모든 매듭 볼튼 와셔 모든 스팟 용접이 포함되어 있으며 3 천 5 백만 자유도가 있습니다. 정말 놀랍습니다.
그리고 우리가 이와 같은 모델이 없다면 우리는 세상에서 가장 안전한 자동차를 만들 수 없을 것이라고 말하는 것은 사실입니다.
그래서 우리는 자동차 측에서 우리의 기능과 방법을 활용하여 로봇에 영향을 줄 수 있습니다.
우리는 모델을 만들 수 있고 충돌 소프트웨어가 있었기 때문에 동일한 소프트웨어를 사용했기 때문에 여기에서 떨어질 수 있습니다.
이것의 목적은 그것이 이상적으로 떨어지면 그것은 그렇지 않지만 피상적 인 손상인지 확인하는 것입니다.
우리는 예를 들어 로봇의 탈구 된 어깨와 동등한 팔에서 기어 박스를 끊고 싶지 않습니다.
고치기가 어렵고 비싸기 때문에 우리는 주어진 직업을 쌓고 싶었습니다.
동일한 모델을 가져갈 수 있고 이전에 해결 된 모델의 입력을 사용하여 액추에이터를 구동 할 수 있다면
로봇이이를 수행하기를 원하는 작업을위한 동작을 생성하도록 생명을 불어 넣습니다.
작업이 상자를 집어 들고 있습니다.
모델은 단순한 걷기를 보여주고 있습니다.
구성 요소 최적화 춤 으로봇이 아닙니다.
실제로 모달 동작 로봇의 처음 다섯 가지 모드와 일반적으로 사람들이 로봇을 만들 때 그들은 확인합니다.
첫 번째 모드는 상단 싱글 피규어 주위에 10 Hertz를 향해 올라갑니다.
누구인가?
당신의 발이 주위에 흔들리는 곳은 하나의 로봇을 만들어도 괜찮습니다.
우리는 탄소 섬유 티타늄으로 만들어내는 사치를 얻지 못했습니다. 플라스틱으로 만들고 싶은 것은 아닙니다.
우리는이 높은 목표를 가질 수 없어서 멍청한 목표라고 부를 것입니다.
우리는 그들이 더 낮은 목표에서 일하게 만들어야하므로 죄송합니다. 죄송합니다.
이것은하지만 우리는 단지 젖은 젤리와 뼈가 쏟아져 나온다.
내 다리는 사람들이 저주파수로 작동하는 10 hertz에서 진동하지 않습니다.
로봇이 실제로 컨트롤을 더 어렵게 만들 수 있다는 것을 알고 있습니다.
강성과 그것을 걸을 수있는 제어 시스템에 공급합니다.
무릎을 약간 바라 보는 세금을 약간 바꾸는 것만으로도 우리는 영감을 얻을 수 있습니다.
생물학과 우리는 무릎의 기계적 장점이 무엇인지 알 수 있습니다.
4 개의 막대 링크와 유사하며, 그것은 매우 비선형입니다.
다리가 다리를 구부릴 때 무릎의 토크가 구부러 질 때 훨씬 더 많다고 생각합니다.
비선형 기능을 기대하고 실제로 생물학은 비선형입니다.
이것은 매우 정확하게 일치하므로 4 개의 표현입니다.
링크는 분명히 물리적으로 4 개의 막대 링크가 아닙니다.
과학적이지 않은 것은 조금 더 과학적이지 않겠습니다. 우리는이 그래프를 통해 모든 작업을 수행했습니다.
우리가 스트레스에 대해 한 일을 쪼그리고 앉는 산책의 피켓을 보여주고 있습니다.
수평 축의 무릎 구부리에 대한 무릎에 무릎 이이 모든 작업을 수행 해야하는 요구 사항을 보여줍니다.
작업을 수행 한 다음 피크 상단에 서핑을 통해 곡선을 넣으면 이것이 이것이 필요한 것입니다.
로봇 이이 작업을 수행하게하십시오
따라서 우리가 실제로 녹색 곡선 인 4 개의 막대 링크를 보면
링크 별 4 개는 실제로 말하는 힘의 특성을 선형화합니다.
그것이 액추에이터가 가능한 가장 낮은 힘을 가지게 만드는 것입니다.
파란색 곡선은 무엇입니까? 파란색 곡선은 실제로 우리가 4 개의 막대 링크가 없다면 우리가 팔을 가지고 있었다.
여기에 액추에이터와 함께 내 다리에서 튀어 나와 간단한 두 막대 링크
그것은 당신이 간단한 두 막대 링크로 할 수있는 최선이며, 그것은 훨씬 더 많은 힘을 만들어 낼 것임을 보여줍니다.
효율적이지 않은 액추에이터 그래서 실제로 어떻게 생겼는지
당신이 볼 수 있듯이, 그것은 무릎에 매우 단단히 포장되어 있습니다.
1 초 만에 투명하게 액추에이터에서 작동하는 전체 막대 링크를 볼 수 있습니다.
액추에이터의 강제와 변위를하고 이제 Concertina로 넘어갑니다.
그래서 나는 UM 디자인 과정과 액추에이터에 대해 당신에게 이야기하고 싶습니다.
우리 로봇의 포트폴리오 uh 그래서
파워 트레인 디자인에있어 자동차와 로봇 여기서 중요한 것은 에너지 질량과 비용입니다.
우리는 자동차에서 로봇에 이르기까지 대부분의 디자인 경험을 인수하고 있습니다.
따라서 특별한 경우에는 두 개의 드라이브 장치가있는 자동차와 드라이브 장치가 있습니다.
시간당 0 ~ 60 마일을 가속하거나 운전하기 위해 사용됩니다.
도시는 부지를 운전하는 동안 28 개의 액추에이터가있는 로봇과
액추에이터 수준의 작업이 무엇인지는 분명하지 않으므로
계단을 걷거나 등산하거나 번역 해야하는 무거운 물체를 들고있는 것과 같이 더 높은 수준입니다.
조인트 사양으로의 조인트를 사용하여 모델을 사용합니다
관절의 토크 속도 궤적을 생성합니다.
그 후 최적화 모델에 공급되고
최적화 프로세스 이것은
로봇은 우리 가이 토크 속도를 가질 때 회전하고 걷는 일을 할 수 있습니다.
궤적 우리는 액추에이터의 효율성 맵에 놓여 있었고 우리는
전력 소비 및 에너지 축적을 생성하는 궤적
작업 대 시간에 대한 에너지는 시스템을 정의 할 수 있습니다.
특정 액추에이터 비용과 구름에 간단한 지점을두면 우리는
클러스터에서 해결하고 빨간색 선이 파레토 프론트를 나타냅니다.
우리가 최적을 찾을 선호 영역은 X가
우리 가이 특정 조인트를 위해 선택한 선호하는 액추에이터 디자인이므로 이제 우리는 모든 조인트에 대해이 작업을 수행해야합니다.
최적화 할 조인트 28 개가 있고 우리는 클라우드를 구문 분석합니다.
이번에는 사양과 빨간색 축은 모든 맞춤형 액추에이터 설계를 나타냅니다.
여기서 문제는 우리가 너무 많은 독특한 액추에이터 디자인을 가지고 있다는 것입니다.
우리가 대칭을 활용하더라도 여전히 질량을 만들기 위해 너무 많은 것이 있습니다.
제조 가능한 독특한 액추에이터 설계의 양을 줄일 수 있어야하므로 무언가를 실행해야합니다.
이번에는 클라우드를 다시 구문 분석하는 Commonality Study라고 불렀습니다.
동시에 동시에 공동 성능 요구 사항을 동시에 충족하는 액추에이터
결과 포트폴리오는 6 개의 액추에이터이며 색상 맵에 중간 그림을 보여줍니다.
이 슬라이드에서도 액추에이터도 볼 수 있습니다.
3 개의 선형 액추에이터는 모두 질량 당 출력력이 뛰어나지 않습니다.
특히 로터리 액추에이터는 특히 고속 측면도 접촉에 통합 된 기계적 클러치가 있습니다.
볼 베어링 및 고속면 및 저속면에서 크로스 롤러
베어링과 기어 트레인은 스트레인 웨이브 기어이며 세 가지 통합 센서가 있습니다.
여기 및 맞춤형 영구 자석 기계 선형 액추에이터
선형 액추에이터에는 행성 롤러와 거꾸로 된 행성 나사가 있습니다.
효율성과 압축 및 내구성을 허용하는 기어 트레인으로
따라서 선형 액추에이터의 힘을 보여주기 위해 우리는
한계에 따라 테스트하기 위해 실험을 설정했습니다.
그리고 나는 당신이 비디오를 즐길 수 있도록하겠습니다
그래서 우리 액추에이터는 들어 올릴 수 있습니다
반 톤 9 피트 콘서트 그랜드 피아노
그리고
이것은 우리의 근육이 할 수 있기 때문에 가질 수없는 것이 아닙니다.
직접 구동되거나 사두근 근육이 같은 일을 할 수있을 때 직접 구동 될 때도 마찬가지입니다.
무릎이 힘을 변환하는 UP 기어링 링키지 시스템이라는 것입니다.
주는 목적으로 언덕의 끝 이펙터에서 속도로
인체 민첩성이므로 이것은 인체에 대해 놀라운 주요 것 중 하나이며 나는
이 시점에서 내 역할을 마치고 나는 당신에게 손에 대해 이야기 할 내 동료 Mike를 환영하고 싶습니다.
디자인 감사합니다 Constantinos 감사합니다
그러나 우리는 방금 인간과 인간화 액추에이터가 얼마나 강력한 지 보았습니다.
인간은 또한 엄청나게 손재주입니다. 인간의 손은 움직일 수있는 능력이 있습니다.
초당 300도에서 수만 개의 촉각 센서가 있습니다.
그리고 그것은 우리의 일상 생활에서 거의 모든 물건을 파악하고 조작 할 수있는 능력이 있습니다.
우리의 로봇 핸드 디자인을 위해 우리는 생물학에서 영감을 받았습니다.
우리의 손가락은 유연하고 강한 금속의 힘줄에 의해 구동됩니다.
조리개 파워 그라스는 또한 작은 얇고 섬세한 물체의 정밀 그립에 최적화되어 있습니다.
그래서 인간과 같은 인간이 로봇 손을 잘 좋아하는 이유는 주된 이유는 우리의 공장과 우리 주변의 세계가
인체 공학적으로 설계되었으므로 그 의미는 공장의 물체가 파악할 수 있도록합니다.
그러나 그것은 또한 우리가 전에 본 적이없는 새로운 물체가 인간의 손과 우리의
로봇 핸드와 대화는이 물건들이 우리의 손에 설계되었다고 말하기 때문에 꽤 흥미 롭습니다.
새로운 개체와 함께 손을 바꾸지 않고
우리 손에 대한 몇 가지 기본 통계는 6 개의 액추에이터와 11 도의 자유가 있다는 것입니다.
손가락을 구동하고 센서 피드백 센서 피드백을받습니다.
우리가 잡고있는 물체와 독점을 위해서도 우리가 어디에 인식 할 수있는 능력에 대해 조금 더 배우십시오.
우리의 손은 우주에있어 우리 손의 중요한 측면 중 하나는이 적응성이 적응 적이라는 것입니다.
본질적으로 손이 파악하고있는 물체에 적응할 수있는 복잡한 메커니즘으로 포함됩니다.
또 다른 중요한 부분은이 클러치 메커니즘이 우리가 잡을 수 있도록하는 비 백인 운전 가능한 핑거 드라이브를 가지고 있다는 것입니다.
그리고 핸드 모터를 켜지 않고 물건을 운송하는 방법을 방금 들었습니다.
우리는 Tesla Bot Hardware를 설계하려고했습니다.
로봇 생명 감사합니다 Mike
괜찮아요. 그래서 우리가 비디오에서 앞서 보여준 멋진 것들은 게시되었습니다.
지난 몇 년 동안 자동 조종 장치를 한 놀라운 말 덕분에 몇 달 만에 가능합니다.
이러한 구성 요소의 대부분은 봇 환경으로 쉽게 포팅되었습니다.
바퀴의 로봇에서 다리의 로봇에 이르기까지 해당 구성 요소 중 일부는 매우 비슷하고 다른 일부는 필요합니다.
예를 들어 컴퓨터 비전 신경망과 같은 더 무거운 리프팅
자동 조종 장치에서 봇 상황으로 직접보고됩니다. 정확히 동일한 점유 네트워크입니다.
우리는 나중에 봇에서 실행중인 Autopilot 팀과 나중에 조금 더 자세한 내용을 이야기하고 있습니다.
이 비디오는 실제로 변경된 유일한 것은 우리가 기억해야 할 교육 데이터입니다.
우리는 또한 Radiance Fields에서 만든 작업을 사용하여 점유 네트워크를 개선 할 수있는 방법을 찾으려고 노력하고 있습니다.
예를 들어 봇 환경의 정말 큰 부피 렌더링
기계는 봇이 상호 작용해야 할 수도 있음을 읽었습니다.
생각해야 할 또 다른 흥미로운 문제는 대부분의 GPS 감각으로 실내 환경에서
예를 들어 가장 가까운 충전 스테이션을 찾으려면 목적지로 이동하려고합니다.
고주파수 기능을 식별하기위한 더 많은 신경망이
봇이 환경으로 탐색함에 따라 봇 카메라 스트림 및 시간이 지남에 따라 프레임을 추적합니다.
그리고 우리는 그 점을 사용하여 봇 포즈와 궤적을 더 잘 추정하고 환경에서
우리는 또한 걷는 것도
시뮬레이션 측면 및 이것은 문자 그대로 로봇의 운동을 통합 한 자동 조종 시뮬레이터입니다.
코드 및 이것은 연산자 시뮬레이터 시뮬레이터에서 실행되는 모션 제어 코드의 비디오입니다.
로봇의 진화는 시간이 지남에 따라 걸어서 4 월에 상당히 느리게 시작하여 가속을 시작합니다.
지난 몇 개월 동안 더 많은 조인트와 더 깊은 고급 기술을 잠금 해제함에 따라 지난 몇 개월 동안 균형을 잡습니다.
그래서 운동은 우리가 차에서 봇으로 이동할 때 매우 다른 하나의 구성 요소입니다.
환경과 그래서 나는 그것이 조금 더 깊이를 보증한다고 생각하며 동료들이 이것에 대해 이야기하기 시작합니다.
이제 외국
안녕하세요 여러분 저는 Felix 프로젝트의 로봇 공학 엔지니어이고 걷는 것에 대해 이야기 할 것입니다.
사람들이 매일 그렇게 생각하지 않아도됩니다.
그러나 예를 들어 엔지니어링 관점에서 도전하는 걷기에는 몇 가지 측면이 있습니다.
신체적 자기 인식은 자신을 잘 표현하는 것을 의미합니다.
사지의 질량 발의 크기는 무엇입니까?
걷는 스타일이 다르고 그들 모두가 똑같이 효율적이라고 상상할 수 있습니다.
가장 중요한 유지 균형은 떨어지지 않으며 물론 모션을 조정합니다.
당신의 모든 사지 중에서 함께 인간은 자연스럽게이 모든 것을 수행하지만 엔지니어 나 로봇 공학자로서 우리는 가지고 있습니다.
이러한 문제에 대해 생각하고 운동 계획 및 제어에서 어떻게 해결 방법을 보여줄 것인지 보여 드리겠습니다.
우리는 운동 계획과 채권의 표현으로 시작합니다.
로봇 운동학 역학 모델과 접촉 속성의 모델과 해당 모델과 원하는 모델을 의미합니다.
봇의 경로 우리의 운동 플래너는 전체 시스템에 대한 참조 궤적을 생성합니다.
이것은 우리 모델의 가정과 관련하여 실행 가능한 궤적을 의미합니다.
플래너는 현재 3 단계로 작동하여 발자취 계획을 시작하고 전체 모션 사진 시스템으로 끝납니다.
그리고 이것이 어떻게 작동하는지 조금 더 깊이 다이빙합시다.이 비디오에서 우리는 발자국이 계획에 대해 계획되는 것을 본다.
원하는 경로를 따르는 수평선과 우리는 이것에서 시작하여 추가합니다.
인간이하는 것처럼 인간처럼 발가락을 사용 하여이 발자취를 연결하는 궤적
그리고 이것은 우리에게 시스템의 고효율을 위해 더 큰 보폭과 무릎 굽힘이 적습니다.
마지막 단계는 대량 궤적의 중심을 찾는 것입니다.
우리 모두가 계획이 좋다는 것을 알고 있기 때문에 균형을 유지하기위한 전체 시스템은
또한 실제로 그들을 깨달아야합니다.
[박수] 감사합니다 Felix 안녕하세요 여러분 내 이름
Anand이고 나는 당신에게 통제에 대해 이야기 할 것입니다. 그래서 Felix의 발의 계획을 세우자.
방금 이야기하고 실제 로봇에 현실 세계에 넣었습니다.
몇 단계가 걸리고 잘 내려갑니다.
하지만 우리는 여기에 몇 가지 핵심 부분이 없어져 작동하게합니다.
이제 Felix가 언급 한대로 Motion Planner는 이상적인 버전을 사용하고 있습니다.
그 자체와 그 주위의 현실의 버전은 정확히 맞지 않습니다.
또한 궤적과 렌치 가지를 통해 의도를 표현합니다.
세상에 활기차기에 가고 싶어하는 힘과 토크
현실은 비슷한 모델보다 더 복잡합니다. 로봇도
단순화 된 진동 및 모드 규정 준수 센서 노이즈 및 on and on 및 on.
그리고 당신이 현실 세계에 봇을 넣을 때 그것은 현실 세계에 어떤 영향을 미칩니다.
예상치 못한 세력은 기본적으로 플래너가 알지 못하는 모호한 역학을 유발합니다.
특히 쌍 안정적인 운동과 같이 동적으로 안정적 인 시스템의 경우 불안정화를 일으 킵니다.
그래서 우리는 그것에 대해 무엇을 잘 할 수 있습니까? 우리는 센서를 사용하고 이해하는 현실을 측정합니다.
여기서 국가 추정과 지위를 행하는 세상 여기서 당신은 태도와 골반 포즈를 볼 수 있습니다.
본질적으로 로봇이 걷는 경우 질량 궤적의 중심과 함께 인간의 전정 시스템
사무실 환경에서 이제 우리는 필요한 모든 조각을 가지고 있습니다.
루프를 닫으려면 더 나은 봇 모델을 사용하여 현실에 대한 이해를 사용합니다.
우리는 주 추정을 통해 얻었으며 우리가 원하는 것과 우리가 기대하는 현실을 비교합니다.
현실은
로봇 여기 로봇은 확실히 찌르는 것에 감사하지 않지만 그렇지 않습니다.
여기서 마지막 요점을 똑바로 세우는 훌륭한 직업은 로봇입니다.
산책은 충분하지 않습니다. 손과 팔을 사용해야했습니다.
유용하십시오. 조작에 대해 이야기합시다
[박수 갈채]
안녕하세요 여러분 내 이름은 Teslabot의 Eric Robotics 엔지니어이고 이야기하고 싶습니다.
우리가 실제 세계에서 로봇을 어떻게 조작했는지에 대해 우리는 물체를 조작하고 싶었습니다.
가능한 한 자연스럽게 보이고 우리가 한 일은
우리는이 과정을 먼저 두 단계로 나누었습니다.
시연을 호출 한 다음 우리는이 동의 참조를 온라인으로 현재 실제 상황에 맞게 조정했습니다.
그래서 우리는 그 물건을 집어 올릴 수 있다는 인간의 시연이 있다고 가정 해 봅시다.
손의 위치를 나타내는 많은 키 프레임으로 여기에 시각화되는 데모
팔꿈치는 몸통을 사용하여 역 운동학을 사용하여 로봇에 매핑 할 수 있으며 우리가 수집하는 경우
이들 중 많은 것들이 우리와 함께 일할 수있는 도서관이 있지만 단일 데모는 아닙니다.
예를 들어 현실 세계의 변형에 일반화 할 수 있습니다. 예를 들어 이것은 매우 특별한 상자에만 적용됩니다.
우리가 한 일은 위치를 통해이 참조 궤적을 실행하는 것입니다.
로봇이 균형을 잡아야하는 위치를 해결하는 궤적 최적화 프로그램
예를 들어 현실 세계에 움직임을 조정해야 할 때
상자 가이 위치에 있으면 우리의 Optimizer는 이것을 생성합니다.
다음 밀라노는 대신 궤적에 대해 이야기 할 것입니다.
옵티머스 uh tesla y의 다음 단계는 감사합니다 래리
바라건대 지금까지 너희들은 지난 몇 달 동안 우리가 무엇을했는지에 대한 좋은 생각을 얻었 으면 좋겠다.
음 우리는 사용할 수있는 일을하기 시작했지만 여전히 길고 흥미 진진한 길이 있습니다.
우리보다 앞으로 몇 주 안에 첫 번째는 옵티머스를 얻는 것입니다.
Bumble C와 동등한 C와 당신이 이전에 본 다른 버그 프로토 타입과 아마도 우리는 또한 시작할 것입니다.
우리 공장 중 하나의 실제 유스 케이스에 초점을 맞추고 실제로 이것을 못 박 으려고 노력할 것입니다.
이전에 언급했던 현실 세계 에서이 제품을 배포하는 데 필요한 요소
음 실내 탐색을 알고 있거나 관리에 우아하거나 심지어 서비스를 제공하는 것을 알고 있습니다.
구성 요소는이 제품을 확장해야했지만 음은 당신에 대해 모르지만 그 이후
우리가 오늘 밤에 보여준 것을 보았습니다. 앞으로 몇 달 또는 몇 년 안에이 일을 할 수 있다고 확신하고
이 제품은 현실과 전체 경제를 변화 시켜서 옵티머스 팀 전체에 감사하고 싶습니다.
지난 몇 달 동안 일하는 일은 정말 놀랍습니다.
매우 많은 [박수]
모두 감사합니다
안녕하세요 저는 Ashok입니다. 저는 밀라노 신과 함께 자동 조종 장치 팀을 이끌고 있습니다.
그럼에도 불구하고 옵티머스 섹션은 어쨌든 시도 할 것입니다
음 지난 몇 년 동안 우리가 생각하는 모든 테슬라는
자동차 운전 자체를 만들기위한 하드웨어 우리는 소프트웨어에서 작업하고 있습니다.
작년에 우리가 가진 이번에는 더 높은 수준의 자율성을 추가합니다.
그 이후로 FSD 베타 소프트웨어를 구동하는 약 2,000 대의 자동차
우리가 현재 160,000 명의 고객에게 배송 한 견고성 및 기능으로 소프트웨어를 개선했습니다.
네 [박수]
이것은 무료로 제공되지 않습니다. 지난 1 년 동안 엔지니어링 팀의 땀과 피에서 나왔습니다.
예를 들어, 우리는 지난 1 년 동안 75,000 개의 신경망 모델을 훈련 시켰습니다.
8 분마다 대략 8 분마다 팀에서 나오는 모형이 팀에서 나온 다음 우리는 큰 것으로 평가합니다.
클러스터와 우리는 실제로 자동차의 성능을 향상시키는 모델 중 281 개를 배송합니다.
그리고이 혁신의 공간은 계획 소프트웨어 스택 전체에서 일어나고 있습니다.
인프라는 모든 것을 고용하는 도구가 다음 단계로 진행되고 있습니다.
FSG 베타 소프트웨어는 자동차를 운전할 수 있습니다.
주차장에 주차장을 다루는 CDC 운전 중지 신호등 및 정지 신호
교차로에서 객체와 협상하여 회전 등
이 모든 것은 자동차 자체에서 실행되는 신경망을 통과하는 카메라 스트림에서 나옵니다.
서버로 돌아 오지 않거나 차량에서 실행되는 모든 것이없고 세계 모델을 형성하기 위해 모든 출력을 생성합니다.
자동차 주변과 계획 소프트웨어는 그에 따라 자동차를 운전합니다.
오늘 우리는 시스템을 구성하는 많은 구성 요소로 들어갈 것입니다. Occupancy Network는 기본 역할을합니다.
시스템의 지오메트리 레이어 이것은 다중 카메라 비디오 신경입니다.
이미지에서 주변의 전체 물리적 점유를 예측하는 네트워크
물리적으로 존재하는 모든 나무 벽 벽 건물 건물 자동차 벽.
그것이 구체적으로 제시되어 있는지 예측할 수 있습니까? 그것은 미래의 움직임과 함께 그들을 예측합니다.
이 기본 수준의 형상 위에 우리는 더 많은 의미 층을 가지고 있습니다.
물론 렌즈가 필요한 도로를 탐색하지만 도로에는 많은
다른 차선과 그들은 모든 종류의 방식으로 연결되므로 실제로는 일반적인 컴퓨터에 실제로 어려운 문제입니다.
비행기 세트와 그 연결성을 예측하는 비전 기술이어서 우리는 언어로 끝까지 도달했습니다.
기술과 다른 영역에서 기술을 가져 왔으며 컴퓨터 비전뿐만 아니라이 작업을 만들기 위해
차량이 가능합니다. 우리는 그들을 통제하려면 전체 운동 학적 상태가 필요합니다.
이 모든 것은 신경망에서 직접 나옵니다. 비디오 스트림 RAW 비디오 스트림이 네트워크에 들어옵니다.
가공의 가속도를 배치하는 전체 운동 학적 상태를 처리 한 다음 출력합니다.
최소한의 사후 처리로 네트워크에서 직접 나옵니다.
이 마법 이이 마법이 네트워크가 네 번째를 예측할 가능성이 있다는 가능성이있는 세상조차도 가능합니다.
사람들이 우리가 이러한 물체를 감지 할 수 없다고 생각했을 때 이러한 위치의 파생물
내 의견은 무료로 오지 않았다는 것입니다.
원시 센서 데이터를 통해 빛나는 시스템은
서버 몇 시간이 걸릴 수 있습니다. 비싼 신경망을 실행할 수 있습니다.
차량 내 신경 네트워크 위에 우리는 시뮬레이션 시스템을 사용하여 합성 적으로 사용합니다.
이미지를 만들고 시뮬레이션이기 때문에 우리는 사소하게 모든 레이블을 가지고 있습니다.
이 모든 것이 우리가 먼저
일부 데이터로 기준선 모델을 훈련하여 차량에 실패가 무엇인지, 일단 실패를 알게되면
우리는 그것이 실패한 경우에 올바른 레이블을 제공하고 교육 세트에 데이터를 추가합니다.
이 프로세스는 체계적으로 문제를 해결하고 자동차에서 실행되는 모든 작업에 대해이 작업을 수행합니다.
예 그리고 올해이 새로운 대규모 신경망을 훈련시키기 위해 우리는 교육 인프라를 대략 확장했습니다.
40 ~ 50 %는 오늘날 여러 곳에서 약 14,000 GPU에 앉아 있습니다.
미국의 훈련 클러스터 우리는 또한 AI 컴파일러에서 작업했습니다.
이제 신경망이 필요한 새로운 운영을 지원하고 우리의 기본 최선을 다해 매핑합니다.
오늘날 하드웨어 리소스와 추론 엔진은
선박의 두 개의 독립 시스템에 걸친 단일 신경 네트워크는 본질적으로 두 개의 독립 컴퓨터가 상호 연결되어 있습니다.
간단한 자율 주행 컴퓨터 내에서이를 가능하게하기 위해서는 엔드 투 엔드를 엄격하게 제어해야합니다.
전체 FSD 플랫폼에 더 고급 스케줄링 코드를 배포하도록이 새로운 시스템의 대기 시간
자동차에서 실행되는이 모든 신경망은 다시 벡터 공간을 생성하는
로봇이나 자동차 주변의 세계 및 계획 시스템은이 위에 작동합니다.
모델 기반 최적화 조합을 사용하여 충돌을 피하거나 목적지로 향하는 진보
또한 신경 네트워크와 신경망을 최적화하는 데 도움이됩니다.
오늘날 우리는이 모든 영역에서 우리가
들어 와서이 다양한 블록과 이러한 힘을 차뿐만 아니라 동일한 구성 요소도 Optimus에서 실행됩니다.
밀라노가 이전에 보여준 로봇은 계획 섹션에 대해 이야기하기 시작하는 패널을 환영합니다.
안녕하세요 저는 Parel Joint이 교차 시나리오를 사용하겠습니다.
자동 조종 장치에서 계획 및 의사 결정을하는 방법으로 바로 다이빙 하여이 교차로에 접근하고 있습니다.
사이드 스트리트에서 우리는 우리가 입장하려고 할 때 모든 교차 차량의 오른쪽에 양보해야합니다.
교차로 교차로의 반대편에있는 보행자는 길을 건너기로 결정합니다.
횡단 보도가 없으면 지금 우리는이 보행자 수익률을 오른쪽에서 차량으로 수확하고
또한 보행자와 교차로 반대편의 차량 사이의 관계를 이해하십시오.
그래서 우리가 빠르게 한 눈에 해결해야 할 객체 내 종속성을 많이
그리고 인간은 정말로 이것에 능숙합니다. 우리는 장면을보고 가능한 모든 상호 작용이 가장 많이 평가되는 것을 이해합니다.
유망한 사람들은 일반적으로 합리적인 것을 선택하게됩니다.
그래서 자동 조종 장치 시스템을 평가 한 이러한 상호 작용 중 몇 가지를 살펴 보겠습니다.
측면 프로파일에서 매우 공격적인 발사를 가진 보행자는 이제 우리는 분명히 우리에게 바보가되고 있습니다.
보행자와 우리는 보행자와 그의 귀여운 애완 동물을 놀라게 할 것입니다.
보행자 나 오른쪽에서 차량 사이의 간격을 위해 우리는 차량에 대한 바보가되고 있습니다.
오른쪽에서 나오지만 이것은 안전한 상호 작용 만있는 경우이 상호 작용을 완전히 거부하지 않아야합니다.
마지막으로 우리가 결국 느리게 선택하게 된 상호 작용은 처음에 합리적인 것을 찾습니다.
모든 에이전트가 통과 한 후 간격과 기동을 마무리합니다.
이제 이러한 모든 상호 작용에 대한 평가는 특히 모델링에 관심이있을 때 사소하지 않습니다.
다른 에이전트에 대한 고차 미분은 예를 들어 세로가 무엇입니까?
차량이 오른쪽에서 나오는 바보 앞에서 순전히 충돌 점검에 의존 할 때
모듈 식 예측은 많은 유효한 상호 작용을 놓치기 때문에 지금까지 당신을 얻을 수 있습니다.
이것은 기본적으로 자아의 궤적에 대한 다중 에이전트 공동 궤적 계획 문제를 해결하기 위해 요약됩니다.
다른 모든 에이전트는 이제 얼마나 빨리 할 수 있는지에 대한 한계가있을 것인지
이 최적화 문제를 실행하면 많은 점진적인 근사치 후에도 10 밀리 초의 순서에 가깝습니다.
이제 전형적인 붐비는 예측할 수없는 왼쪽의 경우 각각 20 개 이상의 물건이 있다고 말합니다.
여러 가지 다른 미래 모드를 갖는 객체 관련 상호 작용 조합의 수는 폭발합니다.
우리는 플래너가 50 밀리 초마다 결정을 내려야하므로 실시간으로 어떻게 해결해야합니까?
우리는 기본적으로 상호 작용 검색으로 부르는 프레임 워크에 의존합니다.
기동 궤적 여기에서 상태 공간은 자존심의 운동 학적 상태에 해당합니다.
다른 에이전트의 상태 공칭 미래의 다중 멀티 모드 예측 및 장면의 모든 정적 엔티티
액션 공간은 일이 흥미로워지는 곳입니다. 우리는 일련의 기동 궤적을 사용합니다.
많은 상호 작용 결정에 대한 분기 및 더 오래 지속되는 목표를 달성하는 후보자
Horizon Maneuver는이 연구를 매우 빨리 걸어 가서 어떻게 작동하는지에 대한 감각을 얻으십시오.
우리는 비전 측정 세트, 즉 차선 점유 이동 개체로 시작합니다.
스파 스 추출 및 잠재 기능을 사용하여 목표 세트를 만듭니다.
후보자는 차선 네트워크 또는 구조화되지 않은 지역에서 다시 차선
인간 시연에서 파생 된 확률 마스크.
응시자는 고전적인 최적화 접근 방식과 우리의 종자 궤적을 만듭니다.
네트워크 플래너는 다시 고객 피드의 데이터에 대한 교육을받습니다.
우리는 그것들을 사용하여 가장 중요한 상호 작용을 찾는 상호 작용에 대한 분기를 시작합니다.
우리의 경우 이것은 우리가 보행자에 대한 상호 작용 일 것입니다.
분명히 왼쪽의 옵션은 높은 페널티 옵션으로 우선 순위가 지정되지 않을 가능성이 높아서 더 이상 분기
오른쪽의 옵션과 우리 가이 최적화를 구축하는 점점 더 복잡한 상호 작용을 가져 오는 곳입니다.
점점 더 많은 제약으로 점차적으로 문제가 있으며 그 연구는 더 많은 상호 작용 분기에 대한 분기가 계속 흐르고 있습니다.
더 많은 목표에서 지금 여기에 많은 트릭 이이 노드 각각을 평가하는 데 있습니다.
처음에 각 노드 내부의 연구에서 우리는 생성을 시작했습니다.
내가 설명한 것과 같은 제약 조건이 점차 추가되는 클래식 최적화 접근법을 사용한 궤적
그리고 이것은 상당히 좋지만 지금은 행동 당 1 ~ 5 밀리 초에 가깝습니다.
100 개 이상의 상호 작용을 평가하려면 숫자로 인해 확장되지 않습니다.
그래서 우리는 당신이 플래너의 루프에서 실행할 수있는 경량 쿼리 가능한 네트워크를 구축하게되었습니다.
이 네트워크는 시간 제한이 편안한 오프라인 솔버뿐만 아니라 함대의 인간 데모에 대한 교육을받습니다.
이를 통해 우리는 런 다운 런타임을 작업 당 200 마이크로 초까지 줄일 수있었습니다.
지금 혼자서이 일을하는 것은 충분하지 않습니다.
그리고 당신은 검색 공간을 효율적으로 정리해야하므로 각각에 대한 점수를 매기는 것이 필요합니다.
이 궤적 중이 중 일부는 상당히 표준입니다. 많은 충돌 점검을합니다.
실제로 주어진 기동에 필요한 고객 차량 데이터는 여기서 다시 중요한 역할을합니다.
우리는 다시 경량 가변 네트워크의 두 세트를 실행합니다.
FST 베타 함대의 중재는 주어진 기동이
순전히 인간 시연에 대한 다음 몇 초와 두 번째에 걸친 중재는 인간 중심 데이터 제공
주어진 선택된 행동이 인간 중심의 궤적에 얼마나 가까운 지에 대한 점수
스코어링은 검색 공간을 정리하는 데 도움이됩니다.
가장 유망한 결과는 이것에 대한 멋진 부분입니다.
아키텍처
많은 수공예 비용에 의존 할 필요는 없지만 실제로 물리 기반 점검으로 시작하십시오.
이제 내가 묘사 한 것은 우리가 장면에서 볼 수있는 요원들과 관련이 있었지만
프레임 워크는 18 개의 카메라의 비디오 피드를 사용하는 폐색 뒤에있는 객체로 확장됩니다.
세계의 3D 점유를 생성하기 위해 여기서 파란색 마스크는
가시성 영역 우리는 그것을 기본적으로 첫 번째로 차단합니다.
장면에서 볼 수있는 폐색 우리는이 가시성 마스크를 소비하여 우리가 유령 물체라고 부르는 것을 생성합니다.
스폰 지역 과이 유령의 상태 전환을 모델링하면 지금 왼쪽 상단에서 볼 수 있습니다.
제어 응답을
그 존재 가능성의 기능은 정말 멋진 인간과 같은 행동을 추출 할 수 있습니다.
이제 우리가 이러한 점유 네트워크를 생성하는 방법에 대해 더 설명하기 위해 채우기 위해 전달하겠습니다.
안녕 얘들 아 제 이름은 필 어
이 네트워크는 자동차 주변의 3D에서 물리적 작업을 모델링하는 솔루션이며 현재는 현재 우리에게 표시되지 않습니다.
고객이 시각화하는 고객과 여기에서 볼 수있는 것은 내부 개발 도구의 도로 네트워크 출력입니다.
입력이 단일 통합 볼륨을 생성하므로 Occupancy Network는 80 대의 카메라의 비디오 스트림을 가져옵니다.
벡터 공간에서의 점유 차량 주변의 모든 3D 위치마다 직접 점유
비디오 연락처가 있기 때문에 해당 위치가 많이 점유 될 확률을 예측합니다.
즉시 폐색 된 장애물을 예측할 수 있습니다
각 위치마다 Curb Car Pedestrian과 같은 의미론 세트도 생성됩니다.
그리고 여기에 색상 코드가있는 낮은 잔해
모델이 일반화 된 네트워크이기 때문에 점유 흐름도 모션에 대해 예측됩니다.
그것은 정적 및 동적 객체를 명시 적으로 생산할 수 있고
여기에서 스와핑 트레이너와 같은 임의의 동작을 모델링하십시오.
이 네트워크는 현재 FSD 컴퓨터가있는 모든 Teslas에서 실행 중이며
신경 가속기와 함께 약 10 밀리 초마다 엄청나게 효율적인 실행
그래서이 작업은 어떻게 우리가 각 카메라 이미지를
카메라 보정과 여기에 표시된 이미지가 네트워크에 제공되었습니다. 실제로는 그렇지 않습니다.
상단의 첫 번째 이미지에서 볼 수 있듯이 일반적인 8 비트 RGB 이미지
4 개가 있기 때문에 12 비트 비트 원시 사진 계정 이미지를 네트워크에 제공
더 많은 정보 BITS는 16 배 더 나은 다이나믹 레인지와 감소가 있습니다.
더 이상 Adobe에 잘못된 ISP가 없기 때문에 대기 시간은 레코드 세트를 사용하고
FPS는 이미지 공간 기능을 추출하는 백본으로서 다음에 3D 위치 세트를 구성합니다.
키와 값으로 IMG 공간 기능과 함께 쿼리는주의 모듈에 맞습니다.
주의 모듈의 출력은 높은 차원의 공간 기능입니다.
이러한 특수 기능은 차량 Odometry를 사용하여 일시적으로 정렬됩니다
움직임을 도출하려면이 공간적 시간적 특징은 계속됩니다
최종 점유 및 점유 흐름 출력을 생성하기 위해 D 컨볼 루션 세트를 통해
그들은 고정 크기 복서 회색으로 형성되어 제어 계획을 계획하기에 충분하지 않을 수 있습니다.
더 높은 해상도를 얻으려면 3D 공간으로 MLP에 공급되는 복셀 피처 맵도 생성합니다.
임의의 위치에서 위치 및 의미를 얻기위한 포인트 쿼리
모델을 더 잘 알고 나면 여기에 또 다른 예를 살펴 보겠습니다.
우리가 버스가 시작될 때 여기에서 L 자형 권투 선수로 강조되었습니다.
파란색으로 이동 카트의 앞면은 먼저 파란색으로 회전합니다. 모델에 전면 버스가 아래로 0이 있다고 예측합니다.
점유 흐름과 S- 버스가 계속 움직입니다. 전체 버스가 파란색으로 변합니다.
또한 네트워크가 버스의 정확한 곡률을 예측한다는 것을 알 수 있습니다.
글쎄, 이것은 내가 갈 것인지 확인해야하기 때문에 기존 객체 감지 네트워크의 매우 복잡한 문제입니다.
곡률에 맞지 만 직업 네트워크에 하나의 입방체 또는 2 개를 사용하십시오.
우리가 관심을 갖는 것은 가시 공간의 점유이며 우리는 곡률을 정확하게 모델링 할 수있을 것입니다.
복셀 등급 외에도 점유 네트워크는 운전 가능한 표면도 생성합니다.
운전 가능한 표면에는 3D 지오메트리와 의미론이 모두있어 특히 치유에 제어에 매우 유용합니다.
그리고 매력적인 도로 표면과 복셀 그레이는 대신 독립적으로 예측되지 않습니다.
Voxel Grid는 실제로 표면과 암시 적으로 표면과 일치합니다.
표면의 3D 형상이 멋지게 예측되는 것을 볼 수 있습니다.
Planner는이 정보를 사용하여 Hillcrest에 대해 더 많은 속도를 낮추어야 할 것입니다.
복셀 등급이 표면과 일관되게 정렬되는 것을 참조하십시오
박스 소스와 표면 외에도 우리는 또한 신경 판독 값 필드의 최근의 획기적인 것에 대해 매우 흥분합니다.
NERF 우리는 약간의 밝은 색상 기능을 포함하는 두 가지를 조사하고 있습니다.
NERF의 입력 상태로 네트워크 출력을 사용하는 것뿐만 아니라 점유 네트워크 교육
사실 Ashok은 이것에 대해 매우 흥분합니다. 이것은 그의 개인 주말 프로젝트였습니다.
학계가 이것들을 많이 만들고 있다고 생각하기 때문에이 신경에 대해
Foundation Models UH 언어를 사용하여 언어를 사용하여 언어에 대한 큰 데이터 세트를 사용하지만 시력 신경을 생각합니다.
기하학 및 기하학에 접지되어 있기 때문에 컴퓨터 비전의 기초 모델을 제공 할 예정입니다.
온톨로지와
감독은 본질적으로 무료입니다.이 이미지를 차별적으로 렌더링해야하므로 미래에 생각합니다.
이미지가 들어오고 네트워크가 일관된
장면의 부피 표현은 관찰 된 이미지로 차별적으로 렌더링 될 수 있습니다.
개인적으로 컴퓨터 비전의 미래라고 생각합니다.
미래에 Tesla와 학계에서 우리는 이것들을 볼 것입니다.
부피 점수의 원샷 예측의 조합 uh가 될 것입니다.
내 개인적인 내기 성적인 그래서 여기에 예를 들어 초기 결과가 있습니다.
이미징 공간에서 완벽한 RGB 재개를 얻는 데 중점을 두는 대신 무료 데이터로부터의 3D 재구성
여기서 주요 목표는 운전을위한 경고 3D 공간을 정확하게 표현하는 것입니다.
모든 날씨 및 조명 조건에서 전 세계의 무료 데이터와 분명히 이것은 매우 어려운 일입니다.
문제와 우리는 마침내 Occupancy Network가 훈련을받을 수 있도록 여러분을 찾고 있습니다.
루프에 사람이없는 대형 자동 레벨 데이터 세트와 함께 Tim에게 전달하여
이 네트워크를 훈련시키는 데 필요한 것에 대해 감사합니다 Phil
[박수] 좋아요 모두 훈련에 대해 이야기합시다
인프라 그래서 우리는 당신이 4 ~ 5 건의 비디오를 알았습니다.
더 많은 클립에 대해 더 걱정하고 우리가보고있는 더 많은 클립에 대해 더 걱정합니다.
Phil의 Occupancy Networks는 비디오를 채우는 것만으로도 14 억 달러가 소요됩니다.
방금 본 것을 그 네트워크를 훈련시키기 위해 프레임과 십만 개의 gpus가 있으면 1 시간이 걸립니다.
그러나 당신이 하나의 gpu를 가지고 있다면, 그것은 10 만 시간이 걸리므로
훈련 작업이 바로 달릴 때까지 기다릴 수있는 인간적인 기간은 그보다 더 빨리 배송하고 싶습니다.
당신이 평행하게 가야한다는 것을 의미하므로 더 많은 컴퓨팅이 필요하다는 것을 의미합니다. 즉, 당신은
슈퍼 컴퓨터 그래서 이것이 우리가 구성된 3 명의 슈퍼 컴퓨터를 구축 한 이유입니다.
훈련을 위해 10,000 gpus를 사용하고 약 4,000 명
자동 라벨링 용 GPU이 비디오는 분산 된 관리 비디오의 30 페타 바이트에 저장됩니다.
캐시 귀하는 당사의 데이터 세트를 고정 된 것으로 생각해서는 안됩니다.
imagenet 또는 당신이 백만 프레임으로 아는 것 당신은 그것을 매우 유동적 인 것으로 생각해야합니다.
이 클러스터 안팎으로 흘러 나오는이 비디오 중 50 만 개는 매일이 클러스터를
그리고 우리는 매 초마다 400,000 개의 파이썬 비디오 인스턴스화를 추적합니다.
그래서 그것은 우리가 이것의 보존 정책을 지배하기 위해 그것을 포착해야 할 많은 전화입니다.
분산 비디오 캐시 이므로이 모든 것이 우리가 구축하고 관리하는 엄청난 양의 인프라입니다.
사내에서 40 000을 아는 것만 살 수 없습니다.
gpus와 30 페타 바이트의 플래시 mvme를 함께 모아서 기차하자.
일을하고 나는 당신이 실제로 일반적으로하고 싶은 일을 조금만 갈 것입니다.
그것은 우리가 나중에 이야기 할 GPU 또는 dojo 일 수 있다는 것이 가장 비싸기 때문에
병목 현상을 입히고 싶은 구성 요소는 시스템의 모든 부분이
이 가속기를 능가해야하므로 정말 복잡합니다.
모든 데이터를 노드로 전달하려면 스토리지가 크기와 대역폭을 가져야한다는 것을 의미합니다.
이 노드에는 머신 러닝에 공급하기 위해 적절한 양의 CPU 및 메모리 기능이 있어야합니다.
프레임 워크이 머신 러닝 프레임 워크는 GPU에이를 전달해야합니다. 그런 다음 훈련을 시작할 수 있습니다.
수백 또는 수천 개의 GPU에 걸쳐 신뢰할 수있는 방식으로 그렇게해야합니다.
로그 스테이프와 빠른 방식으로도 상호 연결이 필요할 수도 있습니다.
Dojo에 대해 잠시 후에 먼저 당신을 일부로 데려 가고 싶습니다.
클러스터에서 수행 한 최적화이므로 많은 동영상을 입고
비디오는 제가 잘 확립 된 이미지 나 텍스트에 대한 교육과는 매우 다릅니다.
말 그대로 더 복잡한 차원이므로 우리가 끝나야하는 이유입니다.
스토리지 레이어에서 가속기로 끝나고 광자 수를 훈련하기 때문에 모든 단일 조각을 최적화하려면
우리가 함대에서 직접 나오는 비디오 우리는 직접 훈련하는 사람들을 직접 훈련시키지 않습니다.
방금 행한 방식은 우리가 배치를 포함하는 배치를 위해 선택한 프레임을 정확히 찾는 것입니다.
그들이 의존하는 프레임이므로 이것들은 당신의 iframes 또는 당신의 키 프레임입니다.
메모리는 GPU의 이중 막대로 이동 한 다음에만 가속되는 하드웨어 디코더를 사용합니다.
실제로 비디오를 디코딩하여 GPU에서 기본적으로 그렇게합니다. 이것은 모두 아주 멋진 Python Pytorch 확장에 있습니다.
이렇게하면 점유 네트워크에 대해 30 개 이상의 교육 속도 증가를 잠금 해제하고 기본적으로 전체를 해방 시켰습니다.
CPU는 다른 일을하기 위해
물론 비디오는 일종의 지상 진실이 필요합니다.
당신의 근거 진실을 저장하기위한 목표는 당신이 당신이 당신이 당신이 당신이
최소한 양의 파일 시스템 작동 및 집계를 최적화하기 위해 필요한 최소 크기의로드
크로스 클러스터 처리량 컴퓨팅 클러스터를 내부적으로 고정 한 하나의 큰 장치로 볼 수 있기 때문에
제약 및 임계 값이므로이를 위해 우리는 다음과 같은 형식을 출시했습니다.
우리는 작은 사람이라고 불립니다. 우리는 우리의 지상 진실에 이것을 사용합니다.
그래서 거기에있는 많은 텐서와 여기 만화만이 당신의 uh라고 가정 해 봅시다.
저장하고 싶어서 디스크에서 롤아웃하면 어떻게 보이는지가 당신이하는 일을 당신은 무엇이든 가져가는 것입니다.
예를 들어 비디오 타임 스탬프와 같은 색인을 원한다.
디스크로 어디로 갈지 정확히 알고 있습니다. 텐서가 있다면 uh 당신은
다른 치수를 연속 차원으로 지속시키기위한 치수는 다른 유형의 시도를 시도합니다.
그런 다음 압축 한 사람은 가장 최적인지 확인한 다음 그 제품을 저장하는 경우 실제로는 큰 단계입니다.
기계 학습 네트워크의 지능적 인 출력 기능 캐싱
크기는 약간 약간의 스토리지 효율이 최대 20까지 증가 할 수 있습니다.
모든 작은 열과 작은 값이 함께 모여
단일 값은 나중에 사용할 필요가 없도록 더 많은 값에 대한 읽기와 겹칠 가능성이 높습니다.
또 다른 파일 시스템 작업이 계속해서 계속 진행할 수 있습니다.
우리가 내부적으로 가지고있는 두 가지 프로젝트에 대해 다루었지만 이것은 실제로
이 모든 최적화를 통해 사내에서 축적되고 집계되는 계산은 이제 우리가 훈련합니다.
Occupancy Network는 두 배나 빠른 두 배나 빠르고 이제 더 많은 컴퓨팅 및 이동을 추가하면 이제
병렬 우리는 며칠이 아닌 몇 시간 동안 이것을 훈련시킬 수 없으며
Compute John의 가장 큰 사용자
안녕하세요 여러분 내 이름은 John Emmons입니다. 저는 자동 조종 장치 비전 팀을 이끌고 있습니다. 저는 여러분과 함께 두 가지 주제를 다룰 것입니다.
오늘 첫 번째는 차선을 예측하는 방법이고 두 번째는 도로에서 다른 요원의 미래 행동을 예측하는 방법입니다.
자동 조종 장치 초기에 우리는 이미지 공간 인스턴트 세분화 작업으로 차선 탐지 문제를 모델링했습니다.
우리 네트워크는 매우 간단했지만 실제로는 몇 가지 다른 종류의 차선을 인쇄 할 수있었습니다.
형상은 특히 독수리 차선을 분류 할 수 있습니다.
차선과 그것은 포크를위한 특수 케이싱이 있었고이 단순한 문제의 모델링을 병합했습니다.
고속도로와 같은 고도로 구조화 된 도로에서 일했지만 오늘날 우리는 시스템을 구축하려고합니다.
그것은 우리가 교차로에서 왼쪽과 오른쪽 회전을 만들고 싶은 훨씬 더 복잡한 기동이 가능합니다.
우리 가이 단순한 모델링을 적용하려고 할 때 도로 토폴로지가 훨씬 더 복잡하고 다양 할 수있는 곳
여기서 문제는 완전히 물러서서 잠시 후에 뭐가
우리는 여기서하려고 노력하는 것이 그들의 연결에서 절름발이 인스턴스를 예측하는 것입니다.
기본적으로 노드가 차선 세그먼트 인 곳 에서이 그래프를 예측하는 신경망과 가장자리가 인코딩합니다.
이 차선 간의 연결성이있어서 우리가 가진 것은 차선 감지입니다.
신경망은 첫 번째 구성 요소에서 세 가지 구성 요소로 구성되어 있습니다.
Convolutional Layers주의 레이어 및 8 개의 비디오 스트림을 인코딩하는 기타 신경망 레이어
차량의 카메라 및 풍부한 시각적 표현을 생성합니다.
그런 다음 우리가 인코딩하는 거친 로드맵로드 레벨 맵 데이터 로이 디지털 표현을 향상시킵니다.
차선 안내 모듈이라고 부르는 추가 신경망 계층 세트는이지도는 HD지도가 아니라
교차점 내부의 차선의 토폴로지에 대한 많은 유용한 힌트를 제공합니다. 차선은 다양한 도로에서 계산하고 다른 일련의 속성을
여기에서 처음 두 가지 구성 요소가 생산하도록 도와주세요
이 짙은 텐서가 세상을 인코딩하지만 우리가 정말로하고 싶은 것은이 조밀 한 텐서를
연결 상태에서 스마트 레인 세트 우리는 이미지처럼이 문제에 접근합니다.
입력 이이 조밀 한 텐서 인 캡션 작업과 출력 텍스트는 특수 언어로 예측됩니다.
우리는 Tesla에서 차선을 인코딩 하여이 언어로 연결되어있는 단어와
토큰은 3D 공간의 차선 위치입니다.
작업을 언어로 모델링 하여이 차선 간의 결합 관계를 인코딩합니다.
문제 우리는 다중 처리를 위해 언어 커뮤니티의 최근자가 회귀 아키텍처 및 기술을 활용할 수 있습니다.
문제의 양식 우리는 자동 조종 장치에서 컴퓨터 비전 문제를 해결하는 것이 아니라 최신 정보를 적용하고 있습니다.
더 일반적으로 언어 모델링 및 머신 학습 더 일반적으로 나는이 언어 구성 요소를 조금 더 자세히 살펴볼 것입니다.
여기서 화면에 묘사 한 것은 위성 이미지가 주변의 위치 영역을 나타냅니다.
차량 네 번지 가장자리 세트는 우리가 차선 그래프라고 부르는 것입니다. 궁극적으로 우리 가이 신경에서 나가고 싶은 것입니다.
네트워크 우리는 우리가 먼저 만들고 싶은 빈 슬레이트로 시작합니다.
이 녹색 점에서 여기에서 예측은이 녹색 점 위치는 다음과 같이 인코딩됩니다.
이제 3D 세계를 이산화하는 코스 그리드에 대한 색인은 이제이 색인을 직접 예측하지 않습니다.
계산하기에는 너무 비싸기 때문에 그리드 포인트가 너무 많고 범주 형을 예측합니다.
이것에 대한 분포는 훈련 시간과 테스트 시간에 영향을 미치기 때문에 우리가하는 일 대신 우리는
세계 먼저 우리는 가능한 위치에 대한 히트 맵을 예측 한 다음 가장 가능성있는 위치에 걸립니다.
이것에 대해 우리는 예측을 세분화하고 정확한 지점을 얻습니다.
이제 우리는이 토큰의 위치가 어디에 있는지 알고 있습니다.이 경우에는 새로운 유형의 시작입니다.
차선 그래서 우리는 그것을 시작 토큰으로 접근하고 스타 토큰이기 때문에
우리의 언어로 된 추가 속성은이 첫 번째 포워드 패스에서 예측을 취하고 우리는 그것들을 인코딩합니다.
우리가 함께 결합하는 텐서 세트를 생성하는 배운 추가 임베딩을 사용
실제로 차선 언어로 된 첫 번째 단어는 여기에 문장의 첫 번째 위치에 이것을 추가합니다.
그런 다음 비슷한 방식으로 다음 차선 지점을 인쇄 하여이 프로세스를 계속합니다.
이제이 차선 지점은 새로운 차선의 시작이 아닙니다. 실제로는 이전 차선의 연속입니다.
그래서 그것은 계속해서 토큰 유형입니다.
이 차선은 이전에 보호 된 평면에 연결되어 있습니다.
스플라인 계수 세트를 회귀하면이 차선을 가져 가서 인코딩합니다.
다시 한 번 문장의 다음 단어로 추가하십시오.
예측 그리드의 끝 우리는 다른 차선 세그먼트로 이동하여 지금 시안 도트를 볼 수 있습니다.
그것은 핑크 지점에 토폴로지로 연결되어 있지 않아 실제로 그 파란색으로 미안해
포크 타입과 포크 토큰이 있습니다.
실제로 포크가 시작된 이전 토큰을 다시 가리 킵니다.
여기서 Fork Point 예측기는 실제로 인덱스 제로이므로 실제로는 실제로 예측 된 토큰을 참조하고 있습니다.
언어 우리는이 과정을 계속해서 계속 열거 할 때까지 계속 해서이 과정을 계속합니다.
Ling 그래프의 토큰과 네트워크는 문장 끝을 예측합니다.
그래, 우리 가이 일을하는 이유는 우리가 복잡한 것을 만들고 싶어하기 때문이 아니라는 점에 주목하고 싶습니다.
신경망이있는 튜링 완전한 기계처럼 느껴지지만 우리는 간단한 접근 방식을 시도했다는 것입니다.
예를 들어 uh 도로를 따라 차선을 분할하려고하는 것만으로도 문제는 언제입니다.
길을 명확하게 볼 수없고 2 개의 차선이나 3 개의 차선이있을 수 있다고 말할 수 없다는 불확실성이 있습니다.
간단한 세분화 기반 접근 방식은 두 가지 모두 2.5 레인 상황과
포스트 처리 알고리즘은 예측이 그러한 예일 때 유쾌하게 실패합니다. 문제가 끝나지 않습니다.
교차로 내부의 이러한 결합 차선과 같은 이러한 결합 조건을 예측해야합니다.
Ashok의 언급은 우리 가이 분할과 같은 겹침과 같은 종류의 겹침으로 업그레이드해야했던 이유입니다.
당신은 그것들을 별도의 레이어에 넣는 것을 알고 있습니다. 그것은 단지 현대를 얻는 데 정말 멋진 프레임 워크를 제공하는 정말 어려운 문제 일뿐입니다.
후반 처리 에서이 모든 작업을 시도하는 것을 알고있는 후방에서 샘플
그러나 이것은 실제로 자동 조종 장치에 대한 멈추지 않습니다. John 이것은 옵티머스에 다시 사용될 수 있습니다.
차선이라고 불리는데 당신은 당신이 이것에서 당신이 여기에서 당신이 여기에서 당신이 가능한 종류의 경로를 가질 수 있다는 것을 알고 있다고 상상할 수 있습니다.
사람들이 걸을 수있는 장소 그래, 당신이 공장에 있거나 집에 아는 사람이라면 기본적으로
당신은 로봇을 물어볼 수 있습니다.
그리고 우리는 당신이 통로를 통과하는 일련의 경로를 예측하고 로봇을 가져 가서 괜찮습니다.
부엌에가는 방법은 실제로 내비게이션 문제 또는 내비게이션 문제 또는
다운 스트림 플래너는 모두 그렇기 때문에 궁극적으로 우리가 얻는 것
이 차선 탐지 네트워크는 네트워크에서 직접 제공되는 연결성의 차선 세트입니다.
이들을 단순화하기위한 추가 단계는 없습니다.
이것은 네트워크의 직접 필터링 된 출력입니다.
좋아, 차선에 대해 조금 이야기 했어 미래의 길을 모델링하고 예측하는 방법에 대해 간단히 다룰 것입니다.
객체에 대한 다른 의미론이므로 두 가지 예를 통해 정말 빨리 갈 것입니다.
바로 여기에 우리는 실제로 빨간 불을 흘리며 우리 앞에서 우리 앞에서 우리 앞에서 처리하는 차를 가지고 있습니다.
이와 같은 상황은 우리가 사용할 수있는 모든 개체에 대한 짧은 시간의 수평선 미래 궤적을 예측하는 것입니다.
여기에서 위험한 상황을 예상하고 충돌을 피하기 위해 제동 및 조향 조치가 필요한 것을 적용하기 위해
오른쪽의 비디오에는 우리 앞에 두 대의 차량이 있습니다. 왼쪽 차선에있는 차량이 주차되어 있습니다.
하역을 적재하면 운전자가 왜 그곳에 주차하기로 결정했는지 모르겠지만 중요한 것은 신경망이 중지되었다고 예측했다는 것입니다.
당신이 눈에 띄는 것처럼 다른 차선의 차량은 고정적이지만 그 사람은
분명히 그 빨간색 표시등이 녹색으로 바뀌기를 기다리고 있으므로 두 물체가 고정되어 있고 속도가 0이라도 의미론입니다.
우리가 어색하게 주차 된 차 뒤에 갇히지 않도록 여기서 정말 중요합니다.
이러한 모든 에이전트 속성을 예측하면 실시간 시스템을 구축하려고 할 때 몇 가지 실제 문제가 발생합니다.
자동 조종 장치가 변화하는 환경에 빠르게 반응 할 수 있도록 객체 섹션 스택의 프레임 속도를 최대화해야합니다.
추론 대기 시간을 최소화하기 위해서는 모든 밀리 초가 중요합니다. 우리의 신경망은 두 단계로 나뉩니다.
첫 번째 단계에서 우리는 에이전트가 존재하는 3D 공간의 위치를 식별했습니다.
두 번째 단계에서 우리는 그 3D 위치에서 텐서를 꺼내고 있습니다.
차량과 우리는이 사양 단계에서 나머지 처리를 수행하는 것을 알고 있습니다.
가장 중요한 영역에 중점을 둔 신경망은 대기 시간 비용의 일부에 대한 우수한 성능을 제공합니다.
따라서 Autopilot Vision Stack을 모두 모으는 것은 단순한 형상과 운동학 이상의 것으로 예측됩니다.
세상은 또한 안전하고 인간 같은 운전을 가능하게하는 풍부한 의미를 예측합니다.
나는 거리에 물건을 건네주지 않을 것입니다. 우리는 우리가 어떻게 우리가 우리가 우리의 모든 멋진 신경망을 우리의 FSD 컴퓨터에서 실행하는지 알려줄 것입니다. 감사합니다.
[박수 갈채]
안녕하세요 저는 오늘 SRI 오늘 SRI 에서이 FSC 네트워크를 실행하는 데 필요한 것을 엿볼 것입니다.
자동차와 추론 대기 시간에 대해 어떻게 최적화 할 수 있습니까?
John이 방금 이야기 한 FSG 차선 네트워크
이 트랙을 시작했을 때 우리는이 FSC 차선 네트워크를 기본적으로 트립 엔진에서 실행할 수 있는지 알고 싶었습니다.
FSD 컴퓨터에 내장 된 사내 신경망 가속기
이 하드웨어를 구축 할 때 간단하게 유지했고 우리는 그것이 하나를 할 수 있는지 확인했습니다.
엄청나게 빠르게 울창한 도트 제품이지만이 아키텍처는 자동입니다.
내부 루프의 여러주의주의 블록을 통해 뒷면에 회귀적이고 반복적 인 곳
모든 단계에서 직접 스파 스 포인트를 생성하므로 여기서 도전은
밀도가 높은 도트 제품 엔진 에서이 구문 분석 포인트 예측 및 드문 계산을 수행 할 수 있습니까?
트립에서 네트워크가의 히트 맵을 예측합니다.
요점의 가장 가능한 공간 위치는 이제 우리는 아크 최대와 하나를합니다.
공간 위치의 색인을 강력하게 인코딩하는 심장 작동
이제 우리는 그 동안 배운 임베딩 테이블 에서이 색인과 관련된 임베딩을 선택해야합니다.
여행시이 작업을 수행하는 교육 실제로 SRAM에서 조회 테이블을 만들었고 우리는 엔지니어링했습니다.
매트릭스 곱셈 으로이 모든 것을 달성 할 수 있도록이 임베딩의 치수
이 내부를 토큰 캐시에 저장하고 싶을뿐만 아니라
우리는 모든 반복에 대해 이것을 재구성하지 않기 때문에 오히려 미래의 포인트 예측을 위해 재사용합니다.
Dot 제품 엔진 에서이 모든 작업을 수행 한 트릭. 실제로 우리 팀이 정말 멋지다.
트립 엔진에서 이러한 모든 작업을 방식으로 매핑하는 창의적인 방법을 찾았습니다.
이 하드웨어가 설계되었을 때도 상상되지 않았지만 이것이 우리가해야 할 유일한 것은 아닙니다.
이 작업을 만들기 위해 실제로이 모델을 만들기 위해 많은 작업과 기능을 구현했습니다.
흡기 정확도를 높이고 성능을 최적화하기 위해 컴파일 가능
이 모든 것들이 우리가 10 만 미만의 7 천 5 백만 매개 변수 모델을 실행하는 데 도움이되었습니다.
8 와트의 전력을 소비하는 밀리 초
그러나 이것은 자동차에서 실행되는 유일한 아키텍처가 아닙니다. 다른 많은 아키텍처 모듈과 네트워크가 있습니다.
규모를 제공하기 위해 자동차에서 실행해야합니다. 모든 네트워크의 약 10 억 개의 매개 변수가 있습니다.
약 1000 신경 네트워크 신호를 생산하므로 확인해야합니다.
우리는 그것들을 공동으로 최적화하고 계산을 극대화하도록합니다.
활용 처리량 및 대기 시간을 최소화하여 신경을위한 컴파일러를 구축했습니다.
구조를 전통적인 컴파일러에 공유하는 네트워크는 방대한 시간을 가져옵니다.
150K 노드와 375K 연결을 가진 신경망의 그래프
그것들을 독립적 인 하위 그래프로 분할하고 com은 각각을 강요합니다.
추론 장치에 대한 서브 그래프는 신경망이 있습니다.
이 링크 시간 최적화를 수행하는 전통적인 링커에 구조를 공유하는 링커
거기에서 우리는 오프라인 최적화 문제를 해결합니다.
차에서 실행되는 최적화 된 일정이 제공되도록 대역폭 제약 조건
런타임에 기본적으로하는 하이브리드 스케줄링 시스템을 설계했습니다.
하나의 SOC에서의 이질적인 스케줄링 및 두 SOC에 대한 분산 스케줄링을 통해 모델에서 이러한 네트워크를 실행합니다.
병렬 패션은 100 방울의 컴퓨팅 활용을 얻기 위해 모든 것을 최적화해야합니다.
네트워크 아키텍처를 조정하는 것부터 바로 소프트웨어 레이어 컴파일러 모두
SRC를 통해 낮은 대기 시간 고 대역폭 RDMA 링크를 구현하는 방법과 실제로 더 깊이
Soc에서 가속기의 캐시 일관성 및 비 응력 데이터 경로 이해 및 최적화
우리가 가장 높은 프레임 속도를 얻기 위해 모든 수준에서 최적화의
여기와 이것은 이것이 바로이 것입니다.
자동차에서 실행중인 신경망의 시각화 이것은 본질적으로 당신이 볼 수있는 우리의 디지털 뇌입니다.
이 작업은 차량에서 실행되는 몇 가지 실제 작업을 지명하는 행렬 곱셈 컨볼 루션 일뿐입니다.
이 네트워크를 10 억 매개 변수로 훈련 시키거나 훈련 시키려면 Aegon이 대화 할 수 있도록 많은 레이블이있는 데이터가 필요합니다.
자동 라벨링 파이프 라인으로 어떻게이를 달성 할 수 있습니까?
감사합니다. 셰리 감사합니다
uh 안녕하세요 여러분 저는 Jurgen Zhang이고 Autopilot에서 기하학적 비전을 이끌고 있습니다.
네, 자동 라벨링에 대해 이야기합시다
그래서 우리는 다양한 유형의 네트워크를 지원하기위한 여러 종류의 라벨링 프레임 워크를 가지고 있지만 오늘날에는
여기에 멋진 차선 그물에 집중하여 성공적으로 훈련하고 일반화하십시오.
이 네트워크는 우리가 수천만 건의 여행을했다고 생각하는 모든 곳에서
아마도 백만 개의 교차로 또는 그 이상
그런 다음 그렇게하는 방법으로 충분한 소스가 달성 할 수 있습니다.
우리가 이미 이전에 설명한 것처럼 우리는 이미 하루에 5 억 5 천만 달러의 여행을 가지고 있기 때문에 여행 금액입니다.
UM 그러나 모든 데이터를 교육 형식으로 변환하는 것은 매우 어려운 기술적 문제입니다.
이 도전을 해결하기 위해 우리는 다양한 방법의 수동 및 자동 라벨링을 시도했습니다.
첫 번째 열에서 두 번째 열에서 두 번째 열에서 두 번째 열에서 세 번째 열은 각 사전에 거의 100 배의 개선을 제공했습니다.
처리량이지만 아직도 우리는 제공 할 수있는 더 나은 자동 라벨링 머신을 수상했습니다.
제공자에게 양질의 다양성과 확장 성을 제공합니다
이러한 모든 요구 사항을 충족시키기 위해 여기서 필요한 막대한 엔지니어링 노력에도 불구하고 우리는
다중 트립 재구성으로 구동되는 새로운 주문 라벨링 머신이므로 5 백만 시간을 대체 할 수 있습니다.
클러스터에서 단 12 시간 만에 수동 라벨링을 위해 10,000 번의 트립을 라벨링하기 위해
그래서 우리가 해결 한 방법 3 가지 큰 단계가 있습니다. 첫 번째 단계는 높은 정밀 궤적과 구조 복구입니다.
다중 카메라 시각적 관성 Odometry 따라서 지표면을 포함한 모든 기능은 비디오에서 추론됩니다.
그런 다음 신경망으로 벡터 공간에서 추적 및 재구성
차 에서이 궤적의 전형적인 드리프트 속도는 1.3 센티미터와 같습니다.
미터당 0.45 밀리 라디안 당 0.45 milli radian은 소형 계산을 고려하여 꽤 괜찮습니다.
복구 서비스 및 원시 세부 사항보다는 강력한 것으로 사용됩니다.
이후 수동 검증 단계에 대한 지침 이것은 모든 FSD에서도 활성화됩니다.
차량은 트립 데이터와 함께 사전 처리 된 궤적 및 구조를 얻습니다.
두 번째 단계는이 기계의 크고 핵심 조각 인 Multi-2 재구성입니다.
그래서 비디오는 이전에 보여준 여행이 어떻게 재구성되고 정렬되는지 보여줍니다.
다른 여행을 통해 기본적으로 다른 사람들의 다른 여행을 통해 같은 차량이 아닌 다른 여행이므로 여러 가지가 이루어집니다.
코스 정렬과 같은 인터넷 단계 쌍별 일치 조인트 최적화 및 추가 표면 개선
결국 인간 분석가가 들어 와서 레이블을 마무리합니다.
따라서 각 행복한 단계는 이미 클러스터에 완전히 병렬화되어 있습니다.
전체 프로세스는 보통 몇 시간 밖에 걸리지 않습니다
마지막 단계는 실제로 새 여행에 자동 라벨을 붙이는 것입니다.
여기서는 동일한 멀티 트립 정렬 엔진을 사용하지만 사전 제작 된 재구성과 각각의 새로운 사이에만 사용합니다.
트립은 모든 클립을 완전히 재구성하는 것보다 훨씬 간단합니다.
그렇기 때문에 매뉴얼 대신 다른 레이블로 여행 당 30 분 밖에 걸리지 않습니다.
몇 시간의 수동 라벨링 및 이것은 또한 확장 성의 열쇠입니다.
이 기계 의이 기계는 우리가 우리만큼 쉽게 확장됩니다.
약 50 그루의 나무가 새로 주문했습니다.
이 장면에서 레이블이 붙은 채로 일부는 다른 차량에서 53 개가 표시되어 있습니다.
이것이 우리가 세계의 시공간 슬라이스를 포착하고 변형시키는 방법입니다.
네트워크 감독 예, 내가 주목하고 싶은 한 가지는 우리가 어떻게 자동차에 대해 이야기했다는 것입니다.
우리의 차선을 라벨이지만 우리는 플래너와 많은 것들을 포함하여 우리가하는 거의 모든 작업에 대해 자동차 노동자가 있습니다.
이들은 물체 나 기타 운동학에 관여하는 사람과 관련이없는 것처럼 완전히 자동입니다.
선물 모든 것이 단지 자동 라벨링에서 나오고 점유에 대해서도 마찬가지입니다.
이 주위에 기계를 만들었습니다.
클러스터에 병렬화되어있어 매우 간단하게 들리지만
정말 um이 아니었을 수도 있습니다. 어쩌면 이런 일이 어떻게 um에 대해 오는가를 공유하는 것은 재미있을 것입니다. 그래서 얼마 전에 우리는 아무것도 없었습니다.
자동 라벨링과 누군가가 스크립트를 만들기 시작합니다. 작동하기 시작합니다.
꽤 높고 우리는 분명히 솔루션이 필요하므로 다른 엔지니어 두 명이있었습니다.
우리가해야 할 일이 당신이 아는 흥미 롭다는 것을 알고있는 우리 팀은 전체 그래프를 만드는 것이 었습니다.
본질적으로 Python 기능은 먼저 클립을 잡아 당기고 청소를 수행 한 다음 수행합니다.
일부 네트워크 추론과 다른 네트워크 추론이 마침내 이것을 얻을 때까지이를 수행해야합니다.
대규모 그래서 나는 그들에게 하루에 100,000 클립 또는 100 000 품목을 알고있을 것입니다.
그건 좋아 보인다. 그래서 엔지니어들은 우리가 당신이 약간의 우편둥이와 약간의 것을 알 수 있다고 말할 수 있다고 말합니다.
팔꿈치 그리스의 우리는 그것을 할 수 있습니다. 한편 우리는 조금 나중에 그리고 우리는 20 일을하고 있습니다
이 기능 중 백만은 매일 다시 50 만 명을 끌어냅니다.
클립과 우리는 스트리밍 방식으로 각각의 기능을 실행합니다. 그래서 그것은 일종의 등입니다.
교육을 실행하는 것뿐만 아니라 자동 라벨링에도 필요한 인프라
라벨을 생성하고 생산 라인을 생성합니다.
당신을 신청하는 레이블 팩토리 uh 올바른 자동차의 공장을 알고 있습니다.
알았어 고마워요, 그래요 결론
이 섹션은 네트워크에 대한 몇 가지 도전적이고 흥미로운 예를 확실히 공유하고 싶습니다.
아마도 인간을 위해 아마도 꼭대기에서 거짓말의 부족이나 안개가 자욱한 밤 또는 로터리와 같은 예가 있습니다.
그리고 주차 된 차에 의한 무거운 폐색으로의 폐색과 카메라 렌즈에 빗방울이있는 비오는 밤
이것들은 도전적이지만 원래 장면이 다른 클립에 의해 완전히 재구성되면 그들 모두가 될 수 있습니다.
이러한 도전적인 시나리오를 통해 카드가 더 나은 운전을 할 수 있도록 자동 표시
이제 Sim 이이 레이블 위에 새로운 세상을 만드는 방법에 대해 더 많이 배우기 위해 David에게 마이크를 전달하겠습니다.
너
다시 한 번 감사드립니다. 제 이름은 David이고 시뮬레이션에 대해 이야기하겠습니다. 시뮬레이션은 중요한 역할을합니다.
소스가 어렵거나 레이블이 어렵거나 레이블이 어렵지만 3D 장면은 느리게 느린 데이터를 제공합니다.
예를 들어 내 뒤에 연주되는 시뮬레이션 된 장면을 제작하기 위해
샌프란시스코의 Market Street에서 복잡한 교차로는 2 주가 걸릴 것입니다.
예술가들이 완성하고 고통스럽게 느리게 우리를 위해 사용하는 것에 대해 이야기 할 것입니다.
Jaegan의 자동 지상 진실 레이블과 함께 새로운 툴링과 함께이를 절차 적으로 생성 할 수 있습니다.
장면과 많은 사람들은 단 5 분 만에 그것을 좋아합니다. 그것은 이전보다 천 배 더 빠릅니다.
그래서 우리는 자동화 된 땅을 배관하여 시작하는 것처럼 우리의 장면으로 뛰어 들자
도로 경계로 시작하여 소프트웨어 내부의 시뮬레이션 된 세계 제작자 툴링에 진실 레이블
라벨 우리는 견고한 도로 메쉬를 생성하고 차선 그래프로 재판을 할 수 있습니다. 이것은 중요한 도로를 알리는 데 도움이됩니다.
Crossroads 경사 및 상세한 재료 혼합과 같은 세부 사항
다음으로 라인 데이터를 사용하고 표면을 가로 질러 지오메트리를 스윕하여 차선 페인트 생성 도로에 투사 할 수 있습니다.
다음으로 중간 가장자리를 사용하여 우리는 스폰 할 수 있습니다
Island Geometry 및 무작위 단풍으로 채우면 장면의 가시성을 크게 변화시킵니다.
이제 외부 세계는 일련의 무작위 휴리스틱을 통해 생성 될 수 있습니다.
시각적 장애물을 만듭니다
나무는 선이나 가장자리를 가리는 잎 아래로 잎을 떨어 뜨릴 수 있습니다.
다음으로 우리는지도 데이터를 가져와 교통 신호등이나 정지 표지판과 같은 위치를 알릴 수 있습니다.
차선 수와 같은 중요한 정보를 수집하고 심지어 정확한 거리 이름을 얻는 것이 정상입니다.
차선 그래프를 사용하여 다음에 서명 할 수 있습니다. 우리는 차선 연결 및 스폰 방향을 결정할 수 있습니다.
도로에 도로 표시와 그들은 도로 표지판과 마침내 차선 그래프 자체와 함께
차선 인접성 및 기타 유용한 메트릭을 스폰하여 무작위 트래픽 순열 내부 시뮬레이터를 결정할 수 있습니다.
그리고 다시 이것은 루프의 모든 자동 No Artists이며 몇 분 안에 발생하며 이제는 우리에게 할 수 있습니다.
모든 것이 데이터와 휴리스틱을 기반으로하기 때문에 꽤 멋진 것들이 우리는 퍼지를 시작할 수 있습니다.
단일 지상 진실의 시각적 변형을 만들기위한 매개 변수는 객체 배치와 무작위만큼 미묘 할 수 있습니다.
완전히 새로운 생물 군계 나 도시와 같은 환경의 위치와 같은보다 과감한 변화로 재료 교환
교외 또는 농촌 이것은 우리가 특정에 대한 무한대 대상 순열을 만들 수 있습니다.
우리가 더 많은 근거 진실이 필요하다는 근거 진실 과이 모든 것은 클릭 한 번의 클릭 안에 발생합니다.
버튼과 우리는 우리의 지상 진실을 변경하여 한 단계 더 나아갈 수 있습니다.
John은 자신의 네트워크가 방향 도로 표시에 더 많은 관심을 기울이기를 원한다고 말합니다.
다가오는 캡 티브 왼쪽 회전 차선을 더 잘 감지하기 위해 우리는 차선 그래프를 절차 적으로 바꾸기 시작할 수 있습니다.
사람들 이이 교차로를 통해 완전히 새로운 흐름을 만드는 데 도움이되는 시뮬레이터
보다 정확한 예측을 만들기 위해 도로 표시에 네트워크의 관심을 집중시키는 것은 이것이 어떻게 좋은지에 대한 훌륭한 예입니다.
툴링은 실제 세계에서 수집 할 수없는 새로운 데이터를 만들 수 있습니다.
그리고이 도구의 진정한 힘은 아키텍처에 있으며 모든 작업을 무한대와 병렬로 실행할 수있는 방법입니다.
스케일로 타일 제작자 도구가 행동중인 지상 진실을 변환하는 것을 보았습니다.
해당 상대방으로의 레이블 다음에 타일 추출기 도구를 사용할 수 있습니다.
이 데이터를 크기 약 150 미터 정사각형 지오 해쉬 타일로 나누기 위해
그런 다음 해당 데이터를 별도의 지오메트리 및 인스턴스 파일로 저장하면 쉽게 쉽게 데이터 소스를 제공합니다.
로드하고 우리가 미래를 위해 엔진을 렌더링 할 수 있습니다.
그런 다음 타일 로더 도구를 사용하여 현재 Geohash ID를 사용하여 해당 캐시 타일을 소환 할 수 있습니다.
이 다섯 x 5 타일 또는 3 x 3 x 3 개에 대해 일반적으로 함대 핫스팟 또는 흥미로운 땅 그래프를 중심으로
타일 로더의 위치는이 타일 세트를 소비를 위해 U 자산으로 변환합니다.
Unreal Engine에 의해 첫 번째 슬라이드에서 본 것에서 완성 된 프로젝트 제품을 제공합니다.
그리고 이것은 당신이 우리 뒤의지도에서 볼 수 있듯이 크기와 규모로 우리를 실제로 설정합니다.
우리는 대부분의 샌프란시스코 시티 거리를 쉽게 생성 할 수 있으며 이것은 몇 년이나 몇 달의 일이 걸리지 않았지만
오히려 2 주가 한 사람만으로도 계속 관리하고 성장할 수 있습니다.
툴링 내부의 PDG 네트워크를 사용하는이 데이터는 우리가 던질 수 있도록합니다.
그것을 계산하고 모든 타일 세트를 밤새 재생성합니다. 이것은 모든 환경이
새로운 온톨로지와 신호가 끊임없이 있기 때문에 훈련에 매우 중요한 일관된 품질과 기능
우리는 출시되었고 이제 우리는 풀 서클이되기 위해
현실 세계의 모든 이상한 복잡성을 포함하는 지상 진실 데이터 에서이 타일 세트를 모두 생성했습니다.
그리고 우리는 그것을 절차 적 시각 및 트래픽 품종과 결합하여
배우는 네트워크와 그 SIM 섹션을 마치면 Kate에게 전달하여 우리가 어떻게 할 수 있는지 이야기합니다.
이 모든 데이터를 사용하여 자동 조종 장치를 개선하십시오. 감사합니다
감사합니다 David Hi 모두 내 이름은 Kate Park이고 나는 우리가 우리의 프로세스 인 데이터 엔진에 대해 이야기하기 위해 왔습니다.
데이터를 통해 신경망을 개선하여 중재를 결정적으로 해결하는 방법을 보여 드리겠습니다.
데이터를 통해이 시나리오 에서이 특정 클립의 수명을 안내합니다.
자동 조종 장치는 회전에 접근하고 있으며 교통량이 멈추는 차량이 트래픽을 위해 멈추는 것으로 잘못 예측합니다.
우리가 속도가 느려지는 차량은 실제로 차 안에 아무도 없어서 어색하게 주차되어 있습니다.
오해를 식별하는 툴링은 레이블을 수정하고이를 분류합니다.
평가 세트로 클립이 특정 클립은 126 중 하나입니다.
우리는 이로 인해 차례로 도전적인 주차 자동차로 진단했다.
인프라 우리는 엔지니어링 리소스 사용자 정의 없이이 평가 세트를 선별 할 수 있습니다.
실제로 해당 챌린지 사례를 해결하기위한이 특별한 도전 사례에
그와 같은 수천 가지 예제를 채굴해야하며 Tesla는 사소하게 우리가 단순히 우리의 데이터를 사용할 수있는 것입니다.
인프라 요청 데이터 소싱 및 이전에 표시된 툴링을 사용하여 수정합니다.
현재 모델의 오해를 외과 적으로 목표로하여 레이블 우리는 가장 가치있는 것만 추가하고 있습니다.
우리의 훈련 세트에 대한 예는 13 900 클립과 uh 외과 적으로 수정합니다.
이것이 현재 모델이 어려움을 겪는 예 였기 때문에 우리는 모델 아키텍처를 변경할 필요조차 없습니다.
이 새로운 귀중한 데이터로 간단한 방법 업데이트는 도전 사례를 해결하기에 충분합니다.
오렌지로 표시된대로 멈추지 만 빨간색으로 표시된대로 주차 된 교차 차량
학계에서 우리는 종종 사람들이 데이터를 일정하게 유지하지만 Tesla에서는
우리가 시간과 시간과 반대되는 반대는 데이터가 가장 결정적인 레버가 아니라면 가장 좋은 것 중 하나입니다.
이러한 중재를 해결하기 위해 데이터 엔진 루프를 보여주었습니다.
하나의 챌린지 케이스, 즉 턴 에이 주차 된 차량이지만 하나의 신호에 대해서도 많은 도전 사례가 있습니다.
차량 움직임 우리는이 데이터 엔진 루프를 버스 여부를 진단 한 모든 단일 챌린지 케이스에 적용합니다.
Curvy Roads는 차량 주차장을 멈추고 우리는 일단 데이터를 추가하지 않습니다.
실제로 시맨틱을 완성하기 위해 실제로 올해 우리는 차량 이동 신호를 5 번 업데이트했습니다.
그리고 새로운 데이터에 대한 모든 웨이트 업데이트가 훈련 될 때 우리는 차량 이동 정확도를 높이고 올라갑니다.
이 데이터 엔진 프레임 워크는 모든 신호에 3D에 적용됩니다.
다중 캠 비디오 데이터가 인간 라벨이 붙은 자동 레이블이 붙은지 또는 오프라인 모델인지 시뮬레이션되는지 여부
온라인 모델 모델과 Tesla는 함대 때문에 규모 로이 작업을 수행 할 수 있습니다.
엔진 팀이 구축 한 인프라와 네트워크를 공급하는 라벨링 리소스의 이점
이 모든 데이터를 훈련시키기 위해서는 대량의 컴퓨팅이 필요하므로 Pete와 Ganesh에게 전달하여
Dojo SuperComputing 플랫폼 감사합니다 [박수]
감사합니다 Katie 감사합니다
감사합니다. 거기에 매달려 주셔서 감사합니다.
Tesla의 실리콘 및 저전압 팀과 제 이름은 Ganesh Venkat입니다.
도지 프로그램
[박수] 감사합니다
교육을위한 슈퍼 컴퓨터 구축 및이 질문은 근본적으로
Tesla의 심장에서 Tesla의 본질을 오해합니다 Tesla는 하드 코어 기술입니다.
회사 전체의 회사는 과학 및 공학 분야에서 열심히 일하고 있습니다.
우리가 사용할 수있는 기본적인 이해와 방법을 발전시키기 위해
Cars Energy Solutions Robots 및 기타 제품을 구축하려면
전 세계의 인간 상태를 개선하는 것은 매우 흥미 진진한 일이며, 매우 흥미 진진한 일이며 매우 흥미 진진한 일입니다.
오늘 밤 반도체 그룹의 작은 조각은 우리는 dojo에 대해 조금 이야기하고 당신에게 줘
작년에 우리가 할 수 있었던 일을 업데이트하지만 우리가하기 전에 나는 약간의
우리가 몇 년 전에 시작한 초기 디자인에 대한 배경은 목표를 달성했습니다.
자동 조종 팀의 교육 대기 시간을 상당히 개선했습니다.
오늘 훈련 한 가장 큰 신경망은 한 달 이상 운영되어 빠르게의 능력을 억제합니다.
대안을 탐색하고 평가하여 30 배의 속도가
비용 경쟁력 있고 에너지 경쟁 방식으로 제공 할 수 있다면 정말 좋습니다.
그렇게하기 위해 우리는 많은 산술 산술로 칩을 만들고 싶었습니다.
우리가 매우 높은 효율로 활용할 수있는 유닛과 우리는 그렇게 할 수 있는지 여부를 공부하는 데 많은 시간을 보냈습니다.
DRM 사용 다양한 포장 아이디어를 사용하여 모두 실패했지만 결국
우리는 부 자연스러운 행동처럼 느껴졌습니다.
칩에 내장 된 SRAM에서 SRAM은 불행히도 겸손하게 제공합니다.
용량의 양이지만 대역폭이 매우 높고 대기 시간이 매우 낮으며이를 통해 높은 활용도를 달성 할 수 있습니다.
산술 단위로 이러한 선택
그 특별한 선택 중에서 예를 들어 가상 메모리를 원한다면 필요한 다른 선택으로 이어졌습니다.
페이지 테이블 그들은 우리가 공간을 가지고 있지 않은 많은 공간을 차지하기 때문에 가상 메모리가 없습니다.
Accelerator는 Bare Bonds Rob Compiler에 제시되는 하드웨어 조각입니다.
컴파일러에서는 종말 방식으로 발생하는 모든 것을 예약 할 책임이 있으므로 필요하지 않거나
우리가 모델을 추구하기로 선택한 시스템의 인터럽트에 대한 욕구조차
전형적인 상황이 아닌 훈련 방법론으로서의 병렬성
오늘날 대부분의 기계는 우리가 가지고 있지 않은 추가 메모리 용량을 소비하는 데이터 병렬 처리를 사용합니다.
그래서 그 모든 선택은 우리가 매우 급진적 인 기계를 만들도록 이끌었습니다.
오늘날 이용할 수있는 것과는 달리 우리는 또한 가장 중요한 목표 중 하나는 다른 목표 중 하나를 가졌습니다.
한계를 통해 우리는 대부분의 경우 무한한 방식으로 확장 할 컴퓨팅 패브릭을 구축하고 싶었습니다.
지금은 물리적 한계가 있지만 모델이 있으면 거의 알고 있습니다.
컴퓨터에 너무 큽니다. 방금 가야했던 더 큰 컴퓨터를 구입해야 했어요
기계는 포장되어 있습니다. 예를 들어 GPU CPU와 같은 고정 비율이 있습니다.
그리고 DRAM 용량과 네트워크 용량과 우리는 모델이 발전함에 따라 우리가 할 수 있도록 모든 것을 분리하고 싶었습니다.
이러한 다양한 요소의 비율을 변경하고 시스템의 요구를 충족시키기 위해 시스템을보다 유연하게 만듭니다.
Autopilot Team 예, 제한이없는 것처럼 너무 사실입니다. 철학은 우리의 안내 스타였습니다.
우리의 모든 선택은 그 주위를 중심으로하고
우리는 기존 데이터 센터 인프라가 우리의
이러한 프로그램을 속도로 실행할 수있는 능력이므로 우리는
그게 우리가 통합 한 이유입니다.
세로를 수직으로 수행하여 데이터 센터 전체 데이터 센터
데이터 센터의 통합 우리는 새로운 수준의 효율성을 추출 할 수 있습니다.
전달 냉각 및 시스템 관리
박스별로 상자를 사용하지 않고 전체 데이터 센터 스택 스택
그 상자를 데이터 센터로 가져와이를 위해 우리는 또한
조기 통합하여 우리의 스케일의 한계를 파악하십시오.
소프트웨어 워크로드로 Dojo 환경을 자동 조종 장치 소프트웨어에 매우 일찍 통합하고 많은 것을 배웠습니다.
수업과 오늘 UH Bill Chang은 하드웨어 업데이트와 일부를 넘어갈 것입니다.
우리가 도중에 직면 한 도전에 대해 Rajiv Kurian은 당신에게
컴파일러 기술을 엿볼 수있을뿐만 아니라 멋진 결과를 살펴보십시오.
바로 거기에 간다
감사합니다 Pete 감사합니다 Ganesh UM 오늘 밤 높은 수준으로 시작하겠습니다.
도전과 문제의 단계를 설정하는 데 도움이 될 시스템의 비전
소프트웨어를 해결 한 다음 소프트웨어를 어떻게 활용할 수 있는지 성능
이제 Dojo에 대한 우리의 비전은 단일 통합 가속을 구축하는 것입니다.
하나의 소프트웨어는 전 세계적으로 주소가 가능한 원활한 컴퓨팅 비행기를 볼 수 있습니다.
매우 빠른 메모리와 모두 균일 한 높은 대역폭과 함께 연결되었습니다.
우리가 사용해야하는이를 깨닫기 위해 낮은 대기 시간
성능을 달성하기위한 밀도 이제 우리는 기술을 활용하여 수준의 수준을 깨뜨리기 위해이 밀도를 얻습니다.
칩에서 스케일 아웃 시스템에 이르기까지 계층 구조
이제 실리콘 기술은이 작업을 사용하여 수십 년 동안 칩이
Moore의 법칙에 따라 밀도와 통합을 위해 성능 스케일링을 얻었습니다.
이제 비전을 깨닫는 핵심 단계는 우리의 훈련 타일이 25 건의 다이를 통합 할 수있을뿐만 아니라
매우 높은 대역폭이지만 함께 연결하여 추가 타일로 확장 할 수 있습니다.
이제 작년에 우리는 첫 번째 기능 교육 타일을 선보였으며 그 당시에는 이미 워크로드를 실행했습니다.
그 이후로 이곳의 팀은 배치하기 위해 열심히 노력하고 있습니다.
이것은 규모로 지금 우리는 놀라운 진전을 이루었고 길을 따라 많은 이정표를 가지고있었습니다.
물론 우리는 예상치 못한 도전이 많았지 만 이것이 우리가 빠르게 실패하는 곳입니다.
철학은 우리가 우리의 경계를 추진할 수있게 해주었다
이제 성능을위한 밀도를 높이는 것은 모든 새로운 과제를 제시합니다. 한 영역은 전력 전달입니다.
여기서 우리는 컴퓨팅 다이에 힘을 전달해야하며 이것은 직접적인 영향을 미칩니다.
최고의 라인 컴퓨팅 성능이지만 전례없는 밀도 로이 작업을 수행해야합니다.
제곱 제곱 당 거의 1 개의 앰프의 전력 밀도를 가진 다이 피치
그리고 극도의 통합으로 인해 이것은 다층 수직이어야합니다.
전원 솔루션 및 복잡한 이종 재료가 쌓여 있기 때문에
우리는 재료 전환, 특히 CTE를 신중하게 관리해야합니다.
이제 열 팽창 계수가 왜이 경우 CTE가 기본 재료 속성입니까?
그리고 그것이 조심스럽게 관리되지 않으면 그 스택 업이 문자 그대로 찢어 질 것입니다.
그래서 우리는 공급 업체와 협력 하여이 노력을 시작했습니다.
파워 솔루션이지만 우리는 실제로이 사내에서 개발해야한다는 것을 깨달았습니다.
이제 일정과 위험의 균형을 맞추기 위해 우리는 지원을 위해 빠른 반복을 구축했습니다.
우리의 시스템은 모두 UPEN 및 소프트웨어 개발 및 최적의 디자인을 찾기 위해
최종 생산 목표를 달성 할 수있는 쌓이고 결국 CTE를 50 % 이상 줄일 수있었습니다.
초기 버전보다 3 배의 성능을 충족
이제이 최적의 재료 쌓인 것을 찾는 동안 말할 필요도 없습니다.
밀도의 성능은 매우 어렵습니다
이제 우리는 여기에서 우리가
구성 요소 고장으로 이어진 통합 경계