Category: Hardware

bookmark_borderVision Intelligence dengan Jetson Nano

Posted on by danito

Kecerdasan Artifisial atau Artificial Intelligence (AI) yang melibatkan Pengolahan Citra (Image Processing) kini salah satunya berkembang menjadi Kecerdasan Pengelihatan (Vision Intelligence atau banyak juga yang menyebutnya sebagai Visual Intelligence).

Diantara beberapa Single Board Computer (SBC) atau ‘Mini-PC‘ yang tersedia di pasaran, ada yang dirancang khusus untuk keperluan Kecerdasan Artifisial ini, yaitu: Jetson Nano dari Nvidia.

Dengan penambahan kamera yang dirancang khusus untuk keperluan Stereo Vision maka fungsi Vision Intelligence ini dapat dikembangkan di Jetson Nano ini. Contohnya Binocular Camera Module dari Waveshare.

Perangkat keras dengan teknologi Vision Intelligence ini digunakan dalam salah satu drone hasil riset dan pengembangan di DroneHackers dengan penambahan SIM7600G-H 4G Module dari Waveshare untuk komunikasi data melalui internet (4G) dan navigasi-nya (GPS, BeiDou, Glonass dan LBS base station positioning).

Tulisan ini mengulas secara ringkas cara merakit atau memasangkan perangkat keras: Jetson Nano, Binocular Camera Module, SIM7600G-H 4G Module; termasuk mengganti heatsink bawaan (passive cooling) dengan ICE Tower CPU Cooler Fan (active cooling).

Untuk pembelian hardware-nya ini dapat di-klik tautan berikut: https://www.tokopedia.com/danito/jetson-nano-stereo-vision-camera-32gb-gsm-4g-gps-tower-cpu-cooling-fan

1. Jetson Nano Developer Board versi B01

Versi “B01” dari Jetson Nano Developer Board sudah mendukung penggunaan Stereo Camera (Binocular Camera). Hal ini dapat dilihat dari posisi konektor flat flex ribbon cable untuk kamera yang sudah sejajar; dua slot kabel pita yang berwarna hitam ini berada di posisi paling kiri berlabel-kan “CAM0” dan “CAM1” pada foto di bawah:

Jetson Nano Developer Board versi B01 (tampak atas)
Jetson Nano Developer Board versi B01 (tampak bawah)

2. Nvidia Jetson Nano Module (dengan 4GB RAM dan 16GB Internal Storage)

Nvidia Jetson Nano Module dengan 4GB RAM dan 16GB Internal Storage (tampak atas)
Nvidia Jetson Nano Module dengan 4GB RAM dan 16GB Internal Storage (tampak bawah)

Spesifikasi teknis Nvidia Jetson Nano Module adalah sebagai berikut:

  • GPU: NVIDIA Maxwell™ architecture with 128 NVIDIA CUDA® cores 0.5 TFLOPs (FP16)
  • CPU: Quad-core ARM® Cortex®-A57 MPCore processor
  • Memory: 4 GB 64-bit LPDDR4
  • 1600MHz – 25.6 GB/s
  • Storage: 16 GB eMMC 5.1 Flash
  • Video Encoder: 250 MP/sec
  • 1x 4K @ 30 (HEVC)
  • 2x 1080p @ 60 (HEVC)
  • 4x 1080p @ 30 (HEVC)
  • Video Decoder: 500 MP/sec
  • 1x 4K @ 60 (HEVC)
  • 2x 4K @ 30 (HEVC)
  • 4x 1080p @ 60 (HEVC)
  • 8x 1080p @ 30 (HEVC)
  • Camera: 12 lanes (3×4 or 4×2) MIPI CSI-2 D-PHY 1.1 (18 Gbps)
  • Connectivity: 10/100/1000 BASE-T Ethernet
  • Display: HDMI 2.0 or DP1.2 | eDP 1.4 | DSI (1 x2) 2 simultaneous
  • UPHY: 1 x1/2/4 PCIE, 1x USB 3.0, 3x USB 2.0
  • I/O: 3x UART, 2x SPI, 2x I2S, 4x I2C, GPIOs
  • Size: 69.6 mm x 45 mm
  • Mechanical: 260-pin edge connector
Nvidia Jetson Nano System-on-Module (SoM) dengan Quad-core ARM Cortex-A57 CPU dan 128 Core GPU

3. ICE Tower CPU Cooler Fan Kit untuk Jetson Nano

ICE Tower CPU Cooling Fan Kit (di kiri atas) menggantikan heatsink standar (berwarna hitam di kanan bawah)
PENTING: Jangan lupa melepaskan plastik pelindung bagian bawah sebelum ditempelkan di atas chip utama; penghantaran panas akan terhambat jika lapisan plastik ini tetap terpasang!
PENTING: Jangan lupa juga melepaskan plastik pelindung bagian atas sebelum memasang heatsink di atasnya; penghantaran panas akan terhambat jika lapisan plastik ini tetap terpasang!
PENTING: Sebelum sekrup dipasang posisi besi pengunci heatsink bagian tengah berada lebih rendah berada di bawah, keempat lubang posisi lebih tinggi berada di atas; posisi yang benar ini akan membantu heatsink terpasang dengan kuat
Setelah keempat sekrup dipasang, posisi besi penahan heatsink menjadi sejajar (datar)
Perhatikan bahwa thermal-pad (lapisan berwarna pink di bawah heatsink) tidak bergeser dan terpasang rata serta rapat
Proses pemasangan Nvidia Jetson Nano Module ke dalam slot-nya di Jetson Nano Developer Kit B01
setelah Nvidia Jetson Nano Module dipasang dengan baik (terdengar suara ‘klik’) kunci dengan menggunakan dua sekrup
Jangan lupa pasangkan konektor power untuk fan-nya (pastikan posisi nya tidak terbalik; kalau susah dipasangkan kemungkinan posisi nya terbalik, ada pengaman salah posisi)
Kondisi ICE Tower CPU Cooler Fan yang sudah terpasang dengan baik

4. Waveshare SIM7600G-H 2G/3G/LTE/4G GNSS GPS Module untuk Jetson Nano

Kit lengkap Waveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano
Waveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano (tampak atas)
Waveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano (tampak bawah)

Berikut ini fitur-fitur Waveshare SIM7600G-H 2G/3G/LTE/4G GNSS GPS Module:

  • 40PIN GPIO extension header for connecting Jetson Nano
  • Supports dial-up, telephone call, SMS, mail, TCP, UDP, DTMF, HTTP, FTP, etc.
  • Supports GPS, BeiDou, Glonass, LBS base station positioning
  • Onboard USB interface, to test AT Commands, get GPS positioning data, and so on
  • Breakout UART control pins, to connect with host boards like Arduino/STM32
  • SIM card slot, supports 1.8V/3V SIM card
  • Onboard 3.5mm audio jack with earphone and mic support, for making a telephone calls
  • 2x LED indicators, easy to monitor the working status
  • Onboard voltage translator, the operating voltage can be configured to 3.3V or 5V via jumper
  • Baudrate: 300bps ~ 4Mbps (default: 115200bps)
  • Autobauding baudrate: 9600bps ~ 115200bps
  • Control via AT commands (3GPP TS 27.007, 27.005, and V.25TER command set)
  • Supports SIM application toolkit: SAT Class 3, GSM 11.14 Release 99, USAT
  • Radio communication specs:
Pasangkan tiga spacer yang panjang di atas board dan empat buah yang pendek di bawah
Kemudian pasangkanWaveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano (jangan terlalu kencang memasang baut dan jangan terlalu rapat memasangkan extender GPIO)
Atur posisi sekrup dan extender GPIO hingga konektor USB dapat masuk dengan pas
Pasangkan antena GSM dan GPS melalui Pig Tail Antenna

5. IMX219-83 Stereo Camera (Binocular Camera)

Kamera ganda ini sangat cocok untuk pengembangan teknologi “depth vision” dan “stereo vision“.

IMX219-83 Stereo Camera (Binocular Camera) Module Kit

Berikut ini spesifikasi teknis Stereo Camera ini:

  • 8 Megapixels
  • Sensor: Sony IMX219
  • Resolution: 3280 × 2464 (per camera)
  • Lens specifications:
  • CMOS size: 1/4inch
  • Focal Length: 2.6mm
  • Angle of View: 83/73/50 degree (diagonal/horizontal/vertical)
  • Distortion: <1%
  • Baseline Length: 60mm

Modul kamera ini dilengkapi juga dengan sensor yang terintegrasi, yaitu: ICM20948 (Accelerometer, Gyroscope dan Magnetometer) dengan spesifikasi teknis sebagai berikut:

  • Accelerometer:
    • Resolution: 16-bit
    • Measuring Range (configurable): ±2, ±4, ±8, ±16g
    • Operating Current: 68.9uA
  • Gyroscope:
    • Resolution: 16-bit
    • Measuring Range (configurable): ±250, ±500, ±1000, ±2000°/sec
    • Operating Current: 1.23mA
  • Magnetometer:
    • Resolution: 16-bit
    • Measuring Range: ±4900μT
    • Operating Current: 90uA
    • Dimension: 24mm × 85mm

Referensi teknis ada di situs Waveshare berikut ini: https://www.waveshare.com/wiki/IMX219-83_Stereo_Camera

IMX219-83 Stereo Camera (Binocular Camera) dengan kabel-kabel terpasang
IMX219-83 Stereo Camera (Binocular Camera) dengan kabel terpasang ke Board
Pasangkan kabel-kabel I2C untuk akses ke sensor ICM20948

6. MicroSD SanDisk High Endurance Class-10 32GB

MicroSD SanDisk Class-10 32GB High Endurance

MicroSD ini sudah ter-install L4T (Linux-for-Tegra) yang berbasis Ubuntu (standar Nvidia, updated) dan sudah ter-install ‘driver‘ (libraries) dan ter-konfigurasi driver untuk modul-modul nya.

7. Dus-dus Original dan Buku-buku Panduan disertakan

Selamat mengeksplorasi Vision Intelligence …

[ danito – 20201106 ]