bookmark_borderVision Intelligence dengan Jetson Nano

Kecerdasan Artifisial atau Artificial Intelligence (AI) yang melibatkan Pengolahan Citra (Image Processing) kini salah satunya berkembang menjadi Kecerdasan Pengelihatan (Vision Intelligence atau banyak juga yang menyebutnya sebagai Visual Intelligence).

Diantara beberapa Single Board Computer (SBC) atau ‘Mini-PC‘ yang tersedia di pasaran, ada yang dirancang khusus untuk keperluan Kecerdasan Artifisial ini, yaitu: Jetson Nano dari Nvidia.

Dengan penambahan kamera yang dirancang khusus untuk keperluan Stereo Vision maka fungsi Vision Intelligence ini dapat dikembangkan di Jetson Nano ini. Contohnya Binocular Camera Module dari Waveshare.

Perangkat keras dengan teknologi Vision Intelligence ini digunakan dalam salah satu drone hasil riset dan pengembangan di DroneHackers dengan penambahan SIM7600G-H 4G Module dari Waveshare untuk komunikasi data melalui internet (4G) dan navigasi-nya (GPS, BeiDou, Glonass dan LBS base station positioning).

Tulisan ini mengulas secara ringkas cara merakit atau memasangkan perangkat keras: Jetson Nano, Binocular Camera Module, SIM7600G-H 4G Module; termasuk mengganti heatsink bawaan (passive cooling) dengan ICE Tower CPU Cooler Fan (active cooling).

Untuk pembelian hardware-nya ini dapat di-klik tautan berikut: https://www.tokopedia.com/danito/jetson-nano-stereo-vision-camera-32gb-gsm-4g-gps-tower-cpu-cooling-fan

1. Jetson Nano Developer Board versi B01

Versi “B01” dari Jetson Nano Developer Board sudah mendukung penggunaan Stereo Camera (Binocular Camera). Hal ini dapat dilihat dari posisi konektor flat flex ribbon cable untuk kamera yang sudah sejajar; dua slot kabel pita yang berwarna hitam ini berada di posisi paling kiri berlabel-kan “CAM0” dan “CAM1” pada foto di bawah:

Jetson Nano Developer Board versi B01 (tampak atas)
Jetson Nano Developer Board versi B01 (tampak bawah)

2. Nvidia Jetson Nano Module (dengan 4GB RAM dan 16GB Internal Storage)

Nvidia Jetson Nano Module dengan 4GB RAM dan 16GB Internal Storage (tampak atas)
Nvidia Jetson Nano Module dengan 4GB RAM dan 16GB Internal Storage (tampak bawah)

Spesifikasi teknis Nvidia Jetson Nano Module adalah sebagai berikut:

  • GPU: NVIDIA Maxwell™ architecture with 128 NVIDIA CUDA® cores 0.5 TFLOPs (FP16)
  • CPU: Quad-core ARM® Cortex®-A57 MPCore processor
  • Memory: 4 GB 64-bit LPDDR4
  • 1600MHz – 25.6 GB/s
  • Storage: 16 GB eMMC 5.1 Flash
  • Video Encoder: 250 MP/sec
  • 1x 4K @ 30 (HEVC)
  • 2x 1080p @ 60 (HEVC)
  • 4x 1080p @ 30 (HEVC)
  • Video Decoder: 500 MP/sec
  • 1x 4K @ 60 (HEVC)
  • 2x 4K @ 30 (HEVC)
  • 4x 1080p @ 60 (HEVC)
  • 8x 1080p @ 30 (HEVC)
  • Camera: 12 lanes (3×4 or 4×2) MIPI CSI-2 D-PHY 1.1 (18 Gbps)
  • Connectivity: 10/100/1000 BASE-T Ethernet
  • Display: HDMI 2.0 or DP1.2 | eDP 1.4 | DSI (1 x2) 2 simultaneous
  • UPHY: 1 x1/2/4 PCIE, 1x USB 3.0, 3x USB 2.0
  • I/O: 3x UART, 2x SPI, 2x I2S, 4x I2C, GPIOs
  • Size: 69.6 mm x 45 mm
  • Mechanical: 260-pin edge connector
Nvidia Jetson Nano System-on-Module (SoM) dengan Quad-core ARM Cortex-A57 CPU dan 128 Core GPU

3. ICE Tower CPU Cooler Fan Kit untuk Jetson Nano

ICE Tower CPU Cooling Fan Kit (di kiri atas) menggantikan heatsink standar (berwarna hitam di kanan bawah)
PENTING: Jangan lupa melepaskan plastik pelindung bagian bawah sebelum ditempelkan di atas chip utama; penghantaran panas akan terhambat jika lapisan plastik ini tetap terpasang!
PENTING: Jangan lupa juga melepaskan plastik pelindung bagian atas sebelum memasang heatsink di atasnya; penghantaran panas akan terhambat jika lapisan plastik ini tetap terpasang!
PENTING: Sebelum sekrup dipasang posisi besi pengunci heatsink bagian tengah berada lebih rendah berada di bawah, keempat lubang posisi lebih tinggi berada di atas; posisi yang benar ini akan membantu heatsink terpasang dengan kuat
Setelah keempat sekrup dipasang, posisi besi penahan heatsink menjadi sejajar (datar)
Perhatikan bahwa thermal-pad (lapisan berwarna pink di bawah heatsink) tidak bergeser dan terpasang rata serta rapat
Proses pemasangan Nvidia Jetson Nano Module ke dalam slot-nya di Jetson Nano Developer Kit B01
setelah Nvidia Jetson Nano Module dipasang dengan baik (terdengar suara ‘klik’) kunci dengan menggunakan dua sekrup
Jangan lupa pasangkan konektor power untuk fan-nya (pastikan posisi nya tidak terbalik; kalau susah dipasangkan kemungkinan posisi nya terbalik, ada pengaman salah posisi)
Kondisi ICE Tower CPU Cooler Fan yang sudah terpasang dengan baik

4. Waveshare SIM7600G-H 2G/3G/LTE/4G GNSS GPS Module untuk Jetson Nano

Kit lengkap Waveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano
Waveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano (tampak atas)
Waveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano (tampak bawah)

Berikut ini fitur-fitur Waveshare SIM7600G-H 2G/3G/LTE/4G GNSS GPS Module:

  • 40PIN GPIO extension header for connecting Jetson Nano
  • Supports dial-up, telephone call, SMS, mail, TCP, UDP, DTMF, HTTP, FTP, etc.
  • Supports GPS, BeiDou, Glonass, LBS base station positioning
  • Onboard USB interface, to test AT Commands, get GPS positioning data, and so on
  • Breakout UART control pins, to connect with host boards like Arduino/STM32
  • SIM card slot, supports 1.8V/3V SIM card
  • Onboard 3.5mm audio jack with earphone and mic support, for making a telephone calls
  • 2x LED indicators, easy to monitor the working status
  • Onboard voltage translator, the operating voltage can be configured to 3.3V or 5V via jumper
  • Baudrate: 300bps ~ 4Mbps (default: 115200bps)
  • Autobauding baudrate: 9600bps ~ 115200bps
  • Control via AT commands (3GPP TS 27.007, 27.005, and V.25TER command set)
  • Supports SIM application toolkit: SAT Class 3, GSM 11.14 Release 99, USAT
  • Radio communication specs:
Pasangkan tiga spacer yang panjang di atas board dan empat buah yang pendek di bawah
Kemudian pasangkanWaveshare SIM7600G-H GSM 4G GPS Module untuk Jetson Nano (jangan terlalu kencang memasang baut dan jangan terlalu rapat memasangkan extender GPIO)
Atur posisi sekrup dan extender GPIO hingga konektor USB dapat masuk dengan pas
Pasangkan antena GSM dan GPS melalui Pig Tail Antenna

5. IMX219-83 Stereo Camera (Binocular Camera)

Kamera ganda ini sangat cocok untuk pengembangan teknologi “depth vision” dan “stereo vision“.

IMX219-83 Stereo Camera (Binocular Camera) Module Kit

Berikut ini spesifikasi teknis Stereo Camera ini:

  • 8 Megapixels
  • Sensor: Sony IMX219
  • Resolution: 3280 × 2464 (per camera)
  • Lens specifications:
  • CMOS size: 1/4inch
  • Focal Length: 2.6mm
  • Angle of View: 83/73/50 degree (diagonal/horizontal/vertical)
  • Distortion: <1%
  • Baseline Length: 60mm

Modul kamera ini dilengkapi juga dengan sensor yang terintegrasi, yaitu: ICM20948 (Accelerometer, Gyroscope dan Magnetometer) dengan spesifikasi teknis sebagai berikut:

  • Accelerometer:
    • Resolution: 16-bit
    • Measuring Range (configurable): ±2, ±4, ±8, ±16g
    • Operating Current: 68.9uA
  • Gyroscope:
    • Resolution: 16-bit
    • Measuring Range (configurable): ±250, ±500, ±1000, ±2000°/sec
    • Operating Current: 1.23mA
  • Magnetometer:
    • Resolution: 16-bit
    • Measuring Range: ±4900μT
    • Operating Current: 90uA
    • Dimension: 24mm × 85mm

Referensi teknis ada di situs Waveshare berikut ini: https://www.waveshare.com/wiki/IMX219-83_Stereo_Camera

IMX219-83 Stereo Camera (Binocular Camera) dengan kabel-kabel terpasang
IMX219-83 Stereo Camera (Binocular Camera) dengan kabel terpasang ke Board
Pasangkan kabel-kabel I2C untuk akses ke sensor ICM20948

6. MicroSD SanDisk High Endurance Class-10 32GB

MicroSD SanDisk Class-10 32GB High Endurance

MicroSD ini sudah ter-install L4T (Linux-for-Tegra) yang berbasis Ubuntu (standar Nvidia, updated) dan sudah ter-install ‘driver‘ (libraries) dan ter-konfigurasi driver untuk modul-modul nya.

7. Dus-dus Original dan Buku-buku Panduan disertakan

Selamat mengeksplorasi Vision Intelligence

danito – 20201106 ]

bookmark_borderRansel Pendingin Punggung

Di sebagian besar wilayah Indonesia, suhu udara saat bersepeda (berlari, berjalan-kaki jogging, hiking dan sejenisnya) di siang hari antara jam 10-an hingga jam 15-an dirasakan lumayan panas ditambah suhu badan yang meningkat akibat aktivitas mengayuh sepeda; cukup membuat gerah pesepeda.

Sudah lama saya memiliki ‘LifeHacks‘ (tips & tricks) untuk mengakali kegerahan disaat olahraga ini, yaitu dengan membawa Ransel Pendingin Punggung disaat berolahraga (khususnya bersepeda, berlari dan hiking).

LifeHacks sederhana ini pernah saya posting di akun media sosial saya pada 2 Oktober 2019:

Cara nya sederhana, yaitu dengan cara membekukan air yang ada di dalam kantung air (hydration bladder) pada ransel kantung air (hydratipn-pack / hydration bagpack). Cabut selang dari konektor kantung air, kemudian isi kantung air dengan air; sisakan sedikit (kira-kira 5%-nya) untuk udara, karena volume es lebih besar daripada volume air, sehingga ukuran air yang membeku akan sedikit mengembang.

Berikut ini foto kantung air yang sudah diisi air dan baru saja dimasukkan ke dalam freezer lemari es (terlihat suhu air masih berada di suhu ruangan / belum membeku).

foto termal dari air di dalam kantung air yang belum membeku di dalam freezer lemari es

Setelah air di dalam kantung air tersebut membeku (kira-kira 3 jam), untuk memasukkan selang air ke dalam konektor kantung air nya memerlukan trik khusus, karena air di dalam konektor sudah membeku dan menghalangi pergerakan masuknya selang dan pengunci selang pada konektor kantung air tidak bergerak. Cara nya dengan mengalirkan air hangat atau panas ke konektor selang pada kantung air hingga mengalir beberapa saat (sampai es pada bagian konektor mencair).

Setelah es pada bagian konektor mencari, kunci konektor selang pada kantung air akan mudah ditekan / digerakkan dan selang pun akan mudah dimasukkan.

Kemudian masukkan kantung air ke dalam ransel kantung air dengan rapi; pastikan selang sudah masuk dengan baik / cukup kuat (dicoba disedot dulu air nya dan pastikan tidak bocor di bagian konektor selang di kantung air nya).

dari foto termal ini terlihat air dingin sudah melewati selang karena disedot

Bisa kita lihat dari foto termal berikut ini bahwa udara di sekitar bagian depan tas lebih dingin dibanding udara di sekitar nya. Sehingga dapat membantu mendinginkan punggung orang yang menggendong ransel kantung air ini:

Bandingkan dengan foto biasa yang tidak terlihat perbedaan nya:

Dari hasil ujicoba beberapa kali, air beku sebanyak 2,5 liter di dalam kantung air ini akan habis dalam waktu 3 jam (tergantung frekuensi dan jumlah sedotan pengguna dalam meminum air nya).

Seiring waktu, air akan secara perlahan mencair dan mendinginkan udara di sekitar ransel kantung air (juga punggung pengguna) sehingga akan dapat dinikmati pengguna nya.

Suhu air yang diminum tidak langsung dingin, namun berangsur dari suhu yang terasa lebih hangat, kemudian dingin dan dingin sekali; karena air yang ada di dalam selang suhu nya lebih hangat dibanding dengan air yang masih ada di dalam kantung air.

Bagaimana Jika Bersepeda di Malam Hari atau di Musim Dingin?

Tentu saja di malah hari atau di musim dingin suhu yang diinginkan adalah suhu yang lebih hangat untuk menghangatkan badan. Sehingga air yang dimasukan ke dalam kantung air merupakan air yang hangat — campuran antara air dingin dan air panas — sekitar 50 derajat celcius (disesuaikan keperluan).

suhu 47 derajat celcius cukup untuk menghangatkan punggung dan hangat untuk diminum

Seperti yang saya lakukan saat bersepeda di musim dingin dari pusat kota Beijing hingga ke Changping di China:

Ayo bersepeda dan coba ransel pendingin / penghangat punggung nya …

danito – 20201105 ]

bookmark_borderMenelusuri Model Darktrace

Darktrace merupakan sebuah perusahaan yang mengembangkan kecerdasan buatan atau Artificial Intelligence untuk keamanan siber (Cyber AI) yang berpusat di Inggris, dan saat ini memiliki beberapa kantor cabang di kota-kota besar di negara lain.

Beberapa hari yang lalu Darktrace Japan melalui akun Twitter nya memposting foto iklan Darktrace yang ada di sebuah majalah:

Saya tidak memperhatikan keterangan di iklan itu, karena menggunakan bahasa Jepang; yang terperhatikan saat itu hanyalah: “perempuan tersenyum”, tulisan “DARKTRACE” dan “Cyber AI“.

Keesokan hari nya pada saat membaca majalah The Economist (edisi 10-16 Oktober 2020) ada iklan yang sama, namun dalam bahasa Inggris:

Source: The Economist (October 10th-16th 2020), Volume 437, Number 9215, Page 10

Malicious AI created her picture, yet she has never been seen by camera. It made her an online profile, yet she has never logged in. Malicious AI built her to attack you. Now it’s time for AI to fight back.

*) Darktrace advertisement on The Economist

Kali ini penasaran kian bertambah setelah membaca kalimat-kalimat pada iklan yang menjelaskan bahwa foto perempuan yang tersenyum itu (digunakan kata “she / her” / perempuan, bukan “he / him / his” / laki-laki) bukan lah orang yang ada di kehidupan nyata, melainkan dibuat oleh kecerdasan buatan yang disalahgunakan (Malicious AI).

Untuk menghilangkan rasa penasaran, saya coba mencari tahu jawaban (apakah benar foto perempuan itu dibuat menggunakan AI?) dengan menggunakan metoda OSINT (Open Source Intelligence) yang paling sederhana: Image Searching.

Saya ekstrak foto target yang ada pada iklan (diambil dari The Economist versi PDF):

Penyuntingan gambar / pengambilan foto target

Proses ekstrak foto nya cukup dengan ‘rotate‘ dan ‘crop‘ saja, resolusi foto sudah sangat baik.

Hasil ekstrak foto target

Kemudian saya cari foto target ini menggunakan tools: Google Images dengan parameter waktu dari tahun 2000 hingga 2015 (setelah dicoba: sebelum tahun 2000 tidak menghasilkan apa-apa).

Dari hasil pencarian sudah dapat dipastikan bahwa foto perempuan ini bukan hasil dari kecerdasan buatan, melainkan memang foto dari orang yang ada di kehidupan nyata.

Setidaknya sudah dari tahun 2008 foto ini digunakan untuk iklan yang berhubungan dengan kesehatan gigi. Banyak juga digunakan di promosi penjualan produk pemutih gigi.

Dari hasil pencarian lanjutan, pada 14 Agustus 2011 John Sommer meng-upload foto yang sama (dan beberapa foto pose lain dari orang yang sama) ke iStockPhoto:

Jadi “salah satu” (“one“) yang dimaksud dari penyataan “one of these people doesn’t exist” di iklan Darktrace ini seharusnya bukan ditujukan kepada foto yang perempuan, melainkan kepada foto yang laki-laki (menggunakan “he / his / him” / laki-laki, bukan “she / her” / perempuan). Sehingga kalimat yang tepat-nya menjadi:

” Malicious AI created his picture, yet he has never been seen by camera. It made him an online profile, yet he has never logged in. Malicious AI built him to attack you. Now it’s time for AI to fight back. “

Who am I ?

Kalau masih penasaran dengan foto ‘manusia’ hasil generate AI, bisa dilihat beberapa contoh-nya di sini: https://thispersondoesnotexist.com/

Bagaimana cara ‘membuat’-nya? Bisa dilihat di sini: https://github.com/NVlabs/stylegan2

[ danito – 20201015 ]