Nagy AnitaSony gépek az Al feldolgozás funkcióval

Nagy Anita | 2020. Május 21., Csütörtök 09:00

A szenzor nagysebességű Al feldolgozást tesz lehetővé, és hozzájárul a felhőalapú optimális rendszerek felépítéséhez

A Sony Corporation bejelentette, hogy hamarosan kiadja az intelligens szenzor két modelljét, a világ első olyan képszenzorait, melyek mesterséges intelligencia (AI) által irányított feldolgozási funkcióval felszereltek. *1 A képszenzorba foglalt Al feldolgozási funkció lehetővé teszi a nagysebességű Al feldolgozást úgy, hogy csak a szükséges adatokat vonja ki, így a felhő szolgáltatásainak használatakor csökken az adatátvitel késleltetése, az energiafogyasztás és a kommunikációs költségek, valamint az adatátvitellel kapcsolatos aggályok.

 

*1  A képszenzorok között. A Sony kutatása alapján (a 2020. május 14-én kiadott közlemény időpontjában).

 

Az új termékek kibővítik a mesterséges intelligenciával felszerelt kamerák továbbfejlesztésének lehetőségeit, sokoldalú használati alternatívákat teremtenek a kiskereskedelmi- és ipari termékek iparában, és hozzájárulnak a felhő alapú optimális rendszerek felépítéséhez.

 

sony IMX500_501.jpg

 

A felhőhöz, ami általánossá teszi az információfeldolgozó rendszerek használatát – az IoT elterjedése eredményeként – számos különböző típusú eszköz kapcsolódik, az ezekből nyert információt az AI-n keresztül a felhőben dolgozzák fel. Az itt kezelt információ növekvő mennyisége különféle problémákat vet fel. Először is megnövekedett adatátviteli késleltetést, amely akadályozza a valós idejű információfeldolgozást; másodszor a felhasználók aggályait a személyazonosításra alkalmas adatok felhőben történő tárolásának biztonságosságával kapcsolatban; illetve egyéb problémás kérdéseket is, például a felhő szolgáltatásainak megnövekedett energiafogyasztását és az ezzel járó kommunikációs költségeket.

 

Az új szenzoros termékek – amelyek egy pixel chipből és logikai chipből állnak – halmozott konfigurációval rendelkeznek. Ezek a világ első olyan képszenzorai, amelyek a logikai chipen AI képanalízissel és feldolgozási funkcióval felszereltek. A pixel chip által a szenzoron keresztül megszerzett jelet az AI dolgozza fel, kiküszöbölve a nagy teljesítményű processzorok vagy a külső memória szükségességét, egyúttal lehetővé téve az AI rendszerek további fejlesztését. A szenzor a metaadatokat (a képadatokhoz tartozó szemantikai információkat) adja ki a képinformációk helyett, ezzel csökkentve az adatmennyiséget, és kezelve az adatvédelmi problémákat. Ezenfelül az AI képesség lehetővé teszi változatos funkciók biztosítását különféle alkalmazáshoz, például a valós idejű tárgykövetéshez nagysebességű AI feldolgozással. Különböző AI modellek választhatók ki a belső memória átírásával is, a felhasználói igények vagy a hely feltételei szerint, ahol a rendszer használva van.

 

Főbb jellemzők

A világ első képérzékelője, amely AI feldolgozási funkcióval rendelkezik

 

A háttérvilágítású pixel chip a látószög teljes terjedelmében hozzávetőleg 12.3 megapixel információ feldolgozására képes. Ezenfelül a hagyományos képszenzorok működési áramköre mellett a logikai chipet a mesterséges intelligencia által vezérelt jelfeldolgozásáért és memóriáért felelős Sony eredeti digitális jelprocesszorával (DSP) látták el. Ez a konfiguráció lehetővé teszi a nagy teljesítményű processzorok vagy a külső memória nélkülözését, ezáltal ideális a nagy teljesítményű, mesterséges rendszerekhez.

 

sony IVS_exploded_functions.jpg

  

 

Metaadat-kimenet

 

A pixel chip bejövő jelei egy képjelprocesszoron haladnak át, az AI feldolgozás pedig még a folyamat kezdeti fázisában végbemegy a logikai chipen, a kivont adatok pedig metaadat formájában lesznek elérhetők, így csökken a kezelt adat mennyisége. A képinformáció kiadásának elkerülésével csökkenthetők a biztonsági kockázatok és az adatvédelmi nehézségek. A hagyományos képszenzor által rögzített kép kapcsán a felhasználók igényeiknek megfelelően kiválaszthatják az adatkimeneti formátumot, beleértve az ISP formátumú képeket (YUV/RGB) és a ROI (Region of Interest) specifikus területi kivont képeket.

 

sony IVS_data output.jpg

 

Nagy sebességű AI feldolgozás

Hagyományos képszenzoros videófelvételnél minden esetben szükséges elküldeni az összes egyedi kimeneti képkeretet az AI feldolgozáshoz, ami megnövekedett adatforgalomhoz és nehezebb valós idejű teljesítményhez vezethet. A Sony új szenzorával ellátott termékek képesek ISP alapú feldolgozásra és nagysebességű AI feldolgozásra (3.1 ezredmásodperces feldolgozási sebesség MobileNet V12 használata esetén) egyaránt a logikai chipen, így az egész folyamat egyetlen videókeretben végrehajtható. Ez a különleges kialakítás nagy pontosságú valós idejű rögzítést tesz lehetővé videófelvétel esetén.

 

Választható AI modell

A felhasználók beírhatják a beágyazott memóriába saját AI modelljeiket, és újraírhatják vagy fejleszthetik azokat, hogy mindenképpen megfeleljenek a felvételi helyszín körülményeinek.

Például, ha több, ezt a terméket használó kamerát telepítenek kiskereskedelmi helyszínre, akkor egyetlen típusú kamera sokoldalúan használható különböző helyiségekben, körülmények között, időpontokban vagy célokra. Az üzlet bejáratánál kiállított termékkel így könnyedén lehet rögzíteni a látogatók számát, ha polcon rögzítjük, a termék képes érzékelni a készlethiányt, a plafonon elhelyezve pedig hőtérképpel lehet követni a boltban tartózkodó vásárlókat (és érzékelni azokat a helyeket, ahol sokan gyűlnek össze). Ezenfelül a kamerákban található AI modell újraírható a hőtérképtől kezdve a vásárlói viselkedés azonosításán át sok más egyéb funkcióig.

 

www.sony.hu

 

sony IVS_use cases.jpg

 

Főbb jellemzők

Modell név

IMX500 (chip önmagában)

IMX501 (csomagolt termék)

A tényleges képpontok száma

4056 (H) × 3040 (V), hozzávetőleg 12.3 megapixel

Képméret

Átlós 7.857 mm (1/2.3 type)

Cellaegység mérete

1.55 μm (H) × 1.55 μm (V)

Képfrissítés

Full pixel

60 fps

Videó

4K (4056 × 2288) 60 fps

1080p 240 fps

Teljes/video+AI feldolgozás

30fps

Metaadat kimenet

30fps

Érzékenység (F5.6 sztenderd érték)

Hozzávetőleg 250LSB

Az érzékelő telítettségének jelszintje (minimum érték)

Hozzávetőleg 9610e-

Tápegység

Analóg

2.7V

Digitális

0.84V

Felületi

1.8V

Főbb funkciók

AI feldolgozási funkció, ISP, HDR felvételi mód

Kimenet

MIPI D-PHY 1.2 (4 sávos) / SPI

Színszűrő tömb

Bayer tömb

Kimeneti formátum

Kép (Bayer RAW), ISP kimenet (YUV/RGB), ROI, metaadat

Csomag tartalma

-

Kerámia LGA

12,5 mm (H) × 15,0 mm (V)

Share |
top

A hozzászóláshoz kérjük jelentkezzen be, ha még nem regisztrált a regisztráció linken megteheti!

E-mail

Jelszó

Regisztráció | Elfelejtett jelszó

bottom




Impresszum
Betöltés: 0.101054 másodperc.