A gépi látásos felismerőrendszerek tervezésének felgyorsítása Renesas RZ/V2 sorozatú mikroprocesszorokkal

Mivel számos termékben egyre nélkülözhetetlenebbé válik a helyi eszközökkel végzett gépi látásos felismerés, egyre több felhasználási területre terjed ki a gépi tanulás (ML) és a mesterséges intelligencia (rövidítve AI vagy MI) használata. A fejlesztők azzal a problémával szembesülnek, hogy a gépi tanulásra és mesterséges intelligenciára épülő gépi látás több számítási teljesítményt igényelhet a felismerő algoritmusok futtatásához, mint amennyi a korlátozott energiaellátású eszközökben rendelkezésre áll. Ha drága hűtési megoldásokra van szükség, akkor az is növeli a költségeket.

A helyi eszközökön használt gépi tanulás és mesterséges intelligencia esetében a cél annak az optimális architektúrának a megtalálása, amely egyensúlyt teremt a teljesítmény és az áramellátás között, miközben egy erőteljes szoftveres ökoszisztémát is kínál az eszköz kifejlesztéséhez.

Ez a cikk ezeket a feltételeket szem előtt tartva a Renesas Electronics RZ/V2 sorozatú mikroprocesszorát (MPU) mutatja be, amely beépített mesterséges intelligenciás hardveres gyorsítóval (DRP-AI) van ellátva. Megvizsgálja, hogy a mikrovezérlő (MCU), illetve a csúcskategóriás grafikus feldolgozóegység vagy grafikus processzor (GPU) helyett hogyan oldhat meg egy mikroprocesszor számos olyan problémát, amellyel a tervezőknek szembe kell nézniük. Röviden ismerteti, hogyan lehet elkezdeni el a gépi látásos felismerésen alapuló rendszerek tervezését az RZ/V2 termékcsalád segítségével, valamint ad néhány tanácsot és ismertet pár trükköt, amelyek megkönnyítik a folyamatot.

Az RZ/V2 termékcsaládba tartozó mikroprocesszorok bemutatása

Az RZ/V2 termékcsalád egy olyan technika, amely egy hárommagos mikroprocesszort használva számos képességet nyit meg a fejlesztők számára. Az RZ/V2 termékcsaládba tartozó mikroprocesszorok két 1,2 GHz órajelen működő ARM Cortex-A55 processzort, valamint egy 200 MHz órajelen működő valós idejű mikrovezérlőmagot (ARM® Cortex®-M33) tartalmaznak. Emellett a termékcsaládot alkotó mikroprocesszorokban található még egy ARM Mali-G31 multimédiás processzorra épülő, NEON SIMD (egy utasítás – több adat) utasításokkal működő GPU is. Ez a három processzormagból és egy multimédiás processzorból álló kombináció kiválóan összehangolt megoldást jelent a gépi látásos felismerőrendszereken dolgozó fejlesztők számára.

Az RZ/V2 termékcsaládon belül jelenleg két mikroprocesszor-osztály van, az RZ/V2L és az RZ/V2M sorozat. Az RZ/V2L sorozat egy egyszerű képjelfeldolgozó processzort (ISP) és egy 3D grafikus motort, valamint rendkívül sokféle perifériaillesztőt tartalmaz. Az RZ/V2M egy nagy teljesítményű képjelfeldolgozó processzorral egészül ki, amely 4K felbontást tesz lehetővé 30 képkocka/másodperc (fps) képváltási sebesség mellett. Ez a cikk az RZ/V2L termékcsaládra összpontosít, amelyet az R9A07G054L23GBG és az R9A07G054L24GBG típus alkot. A két típus közötti fő különbség az, hogy az R9A07G054L23GBG 15 mm²-es 456-LFBGA, míg az R9A07G054L24GBG 21 mm²-es 551-LFBGA tokozásban kapható.

Az RZ/V2L sorozat felépítési blokkvázlata az 1. ábrán látható. A feldolgozást végző három processzormagon kívül a mikroprocesszorok a szabványos perifériákhoz – például DDR3/DDR4 memória, SPI, USB, Ethernet, I²C, CAN, SCI, GPIO – való illesztőfelületekkel is el vannak látva, és egy analóg-digitális átalakítót (ADC) is tartalmaznak. A termékek ezenfelül olyan biztonsági funkciókkal is büszkélkedhetnek, mint a biztonságos rendszerindítás, egy titkosítómotor és egy valódi véletlenszám-generátor (TRNG). A mikroprocesszor-sorozatot mindazonáltal a DRP-AI gyorsító (dinamikusan újrakonfigurálható processzoros mesterségesintelligencia-gyorsító) emeli versenytársai fölé.

1. ábra: Az RZ/V2L mikroprocesszor-sorozat különböző perifériaillesztő felületeket, biztonsági funkciókat és videojel-feldolgozási lehetőségeket támogat. A gépi látásos felismerőeszközök szempontjából leglényegesebb része a DRP-AI gyorsító (kép: Renesas Electronics Corporation)

A DRP-AI gyorsító, a titkos szósz

A DRP-AI gyorsító az a titkos szósz, amely lehetővé teszi, hogy az RZ/V2L sorozatú mikroprocesszorok gyorsan, kisebb fogyasztással és kisebb hőtermeléssel futtassák a gépi látásos felismerőalkalmazásokat. A DRP-AI két összetevőből áll: egy DRP (dinamikusan újrakonfigurálható processzor) és egy AI MAC (mesterséges intelligenciás többszöröző és tároló) egységből, amely az adatáramlás belső kapcsolókkal történő optimalizálásával hatékonyan képes feldolgozni a konvolúciós hálózatokban és a mindent ötvöző rétegekben előforduló műveleteket (2. ábra).

A DRP-AI hardver kifejezetten a mesterséges intelligencia általi következtetések végrehajtására szolgál. A DRP-AI a Renesas által kifejlesztett egyedülálló dinamikusan újrakonfigurálható processzoros technikát használja, amely rugalmasságot, nagy sebességű feldolgozást és energiatakarékosságot kínál. Ezenkívül a DRP-AI-fordító – egy ingyenes szoftvereszköz – lehetővé teszi a felhasználók számára, hogy optimalizált mesterséges intelligenciás modelleket alkossanak, amelyek gyorsan maximálisra növelik a teljesítményt. A DRP-AI-fordító által létrehozott több futtatható kimeneti modell külső memóriában helyezhető el. Az alkalmazás ezt követően futás közben képes dinamikusan váltani a több mesterséges intelligenciás modell között.

A DRP a hardver-összeállítás dinamikus változtatásával gyorsan képes feldolgozni az olyan összetett műveleteket, mint a kép-előfeldolgozás és a mesterséges intelligenciás modellek összevonó rétegei.

2. ábra: A DRP-AI egy dinamikusan újrakonfigurálható processzort (DRP) és egy mesterséges intelligenciás többszöröző és tárolót (AI-MAC) tartalmaz, amelyek együttesen az adatáramlás belső kapcsolókkal történő optimalizálásával képesek hatékonyan feldolgozni a konvolúciós hálózatokban és a mindent ötvöző rétegben előforduló műveleteket (kép: Renesas Electronics Corporation)

A DRP-AI-fordító

A DRP-AI-fordító eszköz mindenféle mesterséges intelligenciás keretrendszertől függetlenül a DRP-AI-ra optimalizált futtatható modelleket állít elő a betanított ONNX-modellekből. A fejlesztő használhatja például a PyTorchot, a TensorFlow-t vagy bármely más mesterséges intelligenciás modellező keretrendszert, ha az ONNX-modellt ad ki. A modellt a betanítás után be kell táplálni a DRP-AI-fordítóba, amely létrehozza a DRP és az AI-MAC egységen futtatható modelleket (3. ábra).

3. ábra: A mesterséges intelligenciás modellek betanítása valamilyen ONNX-kompatibilis keretrendszer segítségével történik. A modellt ezt követően be kell táplálni a DRP-AI-fordítóba, amely létrehozza a DRP és az AI-MAC egységen futtatható modelleket (kép: Renesas Electronics Corporation)

A DRP-AI-fordítónak három elsődleges célja van:

1. A mesterséges intelligenciás modell feldolgozásához szükséges műveletek ütemezése.
2. Az ütemezett műveletek átmenetei során felmerülő haszontalan (de elkerülhetetlen) velejárók – például a memória-hozzáférési idő – elrejtése.
3. A hálózati gráf szerkezetének optimalizálása.

A fordító a mesterséges intelligenciás modell minden egyes folyamatát automatikusan hozzárendeli az AI-MAC-hoz és a DRP-hez, így a felhasználó könnyen használhatja a DRP-AI-t anélkül, hogy hardveres szakértő lenne. Ehelyett a fejlesztő a mellékelt illesztőprogramon keresztül meghívhatja a nagy teljesítményű mesterséges intelligenciás modellt. Ezen túlmenően a DRP-AI-fordító folyamatosan frissíthető, hogy hardveres változtatások nélkül támogassa az újonnan kifejlesztett mesterséges intelligenciás modelleket.

A rendszer felhasználási módjai és folyamatai

Az RZ/V2L mikroprocesszorok gépi látásos felismerőalkalmazások betanítására és rendszerbe állítására való felhasználásának általános folyamatát a 4. ábra mutatja. A mérnökök a szokásos módon szerezhetik be az adathalmazukat, és felhasználhatják azt a gépi látásos felismerőmodelljük betanítására. Akár macskákat, akár bevásárlókocsiban lévő termékeket, akár valamilyen szerelőszalagon meghibásodó alkatrészeket kell azonosítani, a betanítási folyamat a már ismert mesterséges intelligenciás keretrendszerek segítségével történik. A modellt a betanítás után átalakítják ONNX formátumba, és betáplálják a DRP-AI-fordítóba, amely ezt követően a DRP-AI hardveren futtatható objektumkódot ad ki. A kamerákból, gyorsulásmérőkből vagy más érzékelőkből származó adatokat ezután mintavételezik, majd betáplálják a futtatható modellekbe, amelyek végül a következtetés futtatásának eredményét adják ki.

4. ábra: A gépi látásos felismerőalgoritmus betanításának és futtatásának folyamata az RZ/V2L mikroprocesszorok esetében (kép: Renesas Electronics Corporation)

A mérnökök többféleképpen is hasznosíthatják az RZ/V2L mikroprocesszorokat a készülékeikben (5. ábra). Először is az RZ/V2L mikroprocesszor használható önálló eszközökben, ahol az RZ/V2L az egyetlen processzor a rendszerben. A benne lévő három mag és a mesterségesintelligencia-gyorsító hardver mellett lehet, hogy nincs is szükség további számítási teljesítményre.

A második felhasználási mód az, amikor az RZ/V2L mikroprocesszort mesterségesintelligencia-processzorként használják egy nagyobb rendszerben. Ebben a felhasználási módban az RZ/V2L lefuttatja a mesterséges intelligenciás következtetéseket, és az eredményt visszaküldi egy másik processzornak vagy rendszernek, amely aztán ezen eredmény alapján végez megfelelő műveleteket. Az, hogy a tervező milyen felhasználási módot választ, számos tényezőtől függ, például a költségektől, a rendszer általános felépítésétől, a teljesítménytől és a valós idejű válaszadásra vonatkozó követelményektől.

5. ábra: Az RZ/V2L mikroprocesszorok két felhasználási módja: önállóan egy készülékben, vagy mesterségesintelligencia-processzorként egy nagyobb rendszerben (kép: Renesas Electronics Corporation)

Egy valós felhasználást bemutató példa

A gépi látásos felismerő technikának számos felhasználási módja van. Érdekes példát jelentenek erre a nagy élelmiszer-áruházak. Manapság, amikor egy élelmiszerboltban fizetünk, a bolti alkalmazott vagy a vásárló általában a kosárban lévő minden tételt beolvas. Érdekes felhasználási lehetőség lenne a futószalagon áthaladó termékek felismerése gépi látásos felismerés segítségével, és azok automatikus felvétele a számlára.

A prototípus elkészíthető egy egyszerű CMOS kamera és a Renesas RTK9754L23S01000BE fejlesztőkártyája (6. ábra) segítségével. Az RZ/V2L mikroprocesszort beágyazva tartalmazó fejlesztőkártyán található egy egykártyás rendszermodul (SOM) és egy hordozókártya, ami lehetővé teszi a fejlesztők számára a gyors üzembe helyezést. Ezenkívül a fejlesztőkártya támogatja a Linux rendszert, valamint különböző eszközöket, például a DRP-AI-fordítót.

6. ábra: Az RZ/V2L mikroprocesszort beágyazva tartalmazó fejlesztőkártyán található egy egykártyás rendszermodul (SOM) és egy hordozókártya, ami lehetővé teszi a fejlesztők számára a gyors üzembe helyezést (kép: Renesas Electronics Corporation)

A 7. ábrán egy működésáttekintés látható arról, hogy mi szükséges a képi adatok megszerzéséhez és a mesterséges intelligencia által előállított eredmény létrehozásához. Ebben a felhasználási példában a szállítószalagról CMOS érzékelővel készülnek képek a beépített képjelfeldolgozó processzoron (ISP) keresztül. Ezután a rendszer a memóriába menti a képet, majd betáplálja a DRP-AI-motorba. Végül a DRP-AI-motor lefuttatja a következtetést, és mesterséges intelligenciás eredményt ad. Az eredmény lehet például az, hogy egy banánt látunk a futószalagon, vagy egy almát, vagy valamilyen más gyümölcsöt.

Az eredményhez gyakran 0 és 1 közötti megbízhatósági szint is tartozik. Például a 0,90-os megbízhatóság azt jelenti: a mesterséges intelligencia biztos abban, hogy almát érzékelt. A 0,52-os megbízhatóság ellenben jelentheti azt, hogy a mesterséges intelligencia úgy gondolja, hogy ez egy alma, de nem biztos benne. Nem ritka, hogy a mesterséges intelligenciás eredményeket több mintára átlagolják, hogy növeljék a helyes eredmény esélyét.

7. ábra: Az RZ/V2L mikroprocesszort beágyazva tartalmazó fejlesztőkártya olyan mesterséges intelligenciás következtetések lefuttatására szolgál, amelyek felismerik a különböző gyümölcsöket a futószalagon. Az ábra a kép felvételéhez és a mesterséges intelligenciás eredmény előállításához szükséges lépéseket mutatja (kép: Renesas Electronics Corporation)

Végül ebben a példában egy téglalapot rajzol a rendszer a felismert objektum köré, és megjelenik a felismert objektum neve, valamint a felismerés megbízhatósági szintje (8. ábra).

8. ábra: Példa az RZ/V2L által adott eredményre egy olyan készülékben, amely a szállítószalagon lévő gyümölcsöket és zöldségeket ismeri fel (kép: Renesas Electronics Corporation)

Tanácsok és trükkök az RZ/V2L használatának megkezdéséhez

Azok a fejlesztők, akik a Renesas RZ/V2L mikroprocesszorokkal szeretnének belevágni a gépi tanulás megismerésébe, rengeteg olyan forrást találnak, amelyet felhasználhatnak az induláshoz. Az alábbiakban néhány olyan tanácsot és trükköt sorolunk fel, amelyeket érdemes szem előtt tartaniuk a fejlesztőknek, ha szeretnék leegyszerűsíteni és felgyorsítani a fejlesztést:

• Kezdje egy fejlesztőkártyával és a meglévő példákkal, hogy megismerje az eszköz kialakítását és használatát.
• Ha több következtetés végrehajtására van szükség, mentse a futtatható modelleket külső memóriába, és használja a DRP-AI képességeit a modellek közötti gyors váltásra.
• Nézze át a beágyazott mesterséges intelligenciás Renesas RZ/V mikroprocesszorok weblapján található dokumentációt és videókat.
• Töltse le a DRP-AI-fordítót.
• Töltse le az RZ/V2L DRP-AI-támogatócsomagot.

Az ezeket a tanácsokat és trükköket megfogadó fejlesztők sok időt megtakaríthatnak, és sokkal kevesebb keserűségben lesz részük már a kezdeti időszakban is.

Összegzés

A gépi tanulás és a mesterséges intelligencia egyre inkább bekerül számos helyi készülékbe is, és egyre fontosabbá válik a tárgyak valós időben történő felismerésének képessége. A tervezők számára azonban nehézséget jelent, hogy megtalálják azt a megfelelő architektúrát, amelynek segítségével mesterséges intelligenciát és gépi tanulást lehetne használni a helyi készülékeken. A GPU-k általában sokat fogyasztanak, míg a mikroprocesszorok nem rendelkeznek elegendő számítási teljesítménnyel.

Mint látható, a Renesas cég DRP-AI gyorsítóval kiegészített RZ/V mikroprocesszor-sorozata számos előnnyel rendelkezik, amilyen például a hardveresen gyorsított mesterséges intelligencia, valamint a jelentős eszközkészlet és a prototípuskészítés támogatása.