TinyML 或優(yōu)化機(jī)器學(xué)習(xí) (ML) 模型以在資源受限的設(shè)備上運(yùn)行，是 ML 發(fā)展最快的子領(lǐng)域之一。為了實(shí)現(xiàn) TinyML(或有時(shí)稱(chēng)為 TinyAI)所需的這種超低功耗、高性能計(jì)算，工程師們探索了許多令人興奮的新技術(shù)。

　　利用這一趨勢(shì)，以色列公司 Polyn 上周宣布其 最新的神經(jīng)形態(tài)模擬信號(hào)處理器 TinyML/TinyAI 處理器 已成功封裝和評(píng)估。

　　在本文中，我們將了解 Polyn 提供的技術(shù)，以了解它可能對(duì)整個(gè) TinyML 產(chǎn)生的影響。

　　人工智能的神經(jīng)形態(tài)計(jì)算

　　在追求更低功耗、更高性能的人工智能計(jì)算硬件的過(guò)程中，令人興奮的新興技術(shù)之一是 神經(jīng)形態(tài)計(jì)算 。

　　神經(jīng)形態(tài)計(jì)算的概念是，人腦是人類(lèi)已知的最節(jié)能的計(jì)算設(shè)備。在嘗試運(yùn)行 AI 應(yīng)用程序時(shí)，創(chuàng)建盡可能模擬大腦生物過(guò)程的計(jì)算硬件將是有利的。雖然這聽(tīng)起來(lái)是一項(xiàng)艱巨的任務(wù)，但工程師可以通過(guò)硬件和軟件的結(jié)合來(lái)嘗試這種娛樂(lè)方式。

　　從硬件的角度來(lái)看，神經(jīng)形態(tài)芯片試圖通過(guò)充當(dāng)神經(jīng)元、軸突的電路元件以及它們之間的加權(quán)連接來(lái)模仿大腦。

　　為了進(jìn)一步模擬大腦，該硬件通常通過(guò)模擬電路實(shí)現(xiàn)，這也有助于提高性能和電源效率。然后，神經(jīng)形態(tài)計(jì)算依賴(lài)于專(zhuān)門(mén)的 神經(jīng)網(wǎng)絡(luò) ，例如尖峰神經(jīng)網(wǎng)絡(luò)和電信號(hào)調(diào)制來(lái)模擬大腦信號(hào)的變化。

　　有了這個(gè)基本的了解，我們來(lái)看看 Polyn 的新技術(shù)。

　　Polyn 的 NeuroSense 和 NASP 技術(shù)

　　本周，Polyn 宣布其專(zhuān)有的名為 NeuroSense 的神經(jīng)形態(tài)計(jì)算芯片已首次被封裝和評(píng)估，這受到高度關(guān)注。NASP 技術(shù)被稱(chēng)為其 神經(jīng)形態(tài)模擬信號(hào)處理器 (NASP) 技術(shù)，旨在成為實(shí)時(shí)邊緣傳感器信號(hào)處理器。

　　根據(jù) Polyn 的說(shuō)法，他們的技術(shù)利用了一個(gè)獨(dú)特的平臺(tái)，該平臺(tái)將經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)作為輸入，并使用數(shù)學(xué)建模將網(wǎng)絡(luò)合成為真正的神經(jīng)形態(tài)芯片。它的 NASP 芯片使用模擬電路，其中神經(jīng)元使用運(yùn)算放大器實(shí)現(xiàn)，而軸突則由薄膜電阻器實(shí)現(xiàn)。

　　他們聲稱(chēng)其平臺(tái)生產(chǎn)的合成芯片已經(jīng)完全布局并準(zhǔn)備好制造。

　　這種新封裝和評(píng)估的 NeurorSense 芯片采用 55 nm CMOS 技術(shù)實(shí)現(xiàn)。此外，據(jù)說(shuō)它充當(dāng)邊緣信號(hào)傳感器，能夠使用神經(jīng)形態(tài)計(jì)算處理原始傳感器數(shù)據(jù)，而無(wú)需對(duì)模擬信號(hào)進(jìn)行任何數(shù)字化。

　　出于這個(gè)原因，該公司將其稱(chēng)為第一款無(wú)需模數(shù)轉(zhuǎn)換器 (ADC) 即可直接在傳感器旁邊使用的神經(jīng)形態(tài)模擬 TinyML 芯片。

　　雖然許多技術(shù)規(guī)格尚不清楚，但據(jù)稱(chēng)，對(duì)于始終在線(xiàn)的應(yīng)用，Polyn 的 NASP 提供 100 uW 的功耗，具有傳統(tǒng)算法的“兩倍精度”。

　　將 TinyML 芯片帶入未來(lái)

　　目前，Polyn 對(duì)其發(fā)展感到鼓舞，稱(chēng)其芯片的成功封裝和評(píng)估驗(yàn)證了其技術(shù)和整個(gè) NASP 系統(tǒng)。未來(lái)，Polyn 表示，它希望在 2023 年第一季度向客戶(hù)提供該芯片，作為一種集成了光電體積描記術(shù) (PPG) 和慣性測(cè)量單元 (IMU) 傳感器的可穿戴設(shè)備。

　　用于近傳感器 Tiny-AI 的 NASP 技術(shù)

　　按照Polyn所說(shuō)，許多應(yīng)用程序可以從 AI 中受益，尤其是從神經(jīng)網(wǎng)絡(luò)范式中受益，但這種強(qiáng)大的數(shù)學(xué)方法的實(shí)際實(shí)現(xiàn)在以傳統(tǒng)方式在標(biāo)準(zhǔn) CPU 或 GPU 上執(zhí)行時(shí)會(huì)出現(xiàn)過(guò)多的功耗。如果應(yīng)用程序使用大量數(shù)據(jù)，并且經(jīng)常訪(fǎng)問(wèn)內(nèi)存，則會(huì)導(dǎo)致馮諾依曼架構(gòu)出現(xiàn)瓶頸。對(duì)于具有連續(xù)信號(hào)流的情況，專(zhuān)用處理器效率更高。

　　一個(gè)很好的例子是具有心率 (HR) 跟蹤和人體活動(dòng)識(shí)別 (HAR) 的可穿戴設(shè)備，其中 PPG/IMU 傳感器不斷生成數(shù)據(jù)，其處理會(huì)消耗大量電池電量。

　　對(duì)于執(zhí)行真正始終在線(xiàn)測(cè)量的設(shè)備，神經(jīng)形態(tài)模擬信號(hào)處理 (NASP) 是一個(gè)理想的解決方案，與傳統(tǒng)算法相比，它具有 100uW 的超低功耗和兩倍的精度。提高的精度還可以簡(jiǎn)化整個(gè)系統(tǒng)，并降低相關(guān)成本。

　　另一個(gè)耗電的應(yīng)用是預(yù)測(cè)性維護(hù) (PDM) 傳感器節(jié)點(diǎn)。工業(yè)物聯(lián)網(wǎng) (IIoT) 利用物聯(lián)網(wǎng)設(shè)備和傳感器來(lái)監(jiān)控機(jī)器和環(huán)境，以確保設(shè)備和流程的最佳性能。PDM 監(jiān)控機(jī)器的健康狀況以識(shí)別(也稱(chēng)為預(yù)測(cè))組件的可能故障是最近受到很多關(guān)注的物聯(lián)網(wǎng)技術(shù)。為了實(shí)現(xiàn)有效的 PDM，需要通過(guò)機(jī)器學(xué)習(xí) (ML) 算法收集、處理和分析大量數(shù)據(jù)。如果所有這些數(shù)據(jù)都必須發(fā)送到一個(gè)中心進(jìn)行分析，那么數(shù)據(jù)通信和處理將比它的價(jià)值更麻煩。傳感器數(shù)據(jù)預(yù)處理可以顯著減少發(fā)送到云端的數(shù)據(jù)量，節(jié)省資金并改善延遲。

　　NASP 解決了所有這些情況，以及直接在傳感器上對(duì)原始數(shù)據(jù)進(jìn)行智能優(yōu)化(預(yù)處理)的許多其他用途。它不僅可以解決現(xiàn)有應(yīng)用程序的問(wèn)題，還可以為整個(gè)行業(yè)開(kāi)辟新的機(jī)遇。

　　傳感器數(shù)據(jù)優(yōu)化

　　NASP 是一個(gè)真正的 Tiny AI 解決方案，旨在優(yōu)化原始數(shù)據(jù)并減少 CPU 負(fù)載和轉(zhuǎn)發(fā)到云的數(shù)據(jù)量。NASP 芯片位于傳感器旁邊，形成 Tiny AI 邏輯層。它是一種推理解決方案，使用已經(jīng)訓(xùn)練好的機(jī)器學(xué)習(xí)模型進(jìn)行預(yù)測(cè)。

　　在 NASP 概念中，數(shù)據(jù)處理芯片是由 NASP 自動(dòng)化工具從已經(jīng)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)中合成的。

　　基于 POLYN 多年的專(zhuān)業(yè)知識(shí)，“僅推理”方法對(duì)于語(yǔ)音提取、聲音/振動(dòng)處理、可穿戴設(shè)備測(cè)量等應(yīng)用非常有效。它在功率、準(zhǔn)確性和延遲方面提供了巨大的優(yōu)勢(shì)。

　　NASP 背后的神經(jīng)科學(xué)

　　神經(jīng)網(wǎng)絡(luò)計(jì)算的主要優(yōu)點(diǎn)是并行操作。最大的優(yōu)勢(shì)是神經(jīng)形態(tài)計(jì)算，特別是通過(guò)硬件和軟件設(shè)計(jì)實(shí)現(xiàn)最大并行性，努力模仿人腦并實(shí)現(xiàn)其計(jì)算到功耗的功效。除了低功耗和提高計(jì)算工作負(fù)載的性能外，神經(jīng)網(wǎng)絡(luò)還提供容錯(cuò)能力，這意味著如果傳感器數(shù)據(jù)不一致，系統(tǒng)仍然可以產(chǎn)生結(jié)果。

　　同時(shí)進(jìn)入 NASP 芯片輸入層的所有傳感器信號(hào)被并行傳輸?shù)胶罄m(xù)層。沒(méi)有執(zhí)行周期，也沒(méi)有指向/來(lái)自?xún)?nèi)存的指令。

　　人腦不僅是一個(gè)超低功耗的并行操作系統(tǒng)，還是一個(gè)模擬系統(tǒng)，處理各種信號(hào)而不需要將它們轉(zhuǎn)換成二進(jìn)制格式。對(duì)于信號(hào)感知等任務(wù)，模擬系統(tǒng)更可取。據(jù)半導(dǎo)體研究公司稱(chēng)，預(yù)計(jì)未來(lái)十年將出現(xiàn)大量模擬信號(hào)，這需要硬件方面的根本性突破，以產(chǎn)生更智能的世界機(jī)器接口。

　　NASP 正是這些突破之一，旨在感知模擬信號(hào)和數(shù)字信號(hào)，最重要的是，為各種傳感器增加“智能”。

　　NASP 芯片包含人工神經(jīng)元(執(zhí)行計(jì)算的節(jié)點(diǎn))和使用電路元件實(shí)現(xiàn)的軸突(節(jié)點(diǎn)之間的權(quán)重連接)：神經(jīng)元使用運(yùn)算放大器實(shí)現(xiàn)，軸突使用薄膜電阻器實(shí)現(xiàn)。

　　NASP芯片設(shè)計(jì)體現(xiàn)了稀疏神經(jīng)網(wǎng)絡(luò)的方法，只有推理所需的神經(jīng)元之間的必要連接，這意味著該解決方案顯著有效地減少了神經(jīng)連接。與每個(gè)神經(jīng)元連接到每個(gè)相鄰神經(jīng)元的內(nèi)存設(shè)計(jì)相比，NASP 方法簡(jiǎn)化了芯片布局。這種設(shè)計(jì)特別適用于連接非常稀疏的卷積神經(jīng)網(wǎng)絡(luò) ( CNN)，以及 RNN、Transformers和Autoencoders 。

　　對(duì)芯片設(shè)計(jì)進(jìn)行神經(jīng)網(wǎng)絡(luò)調(diào)整是每個(gè)片上神經(jīng)網(wǎng)絡(luò)解決方案的重要組成部分。當(dāng)今市場(chǎng)上可用的可編程解決方案具有架構(gòu)限制，會(huì)對(duì)神經(jīng)網(wǎng)絡(luò)施加額外的轉(zhuǎn)換。有時(shí)，原始神經(jīng)網(wǎng)絡(luò)在移植過(guò)程中會(huì)經(jīng)歷幾乎 100% 的轉(zhuǎn)換，這是一種代價(jià)高昂的方法。

　　為了解決這個(gè)問(wèn)題，NASP 模型包括芯片設(shè)計(jì)自動(dòng)化工具，即 POLYN 的 T 編譯器和綜合工具，可將任何經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換為最佳數(shù)學(xué)模型，以進(jìn)一步生成芯片布局，同時(shí)完全符合 POLYN 的客戶(hù)神經(jīng)網(wǎng)絡(luò)，并節(jié)省相關(guān)的努力和成本。

　　出于多種原因，如果沒(méi)有模擬計(jì)算的復(fù)興，該行業(yè)將接受的數(shù)字化轉(zhuǎn)型將是不可能的。

　　一是節(jié)能理念。過(guò)多的功耗與感官系統(tǒng)中的數(shù)據(jù)計(jì)算不兼容。

　　下一個(gè)趨勢(shì)是人工智能越來(lái)越向邊緣移動(dòng)，并在今天應(yīng)用于傳感器節(jié)點(diǎn)。需要優(yōu)化數(shù)十億物聯(lián)網(wǎng)設(shè)備之間的通信，并從云端卸載數(shù)據(jù)處理，從而提高 TCO 和效率。

　　與擅長(zhǎng)處理復(fù)雜信息并隨時(shí)間動(dòng)態(tài)變化的人腦一樣，神經(jīng)形態(tài)模擬信號(hào)處理器擅長(zhǎng)實(shí)時(shí)計(jì)算，從而有助于數(shù)字和模擬技術(shù)世界的有益嚙合。