本公開(kāi)大體上涉及神經(jīng)網(wǎng)絡(luò)，并且更具體地涉及用于從經(jīng)修剪的神經(jīng)網(wǎng)絡(luò)中去除掩膜的技術(shù)。

背景技術(shù)：

1、“張量”是通常在線性代數(shù)應(yīng)用(例如機(jī)器學(xué)習(xí)和人工智能)中使用的數(shù)學(xué)構(gòu)造。標(biāo)量、向量和矩陣是張量的示例。神經(jīng)網(wǎng)絡(luò)通常包括一個(gè)或更多個(gè)張量，在神經(jīng)網(wǎng)絡(luò)的執(zhí)行期間對(duì)張量進(jìn)行處理以執(zhí)行一個(gè)或更多個(gè)操作。通過(guò)訓(xùn)練過(guò)程修改神經(jīng)網(wǎng)絡(luò)中包含的給定張量的值，以使神經(jīng)網(wǎng)絡(luò)的一個(gè)或更多個(gè)當(dāng)前輸出接近一個(gè)或更多個(gè)目標(biāo)輸出。訓(xùn)練完成后，神經(jīng)網(wǎng)絡(luò)中包含的部分或全部張量可能會(huì)很大。與大張量相關(guān)的操作通常無(wú)法快速執(zhí)行。因此，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)通常不適合用于實(shí)時(shí)、低延遲的應(yīng)用，例如自動(dòng)車(chē)輛控制等。

技術(shù)實(shí)現(xiàn)思路

1、在一個(gè)方面，描述了一種計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括：使得至少部分地基于第一神經(jīng)網(wǎng)絡(luò)部分的掩蔽輸出來(lái)生成所述第一神經(jīng)網(wǎng)絡(luò)部分的未掩蔽輸出，其中所述未掩蔽輸出的維數(shù)小于所述掩蔽輸出的維數(shù)；使得所述未掩蔽輸出替換所述掩蔽輸出；使得執(zhí)行分散操作以將所述未掩蔽輸出的維數(shù)擴(kuò)展為與所述掩蔽輸出相對(duì)應(yīng)的維數(shù)。

2、在另一個(gè)方面，描述了一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)。該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)程序指令，當(dāng)所述程序指令由至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器至少：使得至少部分地基于第一神經(jīng)網(wǎng)絡(luò)層的掩蔽輸出來(lái)生成所述第一神經(jīng)網(wǎng)絡(luò)層的未掩蔽輸出，其中所述未掩蔽輸出的維數(shù)不同于所述掩蔽輸出的維數(shù)；使得所述未掩蔽輸出替換所述掩蔽輸出；使得執(zhí)行第一操作以將所述未掩蔽輸出的維數(shù)縮放為與所述掩蔽輸出相對(duì)應(yīng)的維數(shù)。

3、在又一個(gè)方面，描述了一種系統(tǒng)。該系統(tǒng)包括：存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)一個(gè)或更多個(gè)指令；以及處理器，所述處理器執(zhí)行所述指令以至少：使得至少部分地基于第一神經(jīng)網(wǎng)絡(luò)層的掩蔽輸出來(lái)生成所述第一神經(jīng)網(wǎng)絡(luò)層的未掩蔽輸出，其中所述未掩蔽輸出的維數(shù)小于所述掩蔽輸出的維數(shù)，使得所述未掩蔽輸出替換所述掩蔽輸出，以及使得執(zhí)行分散操作以將所述未掩蔽輸出的維數(shù)擴(kuò)展為與所述掩蔽輸出相對(duì)應(yīng)的維數(shù)。

技術(shù)特征：

1.一種計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述未掩蔽輸出與第一張量相關(guān)聯(lián)，并且所述掩蔽輸出與第二張量相關(guān)聯(lián)。

3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中使得生成所述未掩蔽輸出包括：

4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述第一掩膜將所述第一張量的所述第一部分清零，并且其中基于所述第一張量來(lái)評(píng)估所述第一函數(shù)，以產(chǎn)生獨(dú)立于所述第一張量的所述第一部分的第一結(jié)果。

5.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述第二張量?jī)H包括所述第一張量的第二部分。

6.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中處理器基于所述第二張量評(píng)估所述第一函數(shù)的速度比所述處理器基于所述第一張量評(píng)估所述第一函數(shù)的速度更快。

7.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中，使得所述未掩蔽輸出替換所述掩蔽輸出包括：用所述第二張量替換所述第一張量，其中所述第二張量的維數(shù)小于所述第一張量的維數(shù)。

8.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中使得執(zhí)行所述分散操作包括：將一個(gè)或更多個(gè)零插入到所述未掩蔽輸出中。

9.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其存儲(chǔ)程序指令，當(dāng)所述程序指令由至少一個(gè)處理器執(zhí)行時(shí)，使得所述至少一個(gè)處理器至少：

10.一種系統(tǒng)，包括：

技術(shù)總結(jié)
本公開(kāi)涉及用于從經(jīng)修剪的神經(jīng)網(wǎng)絡(luò)中去除掩膜的技術(shù)。去掩蔽引擎從由節(jié)點(diǎn)圖表示的經(jīng)修剪的神經(jīng)網(wǎng)絡(luò)中去除掩膜。去掩蔽引擎分析與所述節(jié)點(diǎn)圖中的給定節(jié)點(diǎn)相關(guān)聯(lián)的張量和掩膜，以確定所述張量的被所述掩膜歸零的部分。然后，所述去掩蔽引擎從所述張量中去除這些部分，以生成密集張量，該密集張量的維數(shù)小于所述原始張量的維數(shù)。與所述原始張量相比，基于所述密集張量可以更快地評(píng)估與所述節(jié)點(diǎn)關(guān)聯(lián)的函數(shù)。所述去掩蔽引擎在所述節(jié)點(diǎn)之后添加分散操作，以便將密集張量的所述維數(shù)縮放為與所述原始張量相關(guān)聯(lián)的維數(shù)。

技術(shù)研發(fā)人員：E·O·V·法格霍爾姆,P·亞尼斯
受保護(hù)的技術(shù)使用者：輝達(dá)公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/6/26