Hé! Transzformátor beszállítójaként nagyon sok kérdést kaptam arról, hogy miként használják a pozicionális kódolásokat egy transzformátorban. Szóval, azt hittem, szánok egy pillanatra, hogy lebontjam neked oly módon, hogy könnyen érthető.
Először beszéljünk arról, hogy mi a transzformátor. Ha olyan elektromos világban vagy, mint én, akkor a transzformátor egy olyan eszköz, amely elektromos energiát az elektromágneses indukció révén két vagy több áramkör között továbbítja. De a gépi tanulás összefüggésében a transzformátor egy olyan neurális hálózati architektúra típusú, amely nagyon jó a szekvenciális adatok, például a szöveg kezelésében. Bemutatták a "Figyelem mindenre szükséged" című cikkben, és azóta a természetes nyelvfeldolgozási feladatok kapocsává vált.
Most a pozicionális kódolások. A transzformátorban a bemeneti adatok általában tokenek sorozata, mint például a mondatban szereplő szavak. De itt van a helyzet: Maga a Transformer Architecture nincs beépítve - útján, hogy megértse e tokenek sorrendjét. Ellentétben néhány más neurális hálózati architektúrával, például a visszatérő neurális hálózatokkal (RNN -k), amelyek az adatokat egymás után feldolgozzák, a transzformátor egyidejűleg feldolgozza az összes tokent egyidejűleg. Itt jönnek be a pozicionális kódolások.
A pozicionális kódolások egy módja annak, hogy az egyes tokenek helyzetinformációit a sorrendben a modellbe injektálják. Ezeket hozzáadják a tokenek bemeneti beágyazásához. Az ötlet az, hogy a modell megértését adja annak, hogy az egyes token hol található a sorrendben.
A pozicionális kódolások előállításának egyik általános módja a szinusz- és koszinuszfunkciók használata. Az (I) szekvencia és dimenzió helyzetében lévő token helyzetének kódolását az alábbiak szerint számítják ki:
Egyenletes dimenziókhoz ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ bal (\ frac {pos} {10000^{\ frac {2k} {d_ {modell}}} \ jobbra))))))))))))
Furcsa dimenziókhoz ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ bal (\ frac {pos} {10000^{\ frac {2k} {d_ {modell}}}} \ jobbra))))))))))))))))))))
Itt (d_ {modell}) a modell beágyazásának dimenziója. Ennek a megközelítésnek számos előnye van. Először is lehetővé teszi a modell számára, hogy megtanulja a tokenek közötti relatív pozíciókat. Például a két token helyzeti kódolása közötti különbség csak relatív helyzetüktől függ, nem pedig a sorrend abszolút helyzetétől. Másodszor, számítási szempontból hatékony, és képes kezelni az önkényes hosszúságú szekvenciákat.
Szóval, hogyan használja a transzformátor ezeket a pozicionális kódolásokat? Nos, miután a pozicionális kódolások generálódtak, egyszerűen hozzáadják az elemet - bölcsek a token beágyazáshoz. Tehát, ha (e_ {pos}) a token helyzetének kódolása a (pos) és (t_ {pos}) helyzetben a token beágyazása, a transzformátor kódolójának vagy dekóderrétegének bemenete az adott tokenhez (i_ {pos} = t_ {pos}+e_ {pos}).
Miután a pozicionális információkkal ellátott bemenetet beillesztik a transzformátorba, az önmagának -mechanizmus megkezdődik. Az önálló figyelmeztetési mechanizmus lehetővé teszi a modell számára, hogy mérlegelje a különféle tokenek fontosságát a sorrendben az egyes token feldolgozásakor. A pozicionális kódolásokkal a modell nemcsak a tokenek szemantikai jelentését, hanem a sorrendben betöltött helyzetüket is figyelembe veheti.
Tegyük fel, hogy egy szöveges fordítási feladaton dolgozik. Pozíciós kódolások nélkül a modell küzdhet annak érdekében, hogy megértse a szavak helyes sorrendjét egy mondatban. Például angolul a "A kutya üldözi a macskát" mondat eltérő jelentése, mint a "A macska üldözi a kutyát". A pozicionális kódolások segítenek a modellnek megkülönböztetni e két különböző szekvenciát, és pontosabb fordításokat generálnak.
Az elektromos transzformátor üzletben különféle típusú transzformátorokkal is foglalkozunk, hogy kielégítsük a különféle igényeket. Például megvan a167 KVA telefonos pólus -transzformátor- Az ilyen típusú transzformátort úgy tervezték, hogy telefonos pólusokra telepítse, és alkalmas bizonyos alacsony feszültség -eloszlási alkalmazásokhoz.
Mi is felajánljuk20 kV háromfázisú olaj - merített eloszlási transzformátorok- Ezeket a transzformátorokat három fázisú energiarendszerben használják, és az olajba merítik a jobb szigetelés és hűtés érdekében. És ha valami alacsonyabb feszültségű besorolással keres valamit, a miénk10 kV -os olaj - merített eloszlási transzformátoroknagyszerű lehetőség. Ezeket széles körben használják a helyi disztribúciós hálózatokban.
Most, ha a transzformátorok piacán tartózkodik, függetlenül attól, hogy a gépi tanulási kutatáshoz vagy az elektromos infrastruktúrájához kapcsolódik, akkor itt vagyunk, hogy segítsünk. A magas színvonalú transzformátorok széles választéka közül választhatunk. Szakértői csoportunk segíthet abban, hogy kiválasztja a megfelelő transzformátort az Ön konkrét igényeihez. Ne habozzon kapcsolatba lépni egy konzultációra, és kezdjünk el egy beszélgetést az Ön igényeiről. Készen állunk arra, hogy veled dolgozzunk, hogy megtaláljuk a legjobb megoldásokat.
Hivatkozások:
- Vaswani, A., Shazer, N., Parmar, N., USzkoreit, J., Jones, L., Gomez, AN, ... és Polosukhin, I. (2017). A figyelem minden, amire szüksége van. Fejlődés a neurális információfeldolgozó rendszerekben,