Funktsioon pipeline() on Transformeri teegi lahutamatu osa. See nõuab mitut sisendit, milles saame määratleda järeldusülesande, mudelid, märgistamismehhanismi jne. Funktsiooni pipeline() kasutatakse peamiselt NLP-ülesannete täitmiseks ühel või mitmel tekstil. See teostab mudeli põhjal sisendi eel- ja järeltöötlust, et genereerida inimesele loetav väljund ja täpne ennustus maksimaalse täpsusega.
See artikkel hõlmab järgmisi aspekte.
- Mis on kallistava näo andmekogumite teek?
- Kuidas rakendada andmestikule torujuhtmeid kallistavas näos?
Mis on kallistava näo andmekogumi teek?
Hugging Face andmestiku teek on API, mis sisaldab mitut avalikku andmekogumit ja pakub lihtsat viisi nende allalaadimiseks. Seda teeki saab importida ja rakendusse installida, kasutades ' pip ” käsk. Hugging Face teegi andmekogumite allalaadimise ja installimise praktiliseks tutvustuseks külastage seda Google Colabi link. Saate saidilt alla laadida mitu andmestikku Kallistava näo andmekogumi keskus.
Lisateavet pipeline() funktsiooni toimimise kohta leiate sellest artiklist ' Kuidas kasutada trafodes torujuhtme() funktsiooni? ”.
Kuidas rakendada andmestikule torujuhtmeid kallistavas näos?
Hugging Face pakub mitmeid erinevaid avalikke andmekogumeid, mida saab hõlpsasti installida üherealise koodi abil. Selles artiklis näeme praktilist näidet torujuhtmete rakendamisest nendele andmekogumitele. Andmekogus saab torujuhtmeid rakendada kahel viisil.
1. meetod: iteratsioonimeetodi kasutamine
Funktsiooni pipeline() saab itereerida ka andmekogumis ja mudelis. Sel eesmärgil järgige alltoodud samme.
1. samm: installige Transformeri raamatukogu
Transformeri teegi installimiseks esitage järgmine käsk:
!pip install trafod
2. samm: importige torujuhtmeid
Konveieri saame importida Transformeri teegist. Selleks andke järgmine käsk:
trafode imporditorustikust 
3. samm: rakendage torujuhe
Siin rakendatakse funktsioon pipeline() mudelile ' gpt2 ”. Mudeleid saate alla laadida saidilt Kallistavate näomudelite keskus:
def imp_pipeline():x jaoks vahemikus (1000):
tootlus f'Juurutusandmekogum{x}'
gener_pipeline= torujuhe(mudel='gpt2', seade=0)
gen_char= 0
väljundiks gener_pipeline(imp_pipeline()):
gen_char += len(väljund[0]['genereeritud_tekst'])
Selles koodis on ' gener_pipeline ” on muutuja, mis sisaldab pipeline() funktsiooni mudeliga „ gpt2 ”. Kui seda nimetatakse ' imp_pipeline() ” funktsioon tuvastab automaatselt andmed, mida suurendatakse 1000-ni määratud vahemikus:
Selle treenimine võtab veidi aega. Link aadressile Google Co antakse ka.
2. meetod: andmekogumite teegi kasutamine
Selle meetodi puhul demonstreerime torujuhtme rakendamist teegi 'andmekogumite' abil:
1. samm: installige transformer
Transformeri teegi installimiseks esitage järgmine käsk:
!pip install trafod 
2. samm: installige andmekogumi raamatukogu
Nagu ' andmestikud ” teek sisaldab kõiki avalikke andmekogumeid, saame selle installida järgmise käsu abil. Installides ' andmestikud ” teeki, saame otse importida mis tahes andmestiku, esitades selle nime:
!pip installi andmestikud 
3. samm: andmekogumi torujuhe
Andmestikule torujuhtme ehitamiseks kasutage järgmist koodi. KeyDataset on funktsioon, mis väljastab ainult need väärtused, mis kasutajat huvitavad:
allikast transformers.pipelines.pt_utils importige KeyDatasettrafode imporditorustikust
andmekogumitest import load_dataset
gen_pipeline = torujuhe (mudel = 'hf-internal-testing/tiny-random-wav2vec2', seade = 0)
loaddataset = load_dataset('hf-internal-testing/librispeech_asr_dummy', 'clean', split='validation[:10]') väljundiks gen_pipeline(KeyDataset(loaddataset, 'audio')):
print('Prindiväljund kohe')
print ('-----------------')
print (väljund)
Ülaltoodud koodi väljund on toodud allpool:
See on kõik sellest juhendist. Link aadressile Google Co on mainitud ka selles artiklis
Järeldus
Andmestikule konveierite rakendamiseks saame kas itereerida andmestiku üle, kasutades pipeline() funktsiooni või kasutada ' andmestikud ” raamatukogu. Hugging Face pakub oma kasutajatele GitHubi hoidla linki nii andmekogumite kui ka mudelite jaoks, mida saab vastavalt nõuetele kasutada. See artikkel on andnud põhjaliku juhendi torujuhtmete rakendamiseks Transformersi andmestikule.