Kiire ülevaade
See postitus sisaldab järgmisi jaotisi:
- Async API agenti kasutamine LangChainis
- 1. meetod: jadakäivituse kasutamine
- 2. meetod: samaaegse täitmise kasutamine
- Järeldus
Kuidas kasutada LangChainis Async API agenti?
Vestlusmudelid täidavad korraga mitut ülesannet, näiteks mõistavad viipa struktuuri, selle keerukust, hankivad teavet ja palju muud. Async API agendi kasutamine LangChainis võimaldab kasutajal luua tõhusaid vestlusmudeleid, mis suudavad vastata korraga mitmele küsimusele. Async API agendi kasutamise protsessi õppimiseks LangChainis järgige lihtsalt seda juhendit.
1. samm: raamistike installimine
Kõigepealt installige LangChaini raamistik, et saada selle sõltuvused Pythoni paketihaldurist:
pip install langchain
Pärast seda installige OpenAI moodul, et luua keelemudel nagu llm ja määrata selle keskkond:
pip install openai
2. samm: OpenAI keskkond
Järgmine samm pärast moodulite paigaldamist on keskkonna seadistamine kasutades OpenAI API-võtit ja Serperi API Google'ist andmete otsimiseks:
importida sina
importida saada pass
sina . umbes [ 'OPENAI_API_KEY' ] = saada pass . saada pass ( 'OpenAI API võti:' )
sina . umbes [ 'SERPER_API_KEY' ] = saada pass . saada pass ( 'Serperi API võti:' )
3. samm: teekide importimine
Nüüd, kui keskkond on seadistatud, importige lihtsalt vajalikud teegid, nagu asyncio ja muud teegid, kasutades LangChaini sõltuvusi:
alates langchain. agendid importida initsialiseeri_agent , load_toolsimportida aega
importida asyncio
alates langchain. agendid importida Agendi tüüp
alates langchain. llms importida OpenAI
alates langchain. tagasihelistamised . stdout importida StdOutCallbackHandler
alates langchain. tagasihelistamised . jäljendid importida LangChainTracer
alates aiohttp importida ClientSession
4. samm: seadistusküsimused
Määrake küsimuste andmekogum, mis sisaldab mitut päringut, mis on seotud erinevate domeenide või teemadega, mida saab Internetist otsida (Google):
küsimused = ['Kes on 2021. aasta USA lahtiste meistrivõistluste võitja?' ,
'Kui vana on Olivia Wilde'i poiss' ,
'Kes on vormel 1 maailmameistritiitli võitja' ,
'Kes võitis US Openi naiste finaali 2021. aastal' ,
'Kes on Beyonce abikaasa ja kui vanus on ta' ,
]
1. meetod: jadakäivituse kasutamine
Kui kõik sammud on lõpule viidud, täitke lihtsalt küsimused, et saada kõik vastused jadakäituse abil. See tähendab, et üks küsimus täidetakse/kuvatakse korraga ja tagastatakse ka kogu aeg, mis kulub nende küsimuste täitmiseks:
llm = OpenAI ( temperatuuri = 0 )tööriistad = load_tools ( [ 'google-päis' , 'llm-matemaatika' ] , llm = llm )
agent = initsialiseeri_agent (
tööriistad , llm , agent = Agendi tüüp. ZERO_SHOT_REACT_DESCRIPTION , paljusõnaline = Tõsi
)
s = aega . perf_counter ( )
#ajaloenduri seadistamine, et saada kogu protsessi jaoks kasutatud aeg
jaoks q sisse küsimused:
agent. jooksma ( q )
möödunud = aega . perf_counter ( ) - s
#printige kokku aeg, mida agent vastuste saamiseks kulutas
printida ( f 'Seeria käivitati {elapsed:0.2f} sekundiga.' )
Väljund
Järgmisel ekraanipildil on näha, et igale küsimusele vastatakse eraldi ahelas ja kui esimene ahel on lõppenud, muutub teine ahel aktiivseks. Seeriakäitamine võtab rohkem aega, et saada kõik vastused eraldi:
2. meetod: samaaegse täitmise kasutamine
Samaaegse täitmise meetod võtab kõik küsimused ja saab neile vastused üheaegselt.
llm = OpenAI ( temperatuuri = 0 )tööriistad = load_tools ( [ 'google-päis' , 'llm-matemaatika' ] , llm = llm )
#Agendi konfigureerimine ülaltoodud tööriistade abil vastuste samaaegseks saamiseks
agent = initsialiseeri_agent (
tööriistad , llm , agent = Agendi tüüp. ZERO_SHOT_REACT_DESCRIPTION , paljusõnaline = Tõsi
)
#ajaloenduri seadistamine, et saada kogu protsessi jaoks kasutatud aeg
s = aega . perf_counter ( )
ülesandeid = [ agent. haigus ( q ) jaoks q sisse küsimused ]
oota asyncio. kogunema ( *ülesanded )
möödunud = aega . perf_counter ( ) - s
#printige kokku aeg, mida agent vastuste saamiseks kulutas
printida ( f 'Samaaegne käivitamine {elapsed:0.2f} sekundiga' )
Väljund
Samaaegne täitmine ekstraheerib kõik andmed korraga ja võtab palju vähem aega kui jadakäivitamine:
See kõik puudutab Async API agendi kasutamist LangChainis.
Järeldus
LangChainis Async API agendi kasutamiseks installige lihtsalt moodulid, et importida teegid nende sõltuvustest, et saada asyncio teegi. Pärast seda seadistage keskkonnad OpenAI ja Serper API võtmete abil, logides sisse nende vastavatele kontodele. Seadistage erinevate teemadega seotud küsimuste komplekt ja käivitage ahelad järjestikku ja samaaegselt, et saada nende täitmisaeg. Selles juhendis on käsitletud LangChainis Async API agendi kasutamise protsessi.