LangChain on raamistik tehisintellekti abil suurte keelemudelite loomiseks, et see saaks luua teksti ja suhelda inimestega. Asyncio on teek, mida saab kasutada mudeli nagu LLM kutsumiseks mitu korda, kasutades sama käsku või päringut. See suurendab ka meie LLM-mudeli töö kiirust, et luua tõhusalt teksti.
See artikkel näitab, kuidas kasutada LangChainis asyncio teeki.
Kuidas kasutada/käivitada LangChainis asyncio raamatukogu?
Async API-t saab kasutada LLM-ide toena, nii et asyncio teegi kasutamiseks LangChainis järgige lihtsalt seda juhendit:
Installi eeltingimused
Installige LangChaini moodul, et alustada LangChainis asyncio teegi kasutamist LLM-ide samaaegseks kutsumiseks:
pip installida langchain
OpenAI moodul on vajalik ka LLM-ide loomiseks OpenAIEMbeddingsi abil:
pip installida openai
Pärast installimist konfigureerige lihtsalt OpenAI API võti, kasutades järgmist koodi:
importida meidimpordi getpass
os.environ [ 'OPENAI_API_KEY' ] = getpass.getpass ( 'OpenAI API võti:' )
Asyncio kasutamine LLM-i loomiseks
Asyncio teeki saab kasutada LLM-ide toetamiseks, kuna järgmine kood kasutab seda LangChainis:
importida aegaimport asyncio
#Asyncio teekide importimine LangChainist selle kasutamiseks
langchain.llms-ist importige OpenAI
#defineerige funktsioon jadagenereerimise ajatempli saamiseks
def gener_serially ( ) :
llm = OpenAI ( temperatuuri = 0.9 )
jaoks _ sisse ulatus ( 5 ) :
resp = llm.generate ( [ 'Mida sa teed?' ] )
printida ( resp.põlved [ 0 ] [ 0 ] .tekst )
#defineerige funktsioon sünkroonse genereerimise ajatempli saamiseks
async def async_generate ( llm ) :
resp = ootama llm.agenerate ( [ 'Mida sa teed?' ] )
printida ( resp.põlved [ 0 ] [ 0 ] .tekst )
#defineerige funktsioon andmete samaaegse genereerimise ajatempli saamiseks
async def gener_concurrently ( ) :
llm = OpenAI ( temperatuuri = 0.9 )
ülesanded = [ async_generate ( llm ) jaoks _ sisse ulatus ( 10 ) ]
oota asyncio.kogu ( * ülesandeid )
#seadistage samaaegse väljundi saamiseks asünkoloogi abil saadud väljund
s = time.perf_counter ( )
oodake gener_concurrently ( )
möödunud = aeg.perf_counter ( ) - s
printida ( '\033[1 m' + f 'Samaaegne käivitati {elapsed:0.2f} sekundiga.' + '\033[0m' )
#konfigureerige jadaväljundi saamiseks tulemuseks oleva väljundi ajatempel
s = time.perf_counter ( )
gener_serially ( )
möödunud = aeg.perf_counter ( ) - s
printida ( '\033[1m' + f 'Seeria käivitati {elapsed:0.2f} sekundiga.' + '\033[0m' )
Ülaltoodud kood kasutab asyncio teeki, et mõõta tekstide genereerimiseks kuluvat aega, kasutades kahte erinevat funktsiooni, näiteks gener_serially() ja gener_concurrently() :
Väljund
Järgmisel ekraanipildil on näha, et samaaegse teksti genereerimise funktsioonide ja ajaline keerukus on parem kui seeriateksti genereerimisel.
See kõik puudutab 'asyncio' teegi kasutamist LLM-ide loomiseks LangChainis.
Järeldus
LangChainis asyncio teegi kasutamiseks installige protsessiga alustamiseks lihtsalt LangChaini ja OpenAI moodulid. Async API võib olla abiks LLM-mudeli loomisel vestlusrobotite loomiseks, et õppida varasematest vestlustest. Selles juhendis on selgitatud asyncio teegi kasutamise protsessi LangChaini raamistikku kasutavate LLM-ide toetamiseks.