Kuidas kasutada mälu LLMChainis LangChaini kaudu?

LangChain on raamistik, mida saab kasutada teekide ja sõltuvuste importimiseks suurte keelemudelite või LLM-ide loomiseks. Keelemudelid kasutavad mälu andmete või ajaloo salvestamiseks andmebaasi vaatlusena, et saada vestluse konteksti. Mälu on konfigureeritud salvestama kõige värskemaid sõnumeid, et mudel saaks aru kasutaja antud mitmetähenduslikest viipadest.

See ajaveeb selgitab mälu kasutamise protsessi LLMChainis LangChaini kaudu.

Kuidas kasutada mälu LLMChainis LangChaini kaudu?

Mälu lisamiseks ja selle kasutamiseks LLMChainis LangChaini kaudu saab ConversationBufferMemory teeki kasutada, importides selle LangChainist.

LLMChainis mälu kasutamise protsessi õppimiseks LangChaini kaudu läbige järgmine juhend:

1. samm: installige moodulid

Kõigepealt alustage mälu kasutamise protsessi, installides LangChaini, kasutades käsku pip:

pip install langchain

Installige OpenAI moodulid, et hankida selle sõltuvused või teegid LLM-ide või vestlusmudelite loomiseks:

pip install openai

Seadistage keskkond OpenAI jaoks, kasutades selle API-võtit, importides operatsioonisüsteemi ja getpassi teegid:

importida meid
impordi getpass

os.environ['OPENAI_API_KEY'] = getpass.getpass('OpenAI API võti:')

2. samm: teekide importimine

Pärast keskkonna seadistamist importige lihtsalt LangChainist sellised teegid nagu ConversationBufferMemory:

saidilt langchain.chains impordi LLMChain
langchain.llms-ist importige OpenAI

langchain.memory importimine ConversationBufferMemory

failist langchain.prompts importige PromptTemplate

Seadistage viipa mall muutujate abil, nagu 'input', et saada päring kasutajalt, ja 'hist' andmete salvestamiseks puhvermällu:

template = '''Olete modell, kes vestleb inimesega

{hist}
Inimene: {input}
Vestlusbot: '''

prompt = PromptTemplate(
input_variables=['hist', 'sisend'], template=mall
)
mälu = vestluspuhvermälu(mälu_võti='hist')

3. samm: LLM-i konfigureerimine

Kui päringu mall on loodud, konfigureerige meetod LLMChain() mitme parameetri abil:

llm = OpenAI()
llm_chain = LLMchain(
llm = llm,
prompt=prompt,
verbose=Tõsi,
mälu = mälu,
)

4. samm: LLMChaini testimine

Pärast seda testige LLMChaini sisendmuutuja abil, et saada kasutajalt viip tekstilisel kujul:

llm_chain.predict(input='Tere, mu sõber')

Kasutage teist sisendit, et hankida mällu salvestatud andmed väljundi väljavõtmiseks konteksti kasutades:

llm_chain.predict(input='Tubli! mul läheb hästi – kuidas läheb')

5. samm: mälu lisamine vestlusmudelile

Mälu saab lisada vestlusmudelipõhisele LLMChainile, importides teeke:

langchain.chat_models impordib ChatOpenAI-d
langchain.schema impordi SystemMessage
failist langchain.prompts importige ChatPromptTemplate, HumanMessagePromptTemplate, MessagesPlaceholder

Konfigureerige käsumall ConversationBufferMemory() abil, kasutades kasutaja sisendi määramiseks erinevaid muutujaid:

prompt = ChatPromptTemplate.from_messages([
SystemMessage(content='Sa oled modell, kes vestleb inimesega'),
MessagesPlaceholder(variable_),
HumanMessagePromptTemplate.from_template('{input}'),
])

mälu = vestluspuhverMälu(mälu_võti='hist', return_messages=True)

6. samm: LLMChaini konfigureerimine

Seadistage meetod LLMChain(), et konfigureerida mudelit erinevate argumentide ja parameetrite abil:

llm = ChatOpenAI()

chat_llm_chain = LLMChain(
llm = llm,
prompt=prompt,
verbose=Tõsi,
mälu = mälu,
)

7. samm: LLMChaini testimine

Lõpuks testige lihtsalt LLMChaini sisendi abil, et mudel saaks teksti vastavalt viipale genereerida:

chat_llm_chain.predict(input='Tere, mu sõber')

Mudel on salvestanud eelmise vestluse mällu ja kuvab selle enne päringu tegelikku väljundit:

llm_chain.predict(input='Tubli! mul läheb hästi – kuidas läheb')

See kõik puudutab mälu kasutamist LLMChainis, kasutades LangChaini.

Järeldus

Mälu kasutamiseks LLMChainis LangChaini raamistiku kaudu, installige lihtsalt moodulid, et seadistada keskkond, et saada moodulitest sõltuvusi. Pärast seda importige lihtsalt LangChainist teegid, et kasutada eelmise vestluse salvestamiseks puhvermälu. Kasutaja saab lisada vestlusmudelile ka mälu, ehitades LLMChaini ja testides seejärel ahelat, pakkudes sisendit. Selles juhendis on käsitletud mälu kasutamise protsessi LLMChainis LangChaini kaudu.

Kuidas kasutada mälu LLMChainis LangChaini kaudu?