Microsofti VisualGPT annab välja uue tehnoloogia VisualGPT ”, mis on AI edasiminek ja avab võimalused atraktiivsemaks ja interaktiivsemaks AI-kogemuseks, ületades visuaalide ja keele vahelist lõhet.
Mis on VisualGPT?
VisualGPT on ChatGPT laiendatud versioon, mis põhineb NLP (loomuliku keele töötlemise) mudelitel, kuid VisualGPT-s kasutatakse VFMS-i, mis suudab teisendada tekstipäringuid pildivormingusse. See on selline, et see on teksti- ja pildipäringute kombinatsioon/integreerimine.
VisualGPT eesmärk
Pärast ChatGPT turule toomist, mis töötas ainsa tekstivormingu kallal, on järgmise taseme saavutamiseks ideaalne tööriist, mis töötab tekstilisest vormingust graafilisele vormingule, järgides kõiki neid põhjuseid ja võidujooksus tehisintellekti pärast. edasiminek Microsoft annab välja VisualGPT. VisualGPT põhieesmärk on luua kasutaja nõudmisel tehisintellekti pilte või pilti analüüsida
VisualGPT arhitektuur
VisualGPT sisaldab kasutajapäringut, viipahaldurit, visuaalseid alusmudeleid (VFM), süsteemi põhimõtet, dialoogi ajalugu, arutluskäiku ja vahepealset vastust.
Kui me räägime konkreetselt selle mudelist, st ' VFM-id (Visual Foundation Models) ”, kasutatakse peaaegu 22 VFM-i, nagu BLIP (Bootstrapping Language-Image Pre-training) ja Stable Diffusion.
Kuidas käivitada visuaalset vestluse GPT-d?
Visual ChatGPT käitamiseks kaaluge järgmisi samme.
1. samm: looge keskkond
Esiteks peate looma Pythoni versiooni 3.8 keskkonna:
import sys
sys.path.append ( '/usr/local/lib/python3.8/site-packages' )
2. samm: kloonige visuaalne vestlusGPT-fail
Nüüd kloonige GitHubist visuaalne ChatGPT-fail, kasutades järgmist käsku:
! git kloon https: // github.com / deepanshu88 / visual-chatgpt.git 
3. samm: seadistage uus kataloog
Pärast seda seadistage alltoodud käsu abil uus kataloog:
% cd visuaalne-chatgpt4. samm: installige vajalikud paketid
Nüüd installige vajalikud paketid, kasutades ' pip ” cmdlet:
! curl https: // bootstrap.pypa.io / get-pip.py -O get-pip.py! python3.8 get-pip.py
! python 3.8 -m pip installida -r nõuded.txt
5. toiming: juurdepääs OpenAI API-le
Pärast esialgsete pakettide installimist pääsete juurde OpenAI API-le, hankides aadressilt „platform.openai.com” API-võtme ja tehes autentitud API-kõnesid:
% env OPENAI_API_KEY =sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx6. samm: valige mudel
Lõpuks, pärast Openai avamist valige mudel, on VisualGPT-s rohkem kui 20 mudelit, mille saate valida vastavalt oma nõudele:
! python3.8. / visual_chatgpt.py --koormus Text2Image_cuda: 0Ülaltoodud käsus ' Tekst2Pilt ” vastab kasutatavale mudelile. Lisateabe saamiseks vaadake seda Google Colabi märkmik .
Järeldus
ChatGPT võeti kasutusele, et saada konkreetseid vastuseid mis tahes päringu kohta ja nüüd on Microsoft käivitanud VisualGPT, mis suudab käsitleda nii tekstilisi kui ka pildilisi andmeid. See on selline, et kasutaja saab lihtsalt lisada oma nõuded teksti kujul ja saada selle graafilise väljundi.