AI-ийн эрчим хүчний асуудал: LLM-үүд өөрсдийн эрчим хүчний хэрэглээг оновчтой болгож чадах уу?

OpenAI 2022 оны сүүлээр ChatGPT-г эхлүүлэхэд баяр баясгалан, түгшүүр төрүүлэв. Генератив хиймэл оюун ухаан нь эссэ бичих, кодлох асуудлыг шийдвэрлэх, тэр ч байтугай урлагийг бүтээх гайхалтай боломжийг харуулсан. Гэхдээ энэ нь байгаль орчны мэргэжилтнүүд, судлаачид, технологичдын дунд түгшүүр төрүүлэв. Хамгийн их санаа зовоосон зүйл? Том хэлний загваруудыг (LLMs) сургаж, ажиллуулахад шаардагдах асар их эрчим хүчний хэрэглээ нь тэдний урт хугацааны тогтвортой байдлын талаар асуултуудыг төрүүлдэг.

LLM-ууд боловсрол, эрүүл мэнд зэрэг салбаруудыг өөрчлөн шинэчилсээр байгаа тул тэдний нөлөөг үл тоомсорлож болохгүй. Энэхүү баримт бичиг нь нэг чухал асуултыг дэвшүүлж байна: Эдгээр ухаалаг системүүд эрчим хүчний хэрэглээг багасгаж, хүрээлэн буй орчны ул мөрийг багасгахын тулд өөрсдийгөө оновчтой болгож чадах уу? Хэрэв тийм бол энэ нь хиймэл оюун ухааны ландшафтыг хэрхэн өөрчлөх вэ?

Бид сургалтаас авахуулаад дүгнэлт гаргах хүртэлх LLM-ийн эрчим хүчний сорилтуудыг задалж, хиймэл оюун ухааныг илүү тогтвортой болгох шинэлэг өөрийгөө тохируулах стратегиудыг судлах болно.

AI эрчим хүчний сорилтыг ойлгох

Сургалт vs. Дүгнэлт

Google-ийн GPT-4 эсвэл PaLM зэрэг том хэлний загваруудыг сургах нь асар их хэмжээний тооцооллын нөөц шаарддаг. Жишээлбэл, GPT-3-ыг сургахад хэдэн мянган GPU-г долоо хоног ажиллуулж, АНУ-ын хэдэн зуун айлын нэг жилийн эрчим хүчийг зарцуулсан. Нүүрстөрөгчийн ул мөр нь мэдээллийн төвүүдийг тэжээж буй эрчим хүчний хольцоос хамаарна. Сургалтын дараа ч гэсэн дүгнэлтийн үе шат буюу загвар нь бодит ажил үүргийг гүйцэтгэдэг бөгөөд эрчим хүчний хэрэглээг нэмэгдүүлдэг. Хэдийгээр нэг асуулгад шаардагдах эрчим хүч бага боловч бид өдөр бүр янз бүрийн платформ дээр олон тэрбум ийм харилцан үйлчлэл явагддаг гэж үзвэл энэ нь чухал асуудал болж хувирдаг.

LLM яагаад ийм их эрчим хүч хэрэглэдэг вэ?

• Загварын хэмжээ: Өнөөдрийн LLM нь параметрийн мэдрэмжтэй байдаг; тэдгээр нь боловсруулах, шинэчлэх, хадгалахад асар их нөөц шаарддаг хэдэн тэрбум, бүр их наяд параметртэй.

  
  

• Техник хангамжийн хязгаарлалт: Цахиурт суурилсан чипүүдийн хэрэглээ нь тэдгээрийн боловсруулах хүчин чадлаар хязгаарлагддаг бөгөөд ингэснээр эрчим хүчний хэрэглээг экспоненциалтайгаар нэмэгдүүлэхийн тулд GPU эсвэл TPU-ийн кластер шаардлагатай байдаг.

• Хөргөх хэрэгцээ: Өндөр тооцооллын ажлын ачааллыг дэмждэг дата төвүүд нь дулаан байдаг бөгөөд хөргөлтийн систем нь эрчим хүчний хэмнэлттэй биш бол эрчим хүчний 40% хүртэл зарцуулдаг.

Байгаль орчин, эдийн засгийн хохирол

Байгаль орчны зардалд нүүрстөрөгчийн ялгаралт, хөргөлтийн усны хэрэглээ багтдаг бол үйл ажиллагааны зардал нь хиймэл оюун ухааны жижиг компаниудын хувьд асуудал болдог. Жилийн зардал хэдэн тэрбумд хүрч магадгүй бөгөөд энэ нь тогтвортой байдлыг зөвхөн байгаль орчны төдийгүй эдийн засгийн чухал асуудал болгодог.

AI загвар эрчим хүчний хэрэглээний задаргаа

LLM-үүд хэрхэн эрчим хүч зарцуулдгийг ойлгохын тулд үүнийг задалж үзье:

Өөрийгөө оновчтой болгох стратегиуд

Судлаачид LLM нь програм хангамжийн ажлыг техник хангамжийн өөрчлөлттэй хослуулан эрчим хүчний хэрэглээгээ хэрхэн оновчтой болгох талаар судалж байна.

Загвар тайрах ба тоо хэмжээ

• Тайрах: Нарийвчлалд хязгаарлагдмал хэмжээгээр нөлөөлдөг илүүдэл параметрүүдийг арилгаж, нарийвчлалыг алдагдуулахгүйгээр загварын хэмжээг багасгадаг.
• Квантчлал: Энэ нь өгөгдлийн нарийвчлалыг (жишээ нь 32 битээс 8 бит хүртэл) бууруулж, санах ой болон тооцооллын шаардлагыг бууруулдаг.

Хэмжээ тогтоох, тайрах нь ашигтай боловч загвар нь аль хэсэг нь чухал болохыг, аль хэсгийг тоолж болохыг тодорхойлох боломжтой бол санал хүсэлтийн гогцоотой ашиглах үед энэ нь нэлээд үр дүнтэй болно. Энэ бол шинэ газар боловч өөрийгөө оновчтой болгох сүлжээнүүдэд боломж бий.

Динамик дүгнэлт (нөхцөлт тооцоолол)

Нөхцөлт тооцооллын санаа нь загваруудад зөвхөн өгөгдсөн даалгаварт хамаарах нейрон эсвэл давхаргыг ашиглах боломжийг олгодог. Жишээлбэл, Google-ийн мэргэжилтнүүдийн холимог (МЭ) арга нь сүлжээг идэвхтэй параметрүүдийн тоог хязгаарлах замаар сургалтыг сайжруулж, эрчим хүчний хэрэглээг бууруулдаг тусгай дэд сүлжээнд хуваадаг.

Тааруулахад зориулсан сургалтыг бэхжүүлэх

Загваруудыг үр ашигтай ажиллуулахын тулд сургалтын хурд, багцын хэмжээ, нарийвчлал, эрчим хүчний зарцуулалтыг тэнцвэржүүлэх зэрэг гиперпараметрүүдийг оновчтой болгох боломжтой.

Олон зорилтот оновчлол

LLM нь нарийвчлалыг оновчтой болгохоос гадна Google Vizier эсвэл Ray Tune зэрэг хэрэгслийг ашиглан нарийвчлал, хоцролт, эрчим хүчний зарцуулалт зэрэг бусад зорилтуудыг оновчтой болгож чадна. Сүүлийн үед эрчим хүчний хэмнэлт нь эдгээр хүрээнд шийдвэрлэх зорилт болоод байна.

Техник хангамжийн шинэчлэл ба хиймэл оюун ухааны хамтарсан дизайн

• Хэрэглээний нэгдсэн хэлхээ (ASICs): AI даалгавруудыг гүйцэтгэх үр ашгийг дээшлүүлэх тусгай зориулалтын чипүүд.
• Нейроморф тооцоолол: Мэдрэлийн сүлжээний тооцоолол хийх үед эрчим хүчний хэрэглээг багасгахын тулд тархинаас сэдэвлэсэн чипүүдийг боловсруулж байна.
• Оптик тооцоолол: Гэрлийг ашиглан тооцоолох нь системийн эрчим хүчний хэрэглээг багасгахын тулд цахим системийн хязгаарлалтыг даван туулж чадна.

Техник хангамжийг програм хангамжтай хослуулан бүтээсэн хиймэл оюун ухааны системүүд нь програм хангамжийн алгоритм болон техник хангамжийн нөөцийг нэгэн зэрэг тохируулах боломжийг олгодог.

AI эрчим хүчний оновчтой арга техникийг харьцуулах

Ирээдүйн AI загварууд нь нийт эрчим хүчийг 60-70% бууруулахын тулд олон арга техникийг хослуулах магадлалтай.

AI-г өөрөө оновчтой болгоход тулгарч буй бэрхшээлүүд

• Нарийвчлалын зөрүү : Тайрах, тоон тогтоох зэрэг зарим онцлог нь нарийвчлалыг бага зэрэг бууруулж болзошгүй.
• Дата төвийн дэд бүтцийн хязгаарлалт: Бид үр ашиггүй цахиурын чип дээр тулгуурладаг гэсэн таамаглалаар ажиллаж байна.
• Эрчим хүчний гүйцэтгэлийн хэмжүүрийн зөрүү: Одоогоор эрчим хүчний үр ашгийг хянах бүх нийтийн стандарт байдаггүй.
• Засгийн газрын зохицуулалт: Тогтвортой байдлын хатуу дүрмүүд нь үр ашигтай загваруудыг нэвтрүүлэхийг албаддаг.

Ирээдүйн үр дагавар

Өөрийгөө оновчтой болгох LLM нь олон тэрбум асуулгад зориулж эрчим хүчний хэрэглээг 20 ба түүнээс дээш хувиар бууруулж, асар их зардал, ялгаруулалтыг хэмнэх болно. Энэ нь дэлхийн цэвэр тэг зорилттой нийцэж байгаа бөгөөд хэд хэдэн салбарт нөлөөлж байна:

• Аж ахуйн нэгж : Эрчим хүчний хэмнэлттэй LLM нь харилцагчийн үйлчилгээ болон аналитикийн хэрэглээг нэмэгдүүлэх боломжтой.
• Судалгаа : "Тэврэх нүүр" зэрэг нээлттэй эхийн санаачилгууд нь инновацийг улам хурдасгаж чадна.
• Бодлого : Эрчим хүчний ил тод байдлын стандартууд нь өөрийгөө оновчтой болгохыг жишиг болгон хувиргаж чадна.

Дүгнэлт

LLM нь хэлний боловсруулалтын шинэ түвшний боловсронгуй байдлыг авчирсан боловч тэдний эрчим хүчний хэрэглээний асуудал хамгийн их анхаарал татаж байна. Гэсэн хэдий ч эдгээр загварыг бий болгосон оюун ухаан нь шийдлийг өгдөг. Тайрах, хэмжигдэхүүн, нөхцөлт тооцоолол, техник хангамжийн хамтарсан дизайн зэрэг техникүүд нь өөрсдийн эрчим хүчний хэрэглээг удирддаг LLM-ийг зохион бүтээх боломжтойг харуулж байна. Судалгааны ажил ахих тусам тогтвортой хиймэл оюун ухаан боломжтой эсэх, технологийн салбар хүрээлэн буй орчны төлөө инновацийг золиослохгүйгээр хэр хурдан нэгдэж чадах вэ гэдэг асуудал багасч байна.

Лавлагаа

1. Браун, Т., нар. (2020). "Хэлний загварууд бол цөөн суралцагчид юм." Мэдрэлийн мэдээлэл боловсруулах системийн дэвшил , 33, 1877-1901. (GPT-3 сургалтын мэдээллийн таамагласан эх сурвалж.)
2. Strubell, E., Ganesh, A., & McCallum, A. (2019). "NLP-д гүнзгий суралцахын тулд эрч хүч, бодлогод анхаарах зүйлс". ACL-ийн 57 дахь удаагийн хурлын эмхэтгэл , 3645-3650. (AI-ийн эрчим хүчний зардлын талаархи тайлбар эх сурвалж.)
3. Fedus, W., et al. (2021). "Трансформаторыг сэлгэх: Энгийн бөгөөд үр ашигтай сийрэгжилт бүхий триллион параметрийн загварт хүргэх". arXiv preprint arXiv:2101.03961 . (Мэргэжилтнүүдийн холимог хэлэлцүүлгийн үндэслэл.)
4. Паттерсон, Д., нар. (2021). "Нүүрстөрөгчийн ялгарал ба том мэдрэлийн сүлжээний сургалт." arXiv preprint arXiv:2104.10350 . (Сургалтын эрчим хүчний тооцооны эх сурвалж.)
5. Google судалгаа. (2023). "Vizier: Хар хайрцгийг оновчтой болгох үйлчилгээ." Google AI блог . (Зураглах хэрэгслийн лавлагаа.)