服務(wù)內(nèi)容全部包含:
大語言模型并發(fā)部署,docker容器化部署,網(wǎng)頁點擊操作,在用戶提供服務(wù)器的情況下可以遠(yuǎn)程部署,可長期穩(wěn)定運行,支持多種開源模型。
服務(wù)優(yōu)勢:
大語言模型并發(fā)部署,docker容器化部署,網(wǎng)頁點擊操作,在用戶提供服務(wù)器的情況下可以遠(yuǎn)程部署,可長期穩(wěn)定運行,支持多種開源模型。
服務(wù)前需客戶提供的信息:
1.部署服務(wù)器需要GPU,系統(tǒng)環(huán)境為centos或者ubuntu,能遠(yuǎn)程ssh連接,GPU的大小會嚴(yán)重影響大語言模型的性能,建議16G以上,V100或者30系列以上顯卡
其他:
1.部署服務(wù)器需要GPU,系統(tǒng)環(huán)境為centos或者ubuntu,能遠(yuǎn)程ssh連接,GPU的大小會嚴(yán)重影響大語言模型的性能,建議16G以上,V100或者30系列以上顯卡
問答系統(tǒng)與聊天智能知識服務(wù)知識庫