feat: Add LocalAI (#2944)
This commit is contained in:
parent
d3b02e9224
commit
8e22b7f024
|
|
@ -0,0 +1,10 @@
|
||||||
|
additionalProperties:
|
||||||
|
formFields:
|
||||||
|
- default: 8080
|
||||||
|
edit: true
|
||||||
|
envKey: PANEL_APP_PORT_HTTP
|
||||||
|
labelEn: Port
|
||||||
|
labelZh: 端口
|
||||||
|
required: true
|
||||||
|
rule: paramPort
|
||||||
|
type: number
|
||||||
|
|
@ -0,0 +1,34 @@
|
||||||
|
services:
|
||||||
|
localai:
|
||||||
|
image: localai/localai:v2.25.0-aio-cpu
|
||||||
|
container_name: ${CONTAINER_NAME}
|
||||||
|
# For Nvidia GPUs decomment one of the following (cuda11 or cuda12):
|
||||||
|
# image: localai/localai:v2.25.0-aio-gpu-nvidia-cuda-11
|
||||||
|
# image: localai/localai:v2.25.0-aio-gpu-nvidia-cuda-12
|
||||||
|
# Decomment the following piece if running with Nvidia GPUs
|
||||||
|
# deploy:
|
||||||
|
# resources:
|
||||||
|
# reservations:
|
||||||
|
# devices:
|
||||||
|
# - driver: nvidia
|
||||||
|
# count: 1
|
||||||
|
# capabilities: [gpu]
|
||||||
|
restart: always
|
||||||
|
networks:
|
||||||
|
- 1panel-network
|
||||||
|
ports:
|
||||||
|
- ${PANEL_APP_PORT_HTTP}:8080
|
||||||
|
environment:
|
||||||
|
- DEBUG=true
|
||||||
|
healthcheck:
|
||||||
|
test: ["CMD", "curl", "-f", "http://localhost:8080/readyz"]
|
||||||
|
interval: 1m
|
||||||
|
timeout: 20m
|
||||||
|
retries: 5
|
||||||
|
volumes:
|
||||||
|
- ./data:/build/models:cached
|
||||||
|
labels:
|
||||||
|
createdBy: "Apps"
|
||||||
|
networks:
|
||||||
|
1panel-network:
|
||||||
|
external: true
|
||||||
|
|
@ -0,0 +1,19 @@
|
||||||
|
# LocalAI
|
||||||
|
|
||||||
|
**LocalAI** 是免费的开源 OpenAI 替代品。LocalAI 可作为替代 REST API,与 OpenAI(Elevenlabs、Anthropic……)API 规范兼容,用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频(不止于此),支持多种模型系列。不需要 GPU。
|
||||||
|
|
||||||
|
## 主要功能:
|
||||||
|
|
||||||
|
- 使用 GPT 生成文本(llama.cpp、transformers、vllm 等等)
|
||||||
|
- 文本转音频
|
||||||
|
- 音频转文本(带音频转录 whisper.cpp)
|
||||||
|
- 图像生成
|
||||||
|
- 类似 OpenAI 的工具 API
|
||||||
|
- 向量数据库的嵌入生成
|
||||||
|
- 受限语法
|
||||||
|
- 直接从 Huggingface 下载模型
|
||||||
|
- 视觉 API
|
||||||
|
- 重新排序 API
|
||||||
|
- P2P 推理
|
||||||
|
- 语音活动检测(Silero-VAD 支持)
|
||||||
|
- 集成 WebUI!
|
||||||
|
|
@ -0,0 +1,19 @@
|
||||||
|
name: LocalAI
|
||||||
|
tags:
|
||||||
|
- AI / 大模型
|
||||||
|
title: 免费的开源 OpenAI 替代品
|
||||||
|
description: 免费的开源 OpenAI 替代品
|
||||||
|
additionalProperties:
|
||||||
|
key: localai
|
||||||
|
name: LocalAI
|
||||||
|
tags:
|
||||||
|
- AI
|
||||||
|
shortDescZh: 免费的开源 OpenAI 替代品
|
||||||
|
shortDescEn: The free, Open Source OpenAI alternative
|
||||||
|
type: tool
|
||||||
|
crossVersionUpdate: false
|
||||||
|
limit: 0
|
||||||
|
recommend: 0
|
||||||
|
website: https://localai.io/
|
||||||
|
github: https://github.com/mudler/LocalAI/
|
||||||
|
document: https://localai.io/
|
||||||
Binary file not shown.
|
After Width: | Height: | Size: 8.1 KiB |
Loading…
Reference in New Issue