用户在本地环境中加载并使用 OceanGPT 执行推理任务。所有子模型均兼容 Hugging Face Transformers 框架，支持通过标准接口加载模型与分词器。模型文件既可以通过上一节提供的方式提前下载，也可以在代码中直接从 Hugging Face 远程加载，无需手动下载。

本节将展示如何基于 transformers 库加载 OceanGPT 模型，并进行基本的推理调用，包括模型初始化、输入编码与输出生成等操作，帮助用户快速完成本地运行与测试。

3.1 OceanGPT-basic-8B 使用示例

❝

导入所需库、指定模型名称，并调用 from_pretrained 接口，加载分词器和模型。 如果您提前下载了模型，请把 model_name 请替换为对应路径。 参数 torch_dtype 和 device_map 也可根据实际需求自行指定，如手动设置为 torch.float16 或固定加载到 cuda:0

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "zjunlp/OceanGPT-basic-8B"

# load the tokenizer and the model
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)

❝

定义用户问题，并构造符合对话格式的 message 列表。支持多轮对话结构。

question = "<Your Question>"
messages = [
    {"role": "user", "content": question}
]

❝

使用 apply_chat_template 方法将对话消息转为模型可接受的文本格式，并编码为 tensor。可以自动添加生成提示符 <|im_start|>assistant 等。

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False 
)

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

❝

调用 generate 方法生成回复，截取出新增 token（排除原始输入部分）。生成长度可根据需要设置。

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=8192
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

❝

若模型启用了“思维块（…）”，这部分用于跳过 <think> 内容，仅提取正式回答。151668 是 </think> 的 token ID，可换为对应模型字典中的实际值。

try:
    index = len(output_ids) - output_ids[::-1].index(151668)  # </think> token ID
except ValueError:
    index = 0

content = tokenizer.decode(output_ids[index:], skip_special_tokens=True).strip("\n")
print(content)

3.2 OceanGPT-o-7B 使用示例

❝

请先安装下列工具包，帮助您更便捷地处理多种类型的视觉输入，包括 base64 编码、URL 链接、交错排列的图像与视频等多种格式：

# It's highly recommanded to use `[decord]` feature for faster video loading.
pip install qwen-vl-utils[decord]==0.0.8
pip install transformers

from transformers import Qwen2_5_VLForConditionalGeneration, AutoTokenizer, Qwen2VLProcessor
from qwen_vl_utils import process_vision_info
import torch

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "zjunlp/OceanGPT-o-7B", torch_dtype=torch.bfloat16, device_map="auto"
)
processor = Qwen2VLProcessor.from_pretrained("zjunlp/OceanGPT-o-7B")

❝

构造符合模型格式的消息结构，包含图像（通过 file:// 指向本地路径）与配套文本描述，作为用户的一轮输入。

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "file:///path/to/your/image.jpg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

整体代码结构与 3.1 中的 OceanGPT-basic-8B 类似，以下是完整示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model = AutoModelForCausalLM.from_pretrained(
    "zjunlp/OceanGPT-coder-7B", torch_dtype=torch.float16, device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("zjunlp/OceanGPT-coder-7B")
messages = [
    {"role": "system", "content": "You are Qwen, created by Alibaba Cloud. You are a helpful assistant."},
    {"role": "user", "content": "请为水下机器人生成MOOS代码，实现如下任务：先回到（50,20）点，然后以（15,20）点为圆形，做半径为30的圆周运动，持续时间200s，速度4 m/s。"}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    top_p=0.6,
    temperature=0.6,
    max_new_tokens=2048
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

用户可以通过 SGLang 平台便捷地部署与调用 OceanGPT 系列模型，支持文本与多模态输入处理、chat 模板解析以及自动生成 API 接口，进一步提升推理效率与集成灵活性。

• 安装 SGLang

pip install --upgrade pip
pip install uv
uv pip install "sglang[all]>=0.4.6.post4"

• 启动SGLang服务

import requests
from openai import OpenAI
from sglang.test.test_utils import is_in_ci

if is_in_ci():
    from patch import launch_server_cmd
else:
    from sglang.utils import launch_server_cmd

from sglang.utils import wait_for_server, print_highlight, terminate_process

server_process, port = launch_server_cmd(
    "python3 -m sglang.launch_server --model-path zjunlp/OceanGPT-o-7B --host 0.0.0.0"
)

wait_for_server(f"http://localhost:{port}")

• 与模型对话

import requests

url = f"http://localhost:{port}/v1/chat/completions"

data = {
    "model": "Qwen/Qwen2.5-VL-7B-Instruct",
    "messages": [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s in this image?"},
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://github.com/sgl-project/sglang/blob/main/test/lang/example_image.png?raw=true"
                    },
                },
            ],
        }
    ],
    "max_tokens": 300,
}

response = requests.post(url, json=data)
print_highlight(response.text)

• 安装 vllm 库

pip install vllm      # 建议vllm版本(>=0.8.5)

• 使用 vllm 推理

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

path = 'YOUR-MODEL-PATH'

tokenizer = AutoTokenizer.from_pretrained(path)

prompt = "Which is the largest ocean in the world?"
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

sampling_params = SamplingParams(temperature=0.8, top_k=50)
llm = LLM(model=path)

response = llm.generate(text, sampling_params)

• 创建一个名为 Modelfile 的文件

❝

指定模型源文件为当前目录下的 OceanGPT.gguf，并设置提示词模板（Prompt Template），用于对用户输入进行格式化。

FROM ./OceanGPT.gguf
TEMPLATE "[INST] {{ .Prompt }} [/INST]"

• 在 Ollama 中创建模型：

❝

使用 Modelfile 构建一个名为 example 的本地模型实例。

ollama create example -f Modelfile

• 运行模型

ollama run example "What is your favourite condiment?"

• 克隆 llama.cpp 并编译

❝

克隆官方 llama.cpp 项目并使用 cmake 构建命令行工具 llama-cli，该工具用于运行 GGUF 格式模型。

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build
cmake --build build --config Release

• 将 Hugging Face 格式模型转换为 GGUF

❝

使用转换脚本将 OceanGPT 的 PyTorch 模型转换为 GGUF 格式，输出为。该脚本需确保模型文件已下载并位于指定路径。

python convert-hf-to-gguf.py OceanGPT --outfile OceanGPT.gguf

• 运行模型进行推理

./llama-cli -m OceanGPT.gguf \
  -co -cnv -p "Your prompt" \
  -fa -ngl 80 -n 512