多模态应用 - AI 应用开发实战

← 返回课程AI 应用开发实战 › 第 8 关

进度 0%

第 8 关：多模态应用

Python高级

📖 本课目标

本关属于《AI 应用开发实战》第 8 课。阅读右侧代码模板，理解每一行的作用，然后动手修改并完成练习。

🎯 本课要点

多模态应用
处理图片、文字等多种输入

🛠 学习方式

阅读右侧代码模板中的注释与实现
修改代码，尝试达成新的效果
点击「运行」查看实际输出
确认理解后点击「提交」标记本关完成

💡 说明

本关为 Python，浏览器内无法真正执行该语言。当前「运行」输出为演示结果，请在本地环境中编译运行以验证代码。

main.pytest.py

# 多模态应用
# 处理图片、文字等多种输入

class MultimodalProcessor:
    """模拟多模态处理"""
    
    def analyze_image(self, image_description):
        """模拟图片分析"""
        return {
            "objects": ["人物", "电脑", "书本"],
            "scene": "学习环境",
            "text_detected": "CodeLearn",
            "colors": ["蓝色", "白色"],
            "confidence": 0.95
        }
    
    def generate_caption(self, image_description):
        """生成图片描述"""
        return f"这是一张展示{image_description}的图片，画面清晰明亮。"
    
    def text_to_image_prompt(self, text):
        """文字转图片提示词"""
        return {
            "prompt": f"High quality illustration of {text}, professional style, vibrant colors",
            "negative": "blurry, low quality, distorted",
            "style": "digital art",
            "aspect_ratio": "16:9"
        }

# 多模态处理演示
processor = MultimodalProcessor()

print("=== 多模态应用演示 ===\n")

# 1. 图片理解
print("1. 图片理解:")
image = "一个学生在电脑前学习编程"
analysis = processor.analyze_image(image)
print(f"   输入: {image}")
print(f"   识别对象: {analysis['objects']}")
print(f"   场景: {analysis['scene']}")
print(f"   检测文字: {analysis['text_detected']}")

# 2. 图片描述
caption = processor.generate_caption(image)
print(f"\n2. 图片描述: {caption}")

# 3. 文字转图片
text = "一只可爱的猫咪在写代码"
img_prompt = processor.text_to_image_prompt(text)
print(f"\n3. 文字转图片:")
print(f"   输入: {text}")
print(f"   提示词: {img_prompt['prompt']}")

# 多模态 API 调用方式
print("\n--- GPT-4V API 调用格式 ---")
api_format = {
    "model": "gpt-4-vision-preview",
    "messages": [{
        "role": "user",
        "content": [
            {"type": "text", "text": "这张图片里有什么？"},
            {"type": "image_url", "image_url": {"url": "https://..."}}
        ]
    }]
}
import json
print(json.dumps(api_format, indent=2, ensure_ascii=False))

点击「运行」或「提交代码」查看结果

📖 查看本课说明

第 8 关：多模态应用

Python · 高级 · 《AI 应用开发实战》

多模态应用
处理图片、文字等多种输入

本关为 Python，浏览器无法真正编译运行，请在本地环境验证代码。