零基础也能玩转计算机视觉：从AIGC到Sora的实战入门指南
代码写到发光
2026-07-09 19:06
阅读 852
作者：985全栈工程师 / 掘金技术博主 写在前面：最近很多粉丝私信问我，说看到Sora生成的视频很震撼，想学计算机视觉但完全零基础，不知道从哪下手。我当初学的时候也是一脸懵，所以今天这篇教程，我尽量用最通俗的语言，带你从零开始理解计算机视觉，并动手跑通一个实战项目。
一、计算机视觉到底是什么？
简单来说，计算机视觉（Computer Vision，简称CV）就是让计算机"看懂"图片和视频的技术。
你用手机拍照时的人脸识别、自动驾驶汽车识别红绿灯、Sora生成逼真视频……背后都是计算机视觉在发挥作用。
而在2024年，随着**AIGC（AI Generated Content，人工智能生成内容）**的爆发，计算机视觉进入了一个全新的时代。我们不再只是让AI"看懂"世界，还能让它"创造"世界。
几个你必须知道的关键概念
| 关键词 | 通俗解释 | 典型应用 |
|---|---|---|
| AIGC | 用AI自动生成文字、图片、视频等内容 | Sora生成视频、Midjourney生成图片 |
| FastGPT | 一个开源的AI应用开发平台，可以快速搭建AI对话应用 | 搭建智能客服、知识库问答系统 |
| Sora | OpenAI推出的文生视频大模型，能根据文字描述生成高质量视频 | 文字生成短视频、影视特效预览 |
我当初学的时候，这些概念一个都不懂，感觉像天书。别急，我们一个一个来拆解。
二、环境准备：工欲善其事，必先利其器
在开始写代码之前，我们需要搭建好开发环境。别怕，跟着我一步步来。
2.1 基础环境安装
# 1. 安装Python（推荐3.9+版本）
# 去 https://www.python.org/downloads/ 下载安装
# 2. 验证安装
python --version
# 输出类似：Python 3.10.12
# 3. 安装pip（Python包管理工具）
pip --version
2.2 安装核心依赖库
# 创建虚拟环境（推荐，避免依赖冲突）
python -m venv cv_env
# 激活虚拟环境
# Windows:
cv_env\Scripts\activate
# Mac/Linux:
source cv_env/bin/activate
# 安装核心库
pip install opencv-python numpy matplotlib pillow
pip install torch torchvision
pip install fastapi uvicorn
pip install openai
2.3 各库的作用说明
| 库名 | 作用 | 是否必装 |
|---|---|---|
opencv-python |
图像/视频处理的核心库 | ✅ 必装 |
numpy |
数值计算，图像处理底层依赖 | ✅ 必装 |
matplotlib |
数据可视化，显示图片 | ✅ 必装 |
pillow |
图像读写和处理 | ✅ 必装 |
torch |
PyTorch深度学习框架 | ✅ 必装 |
fastapi |
快速搭建API服务 | ⭐ 推荐 |
openai |
调用OpenAI API（含Sora） | ⭐ 推荐 |
三、核心概念：用大白话讲清楚
3.1 图像在计算机里长什么样？
我当初学的时候，最大的困惑就是：图片在计算机里到底是怎么存的？
答案很简单：图片就是一个数字矩阵。
一张彩色图片，本质上是由红（R）、绿（G）、蓝（B）三个通道组成的三维矩阵。每个像素点的值范围是0-255。
import cv2
import numpy as np
# 读取一张图片
img = cv2.imread('test.jpg')
# 查看图片的基本信息
print(f"图片形状: {img.shape}")
# 输出类似：(480, 640, 3)
# 含义：高480像素，宽640像素，3个颜色通道
print(f"数据类型: {img.dtype}")
# 输出：uint8（无符号8位整数，范围0-255）
print(f"第一个像素的值: {img[0, 0]}")
# 输出类似：[125 137 201]（B, G, R的值）
3.2 什么是卷积神经网络（CNN）？
CNN是计算机视觉的"大脑"，它负责从图片中提取特征。
你可以这样理解：
- 第一层CNN学会识别边缘和线条
- 第二层CNN学会识别简单的形状（圆形、方形）
- 第三层CNN学会识别复杂的物体部件（眼睛、轮子）
- 更深层CNN学会识别完整的物体（人脸、汽车）
import torch
import torch.nn as nn
# 一个简单的CNN模型示例
class SimpleCNN(nn.Module):
def __init__(self):
super(SimpleCNN, self).__init__()
# 卷积层：提取图像特征
self.conv1 = nn.Conv2d(3, 16, kernel_size=3, padding=1)
self.conv2 = nn.Conv2d(16, 32, kernel_size=3, padding=1)
# 池化层：压缩尺寸，保留关键信息
self.pool = nn.MaxPool2d(2, 2)
# 全连接层：最终分类
self.fc = nn.Linear(32 * 56 * 56, 10)
self.relu = nn.ReLU()
def forward(self, x):
# x的形状：[batch_size, 3, 224, 224]
x = self.pool(self.relu(self.conv1(x))) # -> [batch, 16, 112, 112]
x = self.pool(self.relu(self.conv2(x))) # -> [batch, 32, 56, 56]
x = x.view(x.size(0), -1) # 展平
x = self.fc(x) # -> [batch, 10]
return x
model = SimpleCNN()
print(model)
3.3 AIGC是如何生成内容的？
AIGC的核心技术之一是扩散模型（Diffusion Model）。
用一句话解释：它先往一张清晰的图片上不断加噪点，直到变成纯噪声，然后再学会从噪声中一步步"去噪"，还原出图片。
Sora就是基于类似原理，但扩展到了视频维度。它不仅能生成单张图片，还能生成连续的视频帧，并保证帧与帧之间的连贯性。
四、实战项目：搭建一个图像风格迁移应用
接下来，我们动手做一个实战项目：图像风格迁移。就是把一张普通照片变成梵高星空风格。
4.1 项目整体流程
步骤1：加载原始图片和风格图片
↓
步骤2：使用预训练模型提取特征
↓
步骤3：计算内容损失和风格损失
↓
步骤4：通过梯度下降优化生成图片
↓
步骤5：输出最终的风格化图片
4.2 完整代码实现
import torch
import torch.nn as nn
import torch.optim as optim
import torchvision.transforms as transforms
import torchvision.models as models
from PIL import Image
import copy
# ========== 步骤1：设备配置 ==========
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"使用设备: {device}")
# ========== 步骤2：图片预处理 ==========
def load_image(image_path, max_size=400):
"""加载并预处理图片"""
image = Image.open(image_path).convert('RGB')
# 等比缩放
if max(image.size) > max_size:
size = max_size
image = transforms.Resize(size)(image)
# 转换为tensor
transform = transforms.Compose([
transforms.ToTensor(),
# 使用ImageNet的均值和标准差进行归一化
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225])
])
image = transform(image).unsqueeze(0) # 增加batch维度
return image.to(device)
# ========== 步骤3：定义特征提取器 ==========
class FeatureExtractor(nn.Module):
"""基于VGG19提取图像特征"""
def __init__(self):
super(FeatureExtractor, self).__init__()
# 加载预训练的VGG19模型
vgg = models.vgg19(pretrained=True).features
# 选择特定的层来提取内容和风格特征
self.content_layers = ['22'] # 第22层提取内容特征
self.style_layers = ['0', '5', '10', '19', '28'] # 多层提取风格特征
self.layers = {}
for name, module in vgg.named_children():
self.layers[name] = module
self.model = nn.Sequential(self.layers)
self.model.to(device).eval()
def forward(self, x, layers_needed):
features = {}
for name, layer in self.model._modules.items():
x = layer(x)
if name in layers_needed:
features[name] = x
return features
# ========== 步骤4：定义损失函数 ==========
def content_loss(predicted, target):
"""内容损失：MSE"""
return nn.MSELoss()(predicted, target)
def gram_matrix(tensor):
"""计算Gram矩阵（风格特征的核心）"""
batch, channels, height, width = tensor.size()
features = tensor.view(channels, height * width)
gram = torch.mm(features, features.t())
return gram.div(channels * height * width)
def style_loss(predicted, target):
"""风格损失"""
predicted_gram = gram_matrix(predicted)
target_gram = gram_matrix(target)
return nn.MSELoss()(predicted_gram, target_gram)
# ========== 步骤5：主训练流程 ==========
def style_transfer(content_path, style_path,
num_steps=300, content_weight=1, style_weight=100):
"""执行风格迁移"""
# 加载图片
content_img = load_image(content_path)
style_img = load_image(style_path)
# 初始化生成图片（从内容图片开始）
generated_img = content_img.clone().requires_grad_(True)
# 初始化模型和优化器
extractor = FeatureExtractor()
optimizer = optim.Adam([generated_img], lr=0.003)
# 提取目标特征（不需要梯度）
with torch.no_grad():
content_features = extractor(content_img, extractor.content_layers)
style_features = extractor(style_img, extractor.style_layers)
# 开始迭代优化
print("开始风格迁移...")
for step in range(num_steps):
optimizer.zero_grad()
# 提取当前生成图片的特征
gen_features = extractor(generated_img,
extractor.content_layers + extractor.style_layers)
# 计算总损失
total_loss = 0
# 内容损失
for layer in extractor.content_layers:
total_loss += content_weight * content_loss(
gen_features[layer], content_features[layer].detach()
)
# 风格损失
for layer in extractor.style_layers:
total_loss += style_weight * style_loss(
gen_features[layer], style_features[layer].detach()
)
# 反向传播
total_loss.backward()
optimizer.step()
# 每50步打印一次进度
if (step + 1) % 50 == 0:
print(f"Step {step+1}/{num_steps}, Loss: {total_loss.item():.4f}")
# 反归一化，转回图片
def tensor_to_image(tensor):
image = tensor.cpu().clone().squeeze()
image = image * torch.tensor([0.229, 0.224, 0.225]).view(3, 1, 1)
image = image + torch.tensor([0.485, 0.456, 0.406]).view(3, 1, 1)
image = torch.clamp(image, 0, 1)
return transforms.ToPILImage()(image)
result = tensor_to_image(generated_img)
result.save('output_style.jpg')
print("风格迁移完成！结果已保存为 output_style.jpg")
return result
# ========== 运行 ==========
# style_transfer('content.jpg', 'style.jpg')
4.3 使用FastGPT搭建AI问答助手
除了图像生成，我们还可以用FastGPT来搭建一个计算机视觉知识的AI问答助手。
from fastapi import FastAPI
from pydantic import BaseModel
import openai
app = FastAPI(title="CV知识问答助手")
# 配置OpenAI API（也可以用国内替代方案）
openai.api_key = "your-api-key-here"
class Question(BaseModel):
question: str
context: str = ""
@app.post("/ask")
async def ask_question(q: Question):
"""接收问题并返回AI回答"""
# 构建提示词
system_prompt = """你是一个计算机视觉专家，擅长用通俗易懂的语言
解释AIGC、图像识别、视频生成等技术概念。"""
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": q.question}
]
# 调用API
response = openai.ChatCompletion.create(
model="gpt-4",
messages=messages,
temperature=0.7
)
return {"answer": response.choices[0].message.content}
# 启动服务：uvicorn main:app --reload
4.4 调用Sora API生成视频（概念示例）
import openai
def generate_video_with_sora(prompt: str):
"""
使用Sora生成视频（概念示例）
注意：Sora API目前尚未完全公开，以下为示意代码
"""
client = openai.OpenAI(api_key="your-key")
# 调用Sora生成视频
response = client.videos.create(
model="sora",
prompt=prompt,
duration=10, # 视频时长（秒）
resolution="1080p", # 分辨率
fps=24 # 帧率
)
# 获取视频URL
video_url = response.data[0].url
print(f"视频生成成功！下载地址: {video_url}")
return video_url
# 使用示例
# generate_video_with_sora("一只橘猫在樱花树下漫步，电影质感，4K画质")
五、常见问题解答
Q1：没有GPU能跑这些项目吗？
可以，但会很慢。 我当初学的时候用的就是CPU，一个风格迁移要跑好几个小时。建议：
| 方案 | 成本 | 速度 | 推荐度 |
|---|---|---|---|
| 本地CPU | 免费 | 很慢 | ⭐⭐ |
| Google Colab（免费GPU） | 免费 | 较快 | ⭐⭐⭐⭐⭐ |
| AutoDL等云GPU平台 | 约1-3元/小时 | 很快 | ⭐⭐⭐⭐ |
| 本地GPU（如RTX 3060） | 一次性投入 | 快 | ⭐⭐⭐⭐ |
Q2：FastGPT和直接用OpenAI API有什么区别？
FastGPT是一个开源的AI应用开发平台，它的优势在于：
- 可视化搭建：不用写太多代码，拖拽就能搭建AI应用
- 知识库管理：可以上传文档，让AI基于你的文档回答问题
- 工作流编排：可以串联多个AI步骤，实现复杂逻辑
- 适合非程序员：产品经理、运营也能快速上手
如果你是开发者，直接用API更灵活；如果你想快速搭建一个AI应用给团队用，FastGPT是更好的选择。
Q3：Sora生成的视频效果真的那么好吗？
Sora确实很强，但也有局限：
- ✅ 优点：物理规律理解好、画面连贯性强、支持长视频
- ❌ 局限：复杂交互场景偶尔出错、生成速度较慢、成本高
我建议大家理性看待，AIGC是工具，不是万能的。
Q4：学计算机视觉需要很强的数学基础吗？
入门不需要，深入需要。 我当初学的时候线性代数也就及格水平，但不影响我跑通项目。建议的学习顺序：
- 先动手跑项目，建立直觉
- 遇到不懂的数学概念再去学
- 逐步深入，不要一开始就啃论文
六、学习建议与避坑指南
6.1 推荐学习路径
第1周：Python基础 + NumPy操作
↓
第2周：OpenCV图像处理基础（读取、显示、滤波、边缘检测）
↓
第3周：PyTorch基础 + 简单CNN模型
↓
第4周：实战项目（图像分类 / 风格迁移 / 目标检测）
↓
第5-6周：了解AIGC原理，尝试使用FastGPT搭建应用
↓
第7-8周：关注Sora等前沿技术，跟进最新论文
6.2 避坑指南（我踩过的坑）
- 不要一上来就啃论文：先跑代码，建立感性认识
- 注意版本兼容：PyTorch、CUDA、Python版本要匹配，否则各种报错
- 善用Google Colab：免费GPU，不用配置本地环境
- 多看开源项目：GitHub上有很多优秀的CV项目，直接看代码学最快
- 不要忽视传统CV：虽然深度学习是主流，但OpenCV的传统算法在实际工程中依然大量使用
6.3 推荐资源
| 资源类型 | 推荐内容 | 适合阶段 |
|---|---|---|
| 视频课程 | 李沐《动手学深度学习》 | 入门到进阶 |
| 书籍 | 《Python计算机视觉编程》 | 入门 |
| 实战平台 | Kaggle竞赛 | 进阶 |
| 社区 | 掘金、知乎CV话题 | 全程 |
| 前沿跟踪 | Papers With Code | 进阶 |
七、总结
今天我们从零开始，了解了计算机视觉的核心概念，学习了AIGC、FastGPT、Sora这些热门技术，还动手完成了一个图像风格迁移的实战项目。
回顾一下关键收获：
- 计算机视觉的本质是让计算机理解图像，图像在计算机中就是数字矩阵
- AIGC正在改变内容创作的方式，从文字到图片再到视频
- FastGPT让我们能快速搭建AI应用，降低了开发门槛
- Sora代表了视频生成的前沿水平，未来可期
我当初学的时候，走了很多弯路。希望这篇教程能帮你少走一些弯路，快速入门计算机视觉的世界。
下一步建议：把文中的代码都跑一遍，遇到问题先在掘金搜索，找不到再来评论区问我。我们下篇教程见！
💡 互动时间：你对计算机视觉的哪个方向最感兴趣？图像识别、视频生成、还是3D重建？欢迎在评论区留言，我后续会针对热门方向出专题教程。
📌 系列预告：下一篇《用YOLOv8实现实时目标检测》，手把手带你做一个能识别猫狗的实时检测应用，记得关注不迷路！
标签:AIGCFastGPTSora
为你推荐
暂无相关推荐
评论 0