云原生环境中的边缘计算:从K3s到生产实践

🔥 硬核开场

各位技术大佬们,今天咱们来聊聊边缘计算和云原生的那些事儿。别跟我说你还在传统数据中心玩云原生,那都out了!现在的云原生早已经延伸到了边缘,从工厂车间到智能交通,从智能家居到工业物联网,边缘计算正在改变我们的技术格局。今天susu就带你们从K3s开始,一步步搭建边缘计算平台,从部署到运维,全给你整明白!

📋 核心内容

1. 边缘计算与云原生的碰撞

  • 边缘计算是什么:在靠近数据产生的地方进行计算,减少延迟,降低带宽成本
  • 云原生为什么适合边缘:容器化、编排、自动化,这些云原生特性完美适配边缘环境的资源受限、分布广泛的特点
  • 边缘计算的挑战:资源有限、网络不稳定、部署分散、运维复杂

2. K3s:为边缘而生的Kubernetes发行版

K3s是Rancher推出的轻量级Kubernetes发行版,专为边缘计算设计,只有512MB内存就能跑起来。

2.1 K3s的核心特性
  • 轻量化:移除了不必要的组件,二进制文件只有不到100MB
  • 低资源占用:最低512MB内存就能运行
  • 自包含:内置SQLite作为默认存储,也支持外部数据库
  • 易于部署:单二进制文件,支持多种安装方式
  • 边缘优化:针对ARM架构优化,支持各种边缘设备
2.2 部署K3s服务器
# 安装K3s服务器
curl -sfL https://get.k3s.io | sh -s - server

# 查看K3s状态
systemctl status k3s

# 查看节点状态
kubectl get nodes

# 获取节点令牌(用于添加agent)
k3s token create --print
2.3 添加边缘节点
# 在边缘设备上安装K3s agent
# 替换TOKEN为上面获取的令牌
# 替换SERVER_IP为K3s服务器的IP
curl -sfL https://get.k3s.io | K3S_URL=https://SERVER_IP:6443 K3S_TOKEN=TOKEN sh -

# 查看所有节点
kubectl get nodes

3. 边缘应用部署实践

3.1 部署边缘应用示例
apiVersion: apps/v1
kind: Deployment
metadata:
  name: edge-app
  namespace: default
spec:
  replicas: 2
  selector:
    matchLabels:
      app: edge-app
  template:
    metadata:
      labels:
        app: edge-app
    spec:
      nodeSelector:
        kubernetes.io/hostname: edge-node-1  # 指定边缘节点
      containers:
      - name: edge-app
        image: nginx:alpine
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: "100m"
            memory: "128Mi"
          limits:
            cpu: "500m"
            memory: "256Mi"
---
apiVersion: v1
kind: Service
metadata:
  name: edge-app-service
spec:
  selector:
    app: edge-app
  ports:
  - port: 80
    targetPort: 80
  type: NodePort
3.2 部署边缘AI推理服务
apiVersion: apps/v1
kind: Deployment
metadata:
  name: edge-ai-inference
  namespace: default
spec:
  replicas: 1
  selector:
    matchLabels:
      app: edge-ai
  template:
    metadata:
      labels:
        app: edge-ai
    spec:
      nodeSelector:
        kubernetes.io/hostname: edge-node-2
      containers:
      - name: edge-ai
        image: tensorflow/serving:2.10.0
        ports:
        - containerPort: 8501
        resources:
          requests:
            cpu: "500m"
            memory: "1Gi"
          limits:
            cpu: "2"
            memory: "2Gi"
        volumeMounts:
        - name: model-volume
          mountPath: /models
      volumes:
      - name: model-volume
        persistentVolumeClaim:
          claimName: edge-model-pvc

4. 边缘网络管理

边缘环境的网络通常不稳定,需要特殊的网络配置。

4.1 配置边缘网络策略
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: edge-network-policy
  namespace: default
spec:
  podSelector:
    matchLabels:
      app: edge-app
  ingress:
  - from:
    - podSelector:
        matchLabels:
          app: edge-proxy
    ports:
    - protocol: TCP
      port: 80
  egress:
  - to:
    - podSelector:
        matchLabels:
          app: edge-db
    ports:
    - protocol: TCP
      port: 5432
4.2 使用MetalLB实现边缘负载均衡
# 安装MetalLB
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.13.7/config/manifests/metallb-native.yaml

# 配置IP地址池
cat <<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: edge-ip-pool
  namespace: metallb-system
spec:
  addresses:
  - 192.168.1.100-192.168.1.200
EOF

# 配置L2广告
cat <<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: edge-l2-advertisement
  namespace: metallb-system
spec:
  ipAddressPools:
  - edge-ip-pool
EOF

5. 边缘存储管理

边缘设备的存储通常有限,需要合理配置存储策略。

5.1 配置本地存储
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: local-storage
defaultClass: false
provisioner: kubernetes.io/no-provisioner
volumeBindingMode: WaitForFirstConsumer
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: edge-local-pv
spec:
  capacity:
    storage: 10Gi
  accessModes:
  - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: local-storage
  local:
    path: /mnt/edge-storage
  nodeAffinity:
    required:
      nodeSelectorTerms:
      - matchExpressions:
        - key: kubernetes.io/hostname
          operator: In
          values:
          - edge-node-1
5.2 配置存储资源请求
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: edge-app-pvc
spec:
  storageClassName: local-storage
  accessModes:
  - ReadWriteOnce
  resources:
    requests:
      storage: 5Gi

6. 边缘监控与可观测性

边缘设备分布广泛,监控尤为重要。

6.1 部署Prometheus和Grafana
# 使用Helm安装Prometheus和Grafana
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install prometheus prometheus-community/kube-prometheus-stack --namespace monitoring --create-namespace

# 查看监控组件
kubectl get pods -n monitoring
6.2 配置边缘节点监控
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: edge-node-monitor
  namespace: monitoring
spec:
  selector:
    matchLabels:
      app: edge-app
  endpoints:
  - port: metrics
    interval: 15s

7. 边缘安全管理

边缘设备通常暴露在非受控环境中,安全至关重要。

7.1 配置Pod安全策略
apiVersion: policy/v1beta1
kind: PodSecurityPolicy
metadata:
  name: edge-psp
  annotations:
    seccomp.security.alpha.kubernetes.io/allowedProfileNames: 'docker/default'
    apparmor.security.beta.kubernetes.io/allowedProfileNames: 'runtime/default'
    seccomp.security.alpha.kubernetes.io/defaultProfileName:  'docker/default'
    apparmor.security.beta.kubernetes.io/defaultProfileName:  'runtime/default'
spec:
  privileged: false
  allowPrivilegeEscalation: false
  requiredDropCapabilities:
  - ALL
  volumes:
  - 'configMap'
  - 'emptyDir'
  - 'projected'
  - 'secret'
  - 'downwardAPI'
  - 'persistentVolumeClaim'
  hostNetwork: false
  hostIPC: false
  hostPID: false
  runAsUser:
    rule: 'MustRunAsNonRoot'
  seLinux:
    rule: 'RunAsAny'
  supplementalGroups:
    rule: 'MustRunAs'
    ranges:
    - min: 1
      max: 65535
  fsGroup:
    rule: 'MustRunAs'
    ranges:
    - min: 1
      max: 65535
7.2 配置网络安全策略
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: edge-security-policy
  namespace: default
spec:
  podSelector:
    matchLabels:
      app: edge-app
  policyTypes:
  - Ingress
  - Egress
  ingress:
  - from:
    - ipBlock:
        cidr: 192.168.1.0/24
    ports:
    - protocol: TCP
      port: 80
  egress:
  - to:
    - ipBlock:
        cidr: 10.0.0.0/8
    ports:
    - protocol: TCP
      port: 443

🛠️ 最佳实践

  1. 资源管理:

    • 为边缘应用设置合理的资源限制,避免资源耗尽
    • 使用节点亲和性将应用部署到合适的边缘节点
    • 定期清理未使用的资源,保持边缘节点健康
  2. 网络优化:

    • 配置边缘节点的网络QoS,确保关键应用的网络优先级
    • 使用本地缓存减少对云中心的网络依赖
    • 实现边缘节点间的通信优化,减少延迟
  3. 存储策略:

    • 优先使用本地存储,减少网络存储的依赖
    • 实现数据分层存储,热数据保存在本地,冷数据同步到云中心
    • 配置存储配额,避免单个应用占用过多存储资源
  4. 监控与告警:

    • 部署轻量级监控组件,减少监控对边缘资源的消耗
    • 设置关键指标的告警,及时发现边缘节点的异常
    • 实现监控数据的边缘处理,只将必要的数据传输到云中心
  5. 安全防护:

    • 为边缘节点配置防火墙,限制不必要的网络访问
    • 定期更新边缘节点的系统和容器镜像,修复安全漏洞
    • 实现边缘节点的身份认证和授权管理
  6. 灾备与恢复:

    • 实现边缘应用的自动重启和故障转移
    • 配置关键数据的备份策略,确保数据安全
    • 建立边缘节点的快速恢复机制,减少故障时间

📊 总结

边缘计算与云原生的结合,正在开启一个全新的技术时代。通过本文的实践,你应该已经掌握了:

  • 使用K3s部署轻量级Kubernetes集群到边缘设备
  • 部署和管理边缘应用,包括AI推理服务
  • 配置边缘网络、存储和安全策略
  • 实现边缘监控与可观测性
  • 应用边缘计算的最佳实践

记住,边缘计算的核心是靠近数据产生的地方进行处理,减少延迟,提高效率。在实施边缘计算时,要根据实际场景选择合适的技术栈和部署策略。


susu碎碎念:

  • K3s虽然轻量,但生产环境还是要做好资源规划
  • 边缘设备的网络环境复杂,要做好网络容错设计
  • 安全是边缘计算的重中之重,不要忽视安全配置
  • 监控要轻量化,避免监控本身成为边缘节点的负担

觉得有用?点个赞再走!咱们下期见~ 🔥

Logo

聚焦RDK与具身智能,汇集机器人开发教程、开源案例和技术交流

更多推荐