关键漏洞信息 Inter-Node Communication 默认不安全：多节点vLLM部署中的所有节点间通信默认是不安全的，必须通过将节点放置在隔离网络中来保护。 通信类型： - PyTorch分布式通信 - KV缓存传输通信 - 张量、管道和数据并行通信 Configuration Options for Inter-Node Communications 环境变量： - ：设置vLLM进程通信的IP地址 KV Cache Transfer配置： - ：KV缓存传输通信的IP地址（默认：127.0.0.1） - ：KV缓存传输通信的端口（默认：14579） Data Parallel配置： - ：数据并行主节点的IP（默认：127.0.0.1） - ：数据并行主节点的端口（默认：29500） Notes on PyTorch Distributed 关键点： - PyTorch分布式功能仅用于内部通信 - 不适用于不受信任的环境或网络 - 没有包含授权协议以提高性能 - 消息未加密发送 - 连接来自任何地方且没有检查 Security Recommendations 1. 网络隔离： - 在专用、隔离的网络上部署vLLM节点 - 使用网络分段防止未经授权的访问 - 实施适当的防火墙规则 2. 配置最佳实践： - 始终将 设置为特定IP地址而不是使用默认值 - 配置防火墙仅允许节点之间必要的端口 3. 访问控制： - 限制对部署环境的物理和网络访问 - 对管理接口实施适当的认证和授权 - 遵循所有系统组件的最小权限原则 Security and Firewalls: Protecting Exposed vLLM Systems 主要关注点：使用 ，vLLM利用分布式通信，包括在单个主机上使用vLLM时。当vLLM使用TCP初始化时，PyTorch创建一个默认监听所有网络接口的 。这意味着除非额外保护措施到位，否则这些服务可能通过任何网络接口被任何可以到达机器的主机访问。 Firewall Configuration Guidance 最佳实践： - 阻止所有传入连接，除了API服务器正在监听的TCP端口 - 确保用于内部通信的端口（如 和KV缓存传输）仅从受信主机或网络可访问 - 永远不要将这些内部端口暴露给公共互联网或不受信任的网络 Reporting Security Vulnerabilities 报告流程：如果发现vLLM的安全漏洞，请按照项目的安全策略进行报告。有关如何报告安全问题和项目安全策略的更多信息，请参阅vLLM Security Policy。