OPSaid – 漏洞扫描

Docs: 漏洞数据

Mon, 18 Dec 2023 11:23:23 +0800

简要概述

漏洞数据的来源，数据库的下载与制作。

数据库下载

通过 trivy 下载漏洞库

各组件安全漏洞列表已由工具 trivy-db 通过 GitHub Action 每 6 小时聚合并更新漏洞库，上传至 GHCR（为 GitHub 镜像中心服务），我们可同步该漏洞库用于离线扫描镜像、K8S 集群、本地文件系统等。

通过 trivy 工具下载至本地缓存，取保网络连接可达：

# 线路加速，根据事情情况是否开启
#export HTTPS_PROXY=http://127.0.0.1:1087

trivy --cache-dir ./cache image --download-db-only

制作私有漏洞库

TODO;

思路：

获取仓库 https://github.com/aquasecurity/trivy-db.git
更改流水线 .github/workflows/cron.yml
生成漏洞库上传至内部存储中心

漏洞数据来源

操作系统

名称	漏洞库	地址
Alpine Linux	secdb	https://secdb.alpinelinux.org/
	aquasecurity	https://github.com/aquasecurity/vuln-list
Debian	Security Bug Tracker	https://security-tracker.debian.org/tracker/
	OVAL	https://www.debian.org/security/oval/
	aquasecurity	https://github.com/aquasecurity/vuln-list-debian
Ubuntu	Ubuntu CVE Tracker	https://ubuntu.com/security/cve
	aquasecurity	https://github.com/aquasecurity/vuln-list
RHEL/CentOS	OVAL	https://www.redhat.com/security/data/oval/v2/
	Security Data	https://www.redhat.com/security/data/metrics/
	aquasecurity	https://github.com/aquasecurity/vuln-list-redhat
Arch Linux	Vulnerable Issues	https://security.archlinux.org/
Wolfi Linux	secdb	https://secdb.alpinelinux.org/
Chainguard	secdb	https://secdb.alpinelinux.org/
Amazon Linux	Amazon Linux Security Center	https://alas.aws.amazon.com/
AlmaLinux	AlmaLinux Product Errata	https://errata.almalinux.org/
Rocky Linux	Rocky Linux UpdateInfo	https://download.rockylinux.org/pub/rocky/
Oracle Linux	OVAL	https://linux.oracle.com/security/oval/
CBL-Mariner	OVAL	https://github.com/microsoft/CBL-MarinerVulnerabilityData/
OpenSUSE/SLES	CVRF	http://ftp.suse.com/pub/projects/security/cvrf/
Photon OS	Photon Security Advisory	https://packages.vmware.com/photon/photon_cve_metadata/

语言框架

名称	漏洞库	地址
PHP	PHP Security Advisories Database	https://github.com/FriendsOfPHP/security-advisories
	GitHub Advisory Database (Composer)	https://github.com/advisories?query=ecosystem%3Acomposer
Python	GitHub Advisory Database (pip)	https://github.com/advisories?query=ecosystem%3Apip
	Open Source Vulnerabilities (PyPI)	https://osv.dev/list?q=&ecosystem=PyPI
Ruby	Ruby Advisory Database	https://github.com/rubysec/ruby-advisory-db
	GitHub Advisory Database (RubyGems)	https://github.com/advisories?query=ecosystem%3Arubygems
Node.js	Ecosystem Security Working Group	https://github.com/nodejs/security-wg
	GitHub Advisory Database (npm)	https://github.com/advisories?query=ecosystem%3Anpm
Java	GitHub Advisory Database (Maven)	https://github.com/advisories?query=ecosystem%3Amaven
Go	GitHub Advisory Database (Go)	https://github.com/advisories?query=ecosystem%3Ago
Rust	Open Source Vulnerabilities (crates.io)	https://osv.dev/list?q=&ecosystem=crates.io
.NET	GitHub Advisory Database (NuGet)	https://github.com/advisories?query=ecosystem%3Anuget
C/C++	GitLab Advisories Community	https://gitlab.com/gitlab-org/advisories-community
Dart	GitHub Advisory Database (Pub)	https://github.com/advisories?query=ecosystem%3Apub
Elixir	GitHub Advisory Database (Erlang)	https://github.com/advisories?query=ecosystem%3Aerlang
Swift	GitHub Advisory Database (Swift)	https://github.com/advisories?query=ecosystem%3Aswift

Kubernetes

名称	漏洞库	地址
Bitnami	bitnami	https://github.com/bitnami/vulndb
Kubernetes	CVE feed	https://kubernetes.io/docs/reference/issues-security/official-cve-feed/
	aquasecurity	https://github.com/aquasecurity/vuln-list-k8s

其他来源

名称	漏洞库	地址
GitHub	GitHub	https://github.com/github/advisory-database
NVD	NVD	https://nvd.nist.gov/
	aquasecurity	https://github.com/aquasecurity/vuln-list-nvd
CocoaPods	CocoaPods	https://github.com/CocoaPods/Specs

使用 bbolt 存储的数据结构

获取 buckets 列表

$ bbolt buckets assets/trivy.db
$
...
pub::GitHub Security Advisory Pub
rocky 8
rocky 9
rubygems::GitHub Security Advisory RubyGems
...
ubuntu 22.04
...
vulnerability
wolfi
$

查找 buckets 下的 keys

$ bbolt keys assets/trivy.db vulnerability
$
CVE-1234-0007
CVE-1234-1234
CVE-1999-0150
CVE-1999-0163
CVE-1999-0199
CVE-1999-0236
...
openSUSE-SU-2023:0396-1
openSUSE-SU-2023:0397-1
openSUSE-SU-2023:0404-1
openSUSE-SU-2023:0405-1

获取 buckets 下 key 内容

$ bbolt get assets/trivy.db vulnerability CVE-1999-0150

{
 "Title": "CVE-1999-0150 affecting package finger 0.17-4",
 "Description": "The Perl fingerd program allows arbitrary command execution from remote users.",
 "Severity": "HIGH",
 "VendorSeverity": {
 "cbl-mariner": 3,
 "nvd": 3
 },
 "CVSS": {
 "nvd": {
 "V2Vector": "AV:N/AC:L/Au:N/C:P/I:P/A:P",
 "V2Score": 7.5
 }
 },
 "References": [
 "https://exchange.xforce.ibmcloud.com/vulnerabilities/CVE-1999-0150",
 "https://nvd.nist.gov/vuln/detail/CVE-1999-0150"
 ],
 "PublishedDate": "1997-07-01T04:00:00Z",
 "LastModifiedDate": "2022-08-17T07:15:00Z"
}

几个关键的 buckets

漏洞官方数据来源

data-source

$ bbolt get assets/trivy.db data-source "k8s::Official Kubernetes CVE Feed"

{
 "ID": "k8s",
 "Name": "Official Kubernetes CVE Feed",
 "URL": "https://kubernetes.io/docs/reference/issues-security/official-cve-feed/index.json"
}

Docs: 漏洞扫描

Fri, 15 Dec 2023 10:40:52 +0800

简要概述

通过开源漏洞库，实现对镜像、文件系统、代码仓库、K8S 配置清单等进行扫描以提前发现问题。

配置参数

工具 trivy 支持在 cli 直接跟参数或通过 trivy --cofnig trivy.yaml 使用配置文件，内容如下：

# 同 cli 参数 '--cache-dir'
# 存放漏洞库等缓存数据，首次初始化会自动从 github 下载
cache:
 dir: ./cache/

db:
 # 同 cli 参数 '--skip-db-update'
 # 本地漏洞库存在有效期，超过后会重新下载，这里忽略时间检测
 skip-update: true

# 仅列出 "UNKNOWN" "HIGH" "CRITICAL" 三个级别事件
severity:
 - UNKNOWN
 - HIGH
 - CRITICAL

scan:
 # 默认开启 "漏洞扫描“ 与 "密钥扫描"
 scanners:
 - vuln
 #- misconfig
 - secret
 #- license

以上等同于 cli 模式：

trivy \
 --cache-dir ./cache/ \
 --skip-policy-update \
 --skip-db-update \
 --skip-java-db-update \

以下实验均使用配置文件模式，更多内容可参考官方文档。

支持的功能

漏洞扫描

仅支持以上这些系统的安装包检测，如果是自编译或者第三方安装包则不被支持，因为漏洞源中没有相关数据。

安全评估等级

如果相同的漏洞，多家给予不通的评分，则一般以供应商的评估等级更加准确，比如 cve-2023-0464 上 Redhat 与 NVD 不同。因为安全评估的严重性取决于编译选项、默认配置等，NVD 不知道供应商如何分发软件，而厂商可以更准确地评估。

分数范围	等级
-	UNKNOWN
0.1 - 3.9	Low
4.0 - 6.9	Medium
7.0 - 8.9	High
9.0 - 10.0	Critical

评估等级优先级：系统厂商 > NVD。如果 NVD 未找到则标志等级为 “UNKNOWN”

错误配置扫描

TODO;

密钥扫描

TODO;

许可证扫描

TODO;

扫描的目标

容器镜像

默认开关的扫描功能：

功能	启动参数	默认启用
漏洞扫描	`trivy image --scanners vuln`	是
错误配置扫描	`trivy image --scanners config`	否
密钥扫描	`trivy image --scanners secret`	是
许可证扫描	`trivy image --scanners license`	否

通过对镜像 docker.io/bitnami/redis:7.2.3-debian-11-r2 进行扫描：

trivy --config trivy.yaml image docker.io/bitnami/redis:7.2.3-debian-11-r2

代码仓库

默认开关的扫描功能：

功能	启动参数	默认启用
漏洞扫描	`trivy repo --scanners vuln`	是
错误配置扫描	`trivy repo --scanners config`	否
密钥扫描	`trivy repo --scanners secret`	是
许可证扫描	`trivy repo --scanners license`	否

实现原理是通过扫描各语言依赖关系的锁定文件，部分如下列表：

语言	扫描文件
go	go.mod
node	package-lock.json
ruby	Gemfile.lock

支持扫描本地或者远程代码仓库，这里针对代码仓库 github.com/grpc-kit/cli 进行在线扫描：

trivy --config trivy.yaml repo https://github.com/grpc-kit/cli.git

然后生成如下报告：

Library	Vulnerability	Severity	Status	Installed Version	Fixed Version
golang.org/x/net	CVE-2022-41723	HIGH	fixed	0.6.0	0.7.0
golang.org/x/net	CVE-2023-39325	HIGH	fixed	0.6.0	0.17.0
github.com/emicklei/go-restful	CVE-2022-1996	CRITICAL	fixed	2.9.5+incompatible	2.16.0

本地文件

默认开关的扫描功能：

功能	启动参数	默认启用
漏洞扫描	`trivy fs --scanners vuln`	是
错误配置扫描	`trivy fs --scanners config`	否
密钥扫描	`trivy fs --scanners secret`	是
许可证扫描	`trivy fs --scanners license`	否

本地扫描文件存在两种不通的工作模式：

参数	用途	场景
`trivy fs`	针对镜像、语言依赖库扫描	一般用于 CICD 场景
`trivy rootfs`	针对文件系统上二进制文件等	操作系统扫描

如果代码仓库、容器镜像等均在本地，也可以通过该方式扫描，如：

trivy --config trivy.yaml fs test/go.mod

针对系统目录下 /usr/local/bin 二进制文件扫描，当然这些二进制文件必须是公开漏洞库中已有的数据，不能是内部自己编译应用：

trivy --config trivy.yaml rootfs /usr/local/bin/

Kubernetes

需要能访问到 k8s 集群，trivy 默认是通过读取 “$HOME/.kube/config” 连接集群。

可扫描以下内容：

trivy --config trivy.yaml k8s all
trivy --config trivy.yaml k8s pods
trivy --config trivy.yaml k8s deploy myapp
trivy --config trivy.yaml k8s pod/mypod
trivy --config trivy.yaml k8s pods,deploy
trivy --config trivy.yaml k8s cluster

支持针对以下几个合规进行扫描：

规则	指令参数	规范地址
NSA, CISA Kubernetes Hardening Guidance v1.2	k8s-nsa	url
CIS Benchmark for Kubernetes v1.23	k8s-cis	url
Pod Security Standards, Baseline	k8s-pss-baseline	url
Pod Security Standards, Restricted	k8s-pss-restricted	url

这里使用 k8s cis 规范进行检查，同 kube-beach：

trivy k8s cluster \
 --config trivy.yaml \
 --scanners vuln \
 --report summary \
 --compliance=k8s-cis

Java

TODO;

应用案例实践

容器镜像扫描

trivy --cache-dir ./cache/ image docker.io/bitnami/redis:7.2.3-debian-11-r2

预先下载漏洞库至本地目录 “./cache”，否则会在线下载。

trivy --cache-dir ./cache/ image docker.io/bitnami/redis:7.2.3-debian-11-r2 --report summary --severity UNKNOWN,HIGH,CRITICAL

仅列出 “HIGH” 与 “CRITICAL” 级别漏洞。

K8S 集群扫描

使用本地病毒库

trivy --cache-dir ./cache/ k8s -n kube-system --report summary all

业务开发代码仓库

TODO;

基础设施既代码

TODO;