前些日子,前辈推荐了一个有趣的项目 —— Real-Time-Person-Removal ,这个项目使用了 TensorFlow.js ,以及 canvas 中的图像处理实现视频中的人物消失。借此机会,复习下 canvas 基础中的图像处理。
基础 API
canvas 的图像处理能力通过 ImageData 对象来处理像素数据。主要的 API 如下:
- createImageData():创建一个空白的 ImageData 对象
- getImageData():获取画布像素数据,每一个像素点有 4 个值 —— rgba
- putImageData():将像素数据写入画布
imageData = { width: Number, height: Number, data: Uint8ClampedArray }
width 是 canvas 画布的宽或者说 x 轴的像素数量;height 是画布的高或者说 y 轴的像素数量;data 是画布的像素数据数组,总长度 w * h * 4,每 4 个值(rgba)代表一个像素。
对图片的处理
下面,我们通过几个例子来看下 canvas 基础的图片处理能力。
原图效果:
const cvs = document.getElementById("canvas"); const ctx = cvs.getContext("2d"); const img = new Image(); img.src="图片 URL"; img.onload = function () { ctx.drawImage(img, 0, 0, w, h); }
底片/负片效果
算法:将 255 与像素点的 rgb 的差,作为当前值。
function negative(x) { let y = 255 - x; return y; }
效果图:
const imageData = ctx.getImageData(0, 0, w, h); const { data } = imageData; let l = data.length; for(let i = 0; i < l; i+=4) { const r = data[i]; const g = data[i + 1]; const b = data[i + 2]; data[i] = negative(r); data[i + 1] = negative(g); data[i + 2] = negative(b); } ctx.putImageData(imageData, 0, 0);
单色效果
单色效果就是保留当前像素的 rgb 3个值中的一个,去除其他色值。
for(let i = 0; i < l; i+=4) { // 去除了 r 、g 的值 data[i] = 0; data[i + 1] = 0; }
效果图:
灰度图
灰度图:每个像素只有一个色值的图像。0 到 255 的色值,颜色由黑变白。
for(let i = 0; i < l; i+=4) { const r = data[i]; const g = data[i + 1]; const b = data[i + 2]; const gray = grayFn(r, g, b); data[i] = gray; data[i + 1] = gray; data[i + 2] = gray; }
算法1——平均法:
const gray = (r + g + b) / 3;
效果图:
算法2——人眼感知:根据人眼对红绿蓝三色的感知程度:绿 > 红 > 蓝,给定权重划分
const gray = r * 0.3 + g * 0.59 + b * 0.11
效果图:
除此以外,还有:
取最大值或最小值。
const grayMax = Math.max(r, g, b); // 值偏大,较亮 const grayMin = Math.min(r, g, b); // 值偏小,较暗
取单一通道,即 rgb 3个值中的一个。
二值图
算法:确定一个色值,比较当前的 rgb 值,大于这个值显示黑色,否则显示白色。
for(let i = 0; i < l; i+=4) { const r = data[i]; const g = data[i + 1]; const b = data[i + 2]; const gray = gray1(r, g, b); const binary = gray > 126 ? 255 : 0; data[i] = binary; data[i + 1] = binary; data[i + 2] = binary; }
效果图:
高斯模糊
高斯模糊是“模糊”算法中的一种,每个像素的值都是周围相邻像素值的加权平均。原始像素的值有最大的高斯分布值(有最大的权重),相邻像素随着距离原始像素越来越远,权重也越来越小。
一阶公式:
(使用一阶公式是因为一阶公式的算法比较简单)
const radius = 5; // 模糊半径 const weightMatrix = generateWeightMatrix(radius); // 权重矩阵 for(let y = 0; y < h; y++) { for(let x = 0; x < w; x++) { let [r, g, b] = [0, 0, 0]; let sum = 0; let k = (y * w + x) * 4; for(let i = -radius; i <= radius; i++) { let x1 = x + i; if(x1 >= 0 && x1 < w) { let j = (y * w + x1) * 4; r += data[j] * weightMatrix[i + radius]; g += data[j + 1] * weightMatrix[i + radius]; b += data[j + 2] * weightMatrix[i + radius]; sum += weightMatrix[i + radius]; } } data[k] = r / sum; data[k + 1] = g / sum; data[k + 2] = b / sum; } } for(let x = 0; x < w; x++) { for(let y = 0; y < h; y++) { let [r, g, b] = [0, 0, 0]; let sum = 0; let k = (y * w + x) * 4; for(let i = -radius; i <= radius; i++) { let y1 = y + i; if(y1 >= 0 && y1 < h) { let j = (y1 * w + x) * 4; r += data[j] * weightMatrix[i + radius]; g += data[j + 1] * weightMatrix[i + radius]; b += data[j + 2] * weightMatrix[i + radius]; sum += weightMatrix[i + radius]; } } data[k] = r / sum; data[k + 1] = g / sum; data[k + 2] = b / sum; } } function generateWeightMatrix(radius = 1, sigma) { // sigma 正态分布的标准偏差 const a = 1 / (Math.sqrt(2 * Math.PI) * sigma); const b = - 1 / (2 * Math.pow(sigma, 2)); let weight, weightSum = 0, weightMatrix = []; for (let i = -radius; i <= radius; i++){ weight = a * Math.exp(b * Math.pow(i, 2)); weightMatrix.push(weight); weightSum += weight; } return weightMatrix.map(item => item / weightSum); // 归一处理 }
效果图:
其他效果
这里再简单介绍下其他的图像效果处理,因为例子简单重复,所以不再给出代码和效果图。
- 亮度调整:将 rgb 值,分别加上一个给定值。
- 透明化处理:改变 rgba 值中的 a 值。
- 对比度增强:将 rgb 值分别乘以 2,然后再减去一个给定值。
总结
好了,上面就是一些基础的图像处理算法。
参考资料
高斯模糊的算法
高斯模糊
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 凤飞飞《我们的主题曲》飞跃制作[正版原抓WAV+CUE]
- 刘嘉亮《亮情歌2》[WAV+CUE][1G]
- 红馆40·谭咏麟《歌者恋歌浓情30年演唱会》3CD[低速原抓WAV+CUE][1.8G]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[320K/MP3][193.25MB]
- 【轻音乐】曼托凡尼乐团《精选辑》2CD.1998[FLAC+CUE整轨]
- 邝美云《心中有爱》1989年香港DMIJP版1MTO东芝首版[WAV+CUE]
- 群星《情叹-发烧女声DSD》天籁女声发烧碟[WAV+CUE]
- 刘纬武《睡眠宝宝竖琴童谣 吉卜力工作室 白噪音安抚》[FLAC/分轨][748.03MB]
- 理想混蛋《Origin Sessions》[320K/MP3][37.47MB]
- 公馆青少年《我其实一点都不酷》[320K/MP3][78.78MB]
- 群星《情叹-发烧男声DSD》最值得珍藏的完美男声[WAV+CUE]
- 群星《国韵飘香·贵妃醉酒HQCD黑胶王》2CD[WAV]
- 卫兰《DAUGHTER》【低速原抓WAV+CUE】
- 公馆青少年《我其实一点都不酷》[FLAC/分轨][398.22MB]
- ZWEI《迟暮的花 (Explicit)》[320K/MP3][57.16MB]