流是分块处理数据的抽象结构,可节省内存、提升响应速度并支持背压;浏览器通过ReadableStream、WritableStream和TransformStream实现流式传输,如用fetch读取大文件并逐段处理;TransformStream可用于实时转换数据;Node.js中stream模块广泛用于文件、HTTP等场景,通过pipe方法高效复制大文件,避免内存溢出。
JavaScript 中的流处理和数据传输是现代 Web 开发中实现高效数据操作的重要手段,尤其在处理大文件、实时通信或网络请求时尤为关键。它允许你以分块方式读取、转换和发送数据,而不是一次性加载全部内容,从而提升性能和响应速度。
流是一种抽象的数据结构,用于按顺序、分批地处理数据。在 JavaScript 中,尤其是在浏览器和 Node.js 环境中,流被广泛用于处理 HTTP 请求、文件读写、音视频处理等场景。
流的核心优势在于:
现代浏览器提供了 ReadableStream、WritableStream 和 TransformStream 等原生 API,可用于处理网络数据流。
例如,从 fetch() 获取一个可读流并逐段处理响应:
const response = await fetch('/large-file.txt');
const reader = response.body.getReader();
while (true) {
const { done, value } = await re
ader.read();
if (done) break;
// 处理每一小段数据
console.log(new TextDecoder().decode(value));
}
这种方式特别适合下载大文件、解析大型 JSON 或文本流,避免阻塞主线程。
当你需要在传输过程中修改数据时,TransformStream 非常有用。它可以连接可读流和可写流,并在中间进行处理。
比如,实时压缩或解码数据:
const transform = new TransformStream({
transform(chunk, controller) {
// 对每个数据块做处理,例如添加前缀
controller.enqueue(`[processed] ${chunk}`);
}
});
// 将 fetch 流通过 transform 处理
const response = await fetch('/data.txt');
const processedReader = response.body
.pipeThrough(new TextDecoderStream())
.pipeThrough(transform)
.getReader();
while (true) {
const { done, value } = await processedReader.read();
if (done) break;
console.log(value);
}
在 Node.js 中,stream 模块是核心模块之一,常见于文件系统、HTTP 服务器和子进程通信。
常见的流类型包括:
示例:复制大文件而不占满内存
const fs = require('fs');
const readStream = fs.createReadStream('input.mp4');
const writeStream = fs.createWriteStream('output.mp4');
readStream.pipe(writeStream); // 自动处理背压
这种 .pipe() 方法简洁高效,是 Node.js 流的经典用法。
基本上就这些。掌握流处理能显著提升你在处理大量数据或实时信息时的能力,无论是在前端还是后端。关键是理解“分块”思维,避免一次性加载全部数据。