stderr和stdout：理解日志与输出

发表于 2024-02-17 更新于 2024-02-22 分类于算法编程阅读次数：

以Python为例探讨stdout和stderr的区别和应用

标准输出（stdout）与标准错误（stderr）这两个概念虽然简单，但在日志记录、错误处理和数据流管理中扮演着核心角色。本文将探讨stdout和stderr的区别和应用，尤其是在Python环境中如何有效地使用它们。

标准输出（`stdout`）与标准错误（`stderr`）

在大多数操作系统中，标准输出和标准错误是进程的两个主要输出流。它们提供了一种机制，使得进程可以将信息和错误消息发送到终端或文件。虽然这两个流在物理上可能相同（例如，都显示在同一终端界面上），但它们在逻辑上用于不同的目的：

标准输出（stdout）：通常用于输出程序的执行结果或正常的运行信息。
标准错误（stderr）：专门用于输出错误消息或警告，即使在标准输出被重定向时，这些信息通常也需要被看到或记录。

Python中的`print`和`logging`

在Python中，print函数默认将信息发送到stdout，而logging模块则默认将日志消息发送到stderr。这样做的目的是区分正常的程序输出和日志（包括错误和调试信息）输出，使得开发者可以更容易地管理和过滤输出信息。

使用`print`

print是Python中最基本的输出函数，用于将信息输出到标准输出流。它简单易用，适合于快速的调试或向用户显示信息。例如：

print("Hello, world!")

使用`logging`

logging模块提供了一个灵活的框架，用于在应用程序中添加日志消息。与print不同，logging支持不同的日志级别（DEBUG, INFO, WARNING, ERROR, CRITICAL），允许开发者根据需要调整日志的详细程度和输出位置。例如：

import logging

logging.error('This is an error message')

tqdm与`stderr`

在复杂的或长时间运行的程序中，使用进度条是向用户展示进程进度的一种有效方式。Python的tqdm库是一个广泛使用的工具，用于在命令行中添加进度条。tqdm默认将进度信息输出到stderr，以免干扰到正常的程序输出（stdout）。

分流`stdout`和`stderr`

在某些情况下，将正常输出和错误或日志消息分开，例如，将它们重定向到不同的文件或终端。在命令行中，可以使用重定向操作符>和2>来实现。在Python代码中，可以通过配置logging模块或使用特定的文件对象来实现更细粒度的控制。

python script.py > output.log 2> error.log

通过命令行重定向、Python的print函数甚至logging模块，都可以灵活地控制和分流这两种类型的输出，使得错误处理、日志记录和用户交互更加清晰和有序。

使用`nohup`管理`stdout`和`stderr`

在部署长时间运行的后台进程时，nohup命令成为了一个重要的工具。nohup，或“no hang up”，允许命令在用户注销后继续运行，这对于远程启动任务尤其有用。nohup的一个关键特性是它的能力来管理stdout和stderr。

默认情况下，使用nohup运行命令会将stdout和stderr合并重定向到nohup.out文件，除非另外指定。这意味着无论是正常的输出还是错误消息，都会被捕获到同一个文件中，方便日后审查。但在某些情况下，将这两种输出分开可能更有用。

分开`stdout`和`stderr`的`nohup`使用

要在使用nohup时将stdout和stderr输出到不同的文件，可以结合使用重定向操作符。例如：

nohup python script.py > output.log 2> error.log &

这条命令将stdout重定向到output.log，stderr重定向到error.log，并通过&在后台运行。这样，即使关闭了终端或者SSH会话，程序也会继续运行，并且其输出会被妥善记录。

在Python中的缓冲行为

stdout和stderr在缓冲数据时表现不同。默认情况下，stdout是行缓冲的，当连接到终端时，它会缓存数据直到收到换行符或缓冲区满；在非交互模式下，stdout 是块缓冲的（像文件一样）。而stderr总是行缓冲的（python 3.9版本之前，非交互模式下是块缓冲）。以下内容来自官方文档sys — 系统相关的形参和函数 — Python 3.12.2 文档

When interactive, the stdout stream is line-buffered. Otherwise, it is block-buffered like regular text files. The stderr stream is line-buffered in both cases. You can make both streams unbuffered by passing the [u](<https://docs.python.org/3.12/using/cmdline.html#cmdoption-u>) command-line option or setting the [PYTHONUNBUFFERED](<https://docs.python.org/3.12/using/cmdline.html#envvar-PYTHONUNBUFFERED>) environment variable.

Changed in version 3.9: Non-interactive stderr is now line-buffered instead of fully buffered.

缓冲粒度越小，输出就越及时，但相应的IO代价就更大。Python 3.8及之前，将stdout 和stderr 做了相同粒度的缓冲，实在是不太合理；在3.9版本后，stderr 有了更小的缓冲粒度，意味着每个写入操作的输出会比stdout 更及时。这种差异使得stderr适合于错误和日志信息，确保即使在程序崩溃或异常退出时，这些信息也能比标准输出有更高的优先级。

在C++中，标准错误是无缓冲的（见后文），更为激进，但我个人认为这种会更合理一些。

但好在，Python中可以通过python -u或设置环境变量PYTHONUNBUFFERED来禁用这种缓冲行为，或是直接操作sys.stdout.flush()来控制输出时机。

在Python并发环境中的表现

在多线程或多进程环境中使用stdout和stderr时，输出可能会交错或混乱，因为来自不同线程或进程的输出可能会在写入终端或文件时相互干扰。解决这一问题的一种方法是为每个线程或进程创建独立的输出文件，或使用线程锁（thread locks）或进程同步机制（如multiprocessing.Lock）来同步对stdout或stderr的访问。

Python控制`stdout`和`stderr`

在复杂的应用中，你可能需要更灵活地控制输出流的目的地。Python提供了多种方式来实现这一点：

**重定向stdout和stderr**：可以通过改变sys.stdout和sys.stderr的值来重定向Python程序的标准输出和错误输出。这对于捕获和分析输出，或将输出重定向到图形界面等非标准输出设备特别有用。
使用subprocess模块：当运行外部命令或脚本时，subprocess模块允许你控制命令的stdout和stderr流，包括将它们重定向到Python程序内部的变量，或将它们分开或合并。
日志模块的高级应用：Python的logging模块支持将日志输出到多个目的地，包括文件、标准输出、网络等。通过配置不同的日志处理器（handlers），你可以实现复杂的日志管理方案，如基于日志级别或消息内容将日志分流到不同的输出中。

建议

谨慎管理输出：在设计软件时，明确区分用于用户交互的输出（stdout）和用于错误报告或日志记录的输出（stderr）。这有助于提高程序的可用性和维护性。
优化性能：考虑输出操作的性能影响，特别是在高频率日志或数据输出的场景下。合理使用缓冲和批量处理可以减少对性能的影响。
安全性考虑：在输出敏感信息前进行适当的过滤和脱敏，避免通过日志泄露敏感数据。

通过深入理解和灵活应用stdout和stderr，可以构建出更健壮、更易于管理的Python应用程序，有效地处理日志和输出，提升用户体验和应用稳定性。

在C++中的缓冲行为

在C++中，stdout（通常对应于std::cout）和stderr（对应于std::cerr）有不同的缓冲策略：

std::cout 默认是行缓冲的，这意味着当它连接到一个终端时，输出会在每次换行时刷新，或者缓冲区满时刷新。
std::cerr 默认是无缓冲的，因此每次写入std::cerr的数据都会立即输出，这对于报告错误信息非常有用，因为它减少了程序崩溃导致错误信息未被输出的风险。

重定向`stdout`和`stderr`

在C++程序中，可以通过多种方式重定向stdout和stderr。一种常见的方法是使用freopen函数在程序运行时重定向标准输出或错误输出到文件：

freopen("output.txt", "w", stdout);
freopen("error.log", "w", stderr);

这种方法可以用于将输出重定向到文件，方便日后分析和调试。

C++多线程环境中的使用

在多线程的C++程序中使用std::cout和std::cerr时，可能会遇到竞争条件，导致输出混乱。为了避免这种情况，推荐使用互斥锁（如std::mutex）来同步对这些流的访问：

#include <iostream>
#include <mutex>
#include <thread>

std::mutex cout_mutex;

void thread_function(int id) {
    std::lock_guard<std::mutex> lock(cout_mutex);
    std::cout << "Thread " << id << " is running\\\\n";
}

int main() {
    std::thread t1(thread_function, 1);
    std::thread t2(thread_function, 2);

    t1.join();
    t2.join();

    return 0;
}

C++控制输出

C++标准库提供了std::streambuf，可以用来实现对std::cout和std::cerr更细粒度的控制，包括重定向和自定义缓冲行为。通过继承std::streambuf并重写相应的成员函数，你可以创建自定义的缓冲策略，或将输出重定向到GUI组件、网络连接等。

建议

合理使用缓冲：根据应用场景选择合适的缓冲策略。对于需要立即反馈的错误信息，使用std::cerr或手动刷新std::cout。
避免在多线程中直接使用标准输出：使用互斥锁或其他同步机制来保证输出的一致性和顺序。
**使用重定向和自定义streambuf**：为了更灵活地处理输出，考虑使用重定向或自定义streambuf来实现特殊的输出需求，如日志记录、网络传输等。

通过掌握这些进阶技术，可以在保证C++程序健壮性和灵活性的同时，有效地管理和控制程序的输出。

标准输出（stdout）与标准错误（stderr）

Python中的print和logging

使用print

使用logging

tqdm与stderr

分流stdout和stderr

使用nohup管理stdout和stderr

分开stdout和stderr的nohup使用