当前位置：首页 > news >正文

进程间通信方式：对列、管道、共享内存

news 来源：原创 2025/4/30 4:47:11

一、概念说明

进程间通信，顾名思义，就是不同进程之间在执行时需要进行数据交换和信息传递，就比如两个小队在共同作战，彼此需要交换一些有用的情报，这样才能完成宏观的战略部署，达到胜利。

进程间通信（IPC Inter-Process Comunication）是指不同进程之间交换数据或信息的机制，在python中，常见的进程间通信方式包括：

1.对列（Quene）

2.管道（Pipe）

3.共享内存（Shared Memory）

通过上述三种方式，不同进程可以进行数据传递，完成协作。

二、队列（Queue）

队列是一种常见的先进先出（FIFO）的数据结构，他提供了线程和进程之间交换数据的一个非常方便的方式。

在python中，可以通过 multiprocessing.Queue来实现进程间通信

举个例子

假设我们有两个进程，一个负责生产数据，一个负责消费数据，我们可以使用队列来实现两个进程之间的数据传递：

import multiprocessing
import time

# 生产者进程
def producer(queue):
    for i in range(5):
        print(f"生产数据: {i}")
        queue.put(i)  # 将数据放入队列
        time.sleep(1)

# 消费者进程
def consumer(queue):
    whileTrue:
        item = queue.get()  # 从队列中取数据
        print(f"消费数据: {item}")
        if item == 4:  # 用一个条件结束消费者进程
            break
        time.sleep(2)

if __name__ == "__main__":
    queue = multiprocessing.Queue()

    # 创建进程
    producer_process = multiprocessing.Process(target=producer, args=(queue,))
    consumer_process = multiprocessing.Process(target=consumer, args=(queue,))

    # 启动进程
    producer_process.start()
    consumer_process.start()

    # 等待进程结束
    producer_process.join()
    consumer_process.join()

通过上述例子，我们可以使用Queue来实现生产者和消费者之间的通信，达到生产者生产数据，通过Queue让消费者消费数据的目的。

三、管道（Pipe）

管道是一种简单的进程间通信方式，他提供了一个双向的数据通道，可以通过multiprocessing.Pipe()创建一个管道。

举个例子：

import multiprocessing
import time

# 生产者进程
def producer(conn):
    for i in range(5):
        print(f"生产数据: {i}")
        conn.send(i)  # 将数据通过管道发送
        time.sleep(1)

# 消费者进程
def consumer(conn):
    whileTrue:
        item = conn.recv()  # 从管道接收数据
        print(f"消费数据: {item}")
        if item == 4:  # 用一个条件结束消费者进程
            break
        time.sleep(2)

if __name__ == "__main__":
    parent_conn, child_conn = multiprocessing.Pipe()

    # 创建进程
    producer_process = multiprocessing.Process(target=producer, args=(parent_conn,))
    consumer_process = multiprocessing.Process(target=consumer, args=(child_conn,))

    # 启动进程
    producer_process.start()
    consumer_process.start()

    # 等待进程结束
    producer_process.join()
    consumer_process.join()

在这个例子中，我们使用了Pipe来进行数据的双向控制和交换。生产者通过conn.send()发送数据，消费者通过conn.recv()接收数据。

四、共享内存（Shared Memory）

共享内存是一种更高效的进程间通信方式，它允许多个进程直接访问同一块内存区域，避免数据拷贝的开销。在python中可以通过multiprocessing.Value和multiprocessing.Array来实现共享内存。

举个例子：

import multiprocessing
import time

# 生产者进程
def producer(shared_value):
    for i in range(5):
        print(f"生产数据: {i}")
        shared_value.value = i  # 修改共享内存中的数据
        time.sleep(1)

# 消费者进程
def consumer(shared_value):
    whileTrue:
        print(f"消费数据: {shared_value.value}")
        if shared_value.value == 4:  # 用一个条件结束消费者进程
            break
        time.sleep(2)

if __name__ == "__main__":
    shared_value = multiprocessing.Value('i', 0)  # 'i'表示整数类型

    # 创建进程
    producer_process = multiprocessing.Process(target=producer, args=(shared_value,))
    consumer_process = multiprocessing.Process(target=consumer, args=(shared_value,))

    # 启动进程
    producer_process.start()
    consumer_process.start()

    # 等待进程结束
    producer_process.join()
    consumer_process.join()

在这个例子中，使用Value来创建一个共享内存块，生产者将数据写入共享内存，而消费者进程则实时读取共享内存中的数据。这也就导致可能会出现消费者错过了生产者生产的数据。