DotNet
데이터 직렬화
이벤트 기반 시스템과 직렬화
이벤트 기반 시스템에서의 직렬화

이벤트 기반 시스템에서의 직렬화

이벤트 기반 시스템에서는 시스템의 상태 변화나 사용자 활동에 따라 이벤트를 생성하고, 이를 다른 구성 요소에 전달하기 위해 직렬화를 사용합니다. 직렬화는 이벤트를 네트워크나 데이터베이스에 기록하거나, 다른 서비스와 통신할 수 있는 형식으로 변환하는 중요한 과정입니다. 이번 글에서는 이벤트 기반 아키텍처에서 직렬화를 효과적으로 사용하는 방법과 성능 최적화 전략, 그리고 안전하게 데이터를 처리하는 방법을 살펴봅니다.

이벤트 기반 시스템과 직렬화의 역할

이벤트 기반 시스템의 구조

이벤트 기반 시스템에서는 시스템 내에서 발생하는 중요한 변화(예: 사용자 로그인, 주문 생성 등)를 이벤트로 캡처하여 다른 구성 요소에 알립니다. 이러한 이벤트는 메시지 브로커(예: Kafka, RabbitMQ)를 통해 전송되거나 데이터베이스에 기록되며, 이벤트 소비자에 의해 처리됩니다. 이벤트 기반 시스템에서 직렬화는 이벤트 객체를 바이트 배열로 변환하여 네트워크 전송이나 파일 저장을 용이하게 하며, 이벤트의 형태를 시스템 간에 일관되게 유지하도록 도와줍니다.

직렬화 포맷의 선택

이벤트 기반 시스템에서 주로 사용하는 직렬화 포맷은 다음과 같습니다.

  • JSON: 사람이 읽기 쉬운 텍스트 형식으로, 디버깅과 테스트에 유리합니다.
  • Avro: 스키마 기반의 직렬화 포맷으로, 데이터와 스키마를 함께 전송하며 호환성을 보장합니다.
  • Protocol Buffers (Protobuf): 고성능 바이너리 직렬화 포맷으로, 데이터 전송 속도와 용량 최적화에 효과적입니다.
  • MessagePack: JSON과 비슷하지만, 바이너리 형식으로 변환하여 크기를 줄이고 처리 속도를 높일 수 있습니다. 각 직렬화 포맷은 전송 속도, 데이터 크기, 호환성 등의 요구사항에 따라 선택할 수 있습니다.

C#에서의 이벤트 직렬화 구현

JSON을 사용한 이벤트 직렬화

다음은 JSON을 사용하여 간단한 사용자 이벤트를 직렬화하고, 이를 메시지 브로커로 전송하는 예제입니다.

using System.Text.Json;
using RabbitMQ.Client;
public class UserCreatedEvent
{
    public int UserId { get; set; }
    public string UserName { get; set; }
    public DateTime CreatedAt { get; set; }
}
public static void PublishUserCreatedEvent(UserCreatedEvent userEvent)
{
    string jsonString = JsonSerializer.Serialize(userEvent);
    byte[] body = System.Text.Encoding.UTF8.GetBytes(jsonString);
    var factory = new ConnectionFactory() { HostName = "localhost" };
    using var connection = factory.CreateConnection();
    using var channel = connection.CreateModel();
    channel.QueueDeclare(queue: "user_created",
                         durable: false,
                         exclusive: false,
                         autoDelete: false,
                         arguments: null);
    channel.BasicPublish(exchange: "",
                         routingKey: "user_created",
                         basicProperties: null,
                         body: body);
    Console.WriteLine("User Created Event Published: " + jsonString);
}

위 코드에서는 RabbitMQ를 사용하여 **UserCreatedEvent**를 JSON으로 직렬화한 후, 메시지 브로커로 전송합니다. JSON은 사람이 읽기 쉽고 이해하기 쉬우며, 다양한 언어에서 쉽게 사용할 수 있어 이벤트 직렬화에 유리합니다.

Protobuf를 사용한 고성능 이벤트 직렬화

대용량 데이터를 효율적으로 전송하거나 고성능이 필요한 경우, **Protocol Buffers (Protobuf)**와 같은 바이너리 포맷을 사용할 수 있습니다.

Protobuf 이벤트 정의 

syntax = "proto3";
message UserCreatedEvent {
    int32 userId = 1;
    string userName = 2;
    string createdAt = 3;
}

Protobuf 직렬화 예제 

using Google.Protobuf;
using RabbitMQ.Client;
public static void PublishUserCreatedEventProtobuf(UserCreatedEvent userEvent)
{
    byte[] body;
    using (MemoryStream stream = new MemoryStream())
    {
        userEvent.WriteTo(stream);
        body = stream.ToArray();
    }
    var factory = new ConnectionFactory() { HostName = "localhost" };
    using var connection = factory.CreateConnection();
    using var channel = connection.CreateModel();
    channel.QueueDeclare(queue: "user_created_protobuf",
                         durable: false,
                         exclusive: false,
                         autoDelete: false,
                         arguments: null);
    channel.BasicPublish(exchange: "",
                         routingKey: "user_created_protobuf",
                         basicProperties: null,
                         body: body);
    Console.WriteLine("User Created Event Published (Protobuf)");
}

위 코드에서는 Protobuf를 사용하여 **UserCreatedEvent**를 직렬화하고, 이를 RabbitMQ에 전송합니다. Protobuf는 데이터 크기를 최소화하고, 빠른 직렬화 및 역직렬화가 가능하므로 대규모 트래픽이 발생하는 이벤트 시스템에 적합합니다.

이벤트 직렬화 성능 최적화

스트리밍 직렬화를 통한 메모리 사용 최적화

이벤트 데이터가 매우 크거나 빈번한 경우, 직렬화를 스트리밍 방식으로 처리하면 메모리 사용을 줄이고 성능을 향상시킬 수 있습니다. 스트리밍 직렬화는 데이터를 한꺼번에 메모리에 로드하지 않고, 청크 단위로 나누어 처리하여 메모리 부담을 줄이는 방식입니다.

using System.Text.Json;
public static void SerializeToStream<T>(T data, Stream outputStream)
{
    using Utf8JsonWriter jsonWriter = new Utf8JsonWriter(outputStream);
    JsonSerializer.Serialize(jsonWriter, data);
}

위 코드에서는 데이터를 스트림을 통해 직렬화하여, 대량의 이벤트 데이터를 메모리 효율적으로 처리할 수 있습니다.

압축을 사용한 전송 최적화

이벤트 데이터를 네트워크를 통해 전송할 때 압축을 적용하면 데이터 크기를 줄여 전송 속도를 높일 수 있습니다. 특히, GZip이나 Brotli 같은 압축 알고리즘을 사용하면 데이터 크기를 줄일 수 있습니다.

using System.IO.Compression;
public static byte[] CompressData(byte[] data)
{
    using MemoryStream output = new MemoryStream();
    using (BrotliStream compressionStream = new BrotliStream(output, CompressionMode.Compress))
    {
        compressionStream.Write(data, 0, data.Length);
    }
    return output.ToArray();
}

위 코드에서는 Brotli를 사용하여 직렬화된 이벤트 데이터를 압축하여 네트워크 전송 시 성능을 최적화합니다.

이벤트의 안전한 직렬화 및 역직렬화

데이터 서명 및 무결성 보장

이벤트가 네트워크를 통해 전송될 때 변조되지 않도록 보장하는 것이 중요합니다. 이를 위해 디지털 서명이나 HMAC을 사용하여 데이터의 무결성을 검증할 수 있습니다.

using System.Security.Cryptography;
public static byte[] ComputeHmac(byte[] data, byte[] key)
{
    using HMACSHA256 hmac = new HMACSHA256(key);
    return hmac.ComputeHash(data);
}

위 코드에서는 **HMACSHA256**을 사용하여 이벤트 데이터의 해시 값을 생성하고, 이를 통해 데이터가 변조되지 않았음을 확인할 수 있습니다.

역직렬화 시 신뢰할 수 없는 데이터 처리 방지

역직렬화 과정에서 신뢰할 수 없는 데이터가 들어오면 보안 취약점이 발생할 수 있습니다. 명시적인 타입 지정을 사용하고, 데이터 유효성 검사를 통해 데이터가 기대한 형식과 일치하는지 확인해야 합니다.

public static T SafeDeserialize<T>(string jsonData)
{
    try
    {
        return JsonSerializer.Deserialize<T>(jsonData);
    }
    catch (JsonException)
    {
        throw new InvalidOperationException("유효하지 않은 데이터 형식입니다.");
    }
}

위 코드에서는 역직렬화 시 데이터가 예상한 형식과 일치하지 않으면 예외를 발생시켜, 악의적인 데이터가 역직렬화되는 것을 방지합니다.

결론

이벤트 기반 시스템에서의 직렬화는 데이터 전송과 저장의 효율성을 높이고, 시스템 간 호환성을 유지하기 위한 중요한 요소입니다. JSON, Protobuf, Avro와 같은 다양한 직렬화 포맷을 활용하여 이벤트 데이터를 직렬화하고, 시스템의 특성에 맞게 적절한 포맷을 선택하는 것이 중요합니다. 스트리밍 직렬화와 압축을 사용하여 성능을 최적화하고, 디지털 서명 및 유효성 검사를 통해 데이터의 안전성을 보장해야 합니다. 이러한 전략을 통해 이벤트 기반 시스템에서의 데이터 처리를 안전하고 효율적으로 구현할 수 있습니다.

Buy me a coffee Buy me a coffee
데이터 변경 추적 및 이벤트 기반 동기화