#1 Federated Learning (FL; 연합학습) Overview

Google Research를 비롯한 많은 연구자들이 참여한 Survey논문을 기반으로 아래 자료를 구성했습니다.

Paper [Arxiv] : Advances and Open Problems in Federated Learning, 2019.

Overview of Federated Learning

 

Federated Learning의 Overview

 

Federated Learning (FL; 연합학습)이란?

• 다양한 entities (clients)가 central server 혹은 그와 유사한 존재의 통제하에 machine learning problem을 협동하여푸는 framework임.
• 하지만, 각 client의 raw data는 local하게 각각의 client에 저장되어 있고, exchange나 transfer가 불가능한 상황임.
• privacy-preservation을 위한 상황이라고 생각하면 됨.

 

기존 distributed learning (DL; 분산학습)과의 차이

• Distributed learning / Cross-silo federated learning / Cross-device federated learning으로 세분화하여서 비교가 될 수 있음.

 

Federated learning과 distributed learning의 비교임.

 

• 표에서는 Setting / Data distribution / Orchestration / Wide-area communication / Data availability / Distribution scale / Primary bottleneck / Addressability / Client Statefulness / Client reliability / Data partition axis 의 분류 항목으로 비교함.

Federated Learning (FL; 연합학습)의 pipeline

 

FL의 typical pipeline

 

1. Problem identification: 모델이 FL로 문제로 해결되어야하는지 인지하기.
2. Client instrumentation: client에 local data storage 확인.
3. Simulation prototyping: prototype model architecture를 proxy model에 대해서 훈련시켜 검증해보기
4. Federated model training:여러가지 FL task를 대중적 알고리즘으로 학습시키기.
5. Federated model evaluation: standard dataset 혹은 각 클라이언트별 데이터의 성능을 evaluation하여서 체크하기.
6. Deployment: manual quality assurance, live A/B testing, a staged rollout 등으로 좋은 성능의 모델 고르기.

Federated Learning (FL; 연합학습) Training Process

 

FL의 일반적인 훈련 과정

 

1. Client selection: Central server에서 학습할 client들 집합(set)을 sampling함.
2. Broadcast: 선택된 client들은 server의 weight을 download하고, 대중적 훈련 알고리즘(예: FedAvg)를 적용함.
3. Client computation: locally model을 학습시킴.
4. Aggregation: 각 client들에서 학습된 update를 합침(Aggregation).
5. Model update: 합쳐진 update를 기반으로 central server의 weight를 update함.

 

*FedAvg 논문: McMahan, Brendan, et al. "Communication-efficient learning of deep networks from decentralized data." Artificial Intelligence and Statistics. PMLR, 2017.

The following file is the original summary of this post written in English.

 

1_fl_overview.pdf

0.44MB