Go на примерах: Пул воркеров

В этом примере мы рассмотрим, как реализовать пул воркеров с помощью горутин и каналов.

 
package main
 
import (
    "fmt"
    "time"
)

Вот воркер, который мы запустим в нескольких конкурентных экземплярах. Воркеры будут получать задачи из канала jobs и отправлять соответствующие результаты в results. Для имитации ресурсоёмкой задачи мы добавим задержку в одну секунду на каждую.

 
func worker(id int, jobs <-chan int, results chan<- int) {
    for j := range jobs {
        fmt.Println("worker", id, "started  job", j)
        time.Sleep(time.Second)
        fmt.Println("worker", id, "finished job", j)
        results <- j * 2
    }
}
 
func main() {

Чтобы использовать пул воркеров, нам нужно отправлять им работу и собирать результаты. Для этого создаём 2 канала.

 
    const numJobs = 5
    jobs := make(chan int, numJobs)
    results := make(chan int, numJobs)

Запускаем 3 воркера, которые изначально заблокированы, так как задач ещё нет.

 
    for w := 1; w <= 3; w++ {
        go worker(w, jobs, results)
    }

Отправляем 5 задач в jobs, а затем закрываем канал, чтобы указать, что это вся работа.

 
    for j := 1; j <= numJobs; j++ {
        jobs <- j
    }
    close(jobs)

В конце собираем все результаты работы. Это также гарантирует, что горутины воркеров завершились. Альтернативный способ дождаться нескольких горутин — использовать WaitGroup.

 
    for a := 1; a <= numJobs; a++ {
        <-results
    }
}

Запущенная программа показывает выполнение 5 задач разными воркерами. Программа занимает всего около 2 секунд, хотя общий объём работы составляет около 5 секунд, потому что 3 воркера работают конкурентно.

 
$ time go run worker-pools.go 
worker 1 started  job 1
worker 2 started  job 2
worker 3 started  job 3
worker 1 finished job 1
worker 1 started  job 4
worker 2 finished job 2
worker 2 started  job 5
worker 3 finished job 3
worker 1 finished job 4
worker 2 finished job 5
 
real    0m2.358s

Далее: .

by Mark McGranaghan, Eli Bendersky and kuduzow | source | license