Golang 新手求助

[hsczy]

帮朋友做 excel 的简单处理。原本是 python 栈，心想使用省事就像打包成 exe 文件，python 打包的 exe 文件又太大，而且会有各种奇奇怪怪的问题。刚好最近在学 golang，就用 golang 在写代码，不过遇到了 Goroutine 和 Channel 配合使用的问题。

问题的大致是这样的，先找出所有的符合条件的 Excel 文件，放入一个 chanfileChan中，然后通过读取这个 chan 中的数据，使用 Goroutine 调用utlis.ReadExcelFile的方法将传入的文件进行分析，只对需要的处理的行进行处理，并用一个 chanResultChan去接受，最后再将读取到的结果进行处理。但是对ResultChan进行处理之后就会报死锁的错误，我怎么样都不能定位到原因。请各位好哥哥帮帮我。 代码如下

main.go

package main

import (
	utils "excelmaker/src/Utils"
	"fmt"
	"log"
	"os"
	"path/filepath"
	"strings"
	"sync"
)

func main() {
	pwd, _ := os.Getwd()                                         // 找到本地路径
	filenamePaths, err := filepath.Glob(filepath.Join(pwd, "*")) //获取本地目录下所有文件
	if err != nil {
		log.Fatal(err)
	}
	fileChan := make(chan string, 5)
	for _, filePathName := range filenamePaths {
		fileExt := filepath.Ext(filePathName)
		fileName := filepath.Base(filePathName)
		if fileExt == ".xlsx" && strings.Contains(fileName, "工资表") {
			fmt.Println(filePathName)
			fileChan <- filePathName
		}
	}
	totalFileNum := len(fileChan)
	wg := sync.WaitGroup{}
	wg.Add(totalFileNum)
	for filePathName := range fileChan {
		go utils.ReadExcelFile(filePathName, &wg)
	}
	go utils.MakeTotalExcel() //会出现死锁
	wg.Wait()

}

Utils/utils.go

package utils

import (
	"fmt"
	"strconv"
	"strings"
	"sync"

	"github.com/360EntSecGroup-Skylar/excelize/v2"
)

type ExcelData struct {
	Name    string
	Salar   int
	Company string
}

var ResultChan = make(chan *ExcelData, 10)

const SalaryTable = "工资表"

func ReadExcelFile(filePathName string, wg *sync.WaitGroup) {
	// func ReadExcelFile(filePathName string) {
	f, err := excelize.OpenFile(filePathName)
	if err != nil {
		fmt.Println(err)
		return
	}
	var company string
	if strings.Contains(filePathName, "头疗") {
		company = "头疗店"
	} else if strings.Contains(filePathName, "城东") {
		company = "城东店"
	} else if strings.Contains(filePathName, "熹 SPA") {
		company = "熹 SPA 店"
	} else if strings.Contains(filePathName, "置地") {
		company = "置地店"
	} else {
		company = "东方丽景店"
	}
	result, _ := f.SearchSheet(SalaryTable, "实发工资", false)
	salaryColIndex, _, _ := excelize.CellNameToCoordinates(result[0])
	rows, err := f.Rows(SalaryTable)
	if err != nil {
		fmt.Println(err)
		return
	}
	for rows.Next() {
		row, err := rows.Columns()
		if err != nil {
			fmt.Println(err)
			return
		}
		if len(row) != 0 {
			var stringNotAnalysisList = []string{"", "姓名", "合计"}
			if ok, _ := Contain(row[0], stringNotAnalysisList); ok {
				continue
			} else {
				salary, _ := strconv.Atoi(row[salaryColIndex-1])
				tempData := ExcelData{
					Name:    row[0],
					Salar:   salary,
					Company: company,
				}
				ResultChan <- &tempData
			}
		}
	}
	wg.Done()
}

func MakeTotalExcel() {
	resultMap := make(map[string]map[string]int)
	companyList := []string{"姓名"}
	for v := range ResultChan {
		// fmt.Println(v.Name)
		if ok, _ := Contain(v.Name, resultMap); !ok {
			resultMap[v.Name] = make(map[string]int)
		}
		resultMap[v.Name][v.Company] = v.Salar
		if ok, _ := Contain(v.Company, companyList); !ok {
			companyList = append(companyList, v.Company)
		}
	}
	fmt.Println(companyList)
	fmt.Println(resultMap)
}

Utils/commont_utils.go

package utils

import (
	"errors"
	"reflect"
)

// 判断 obj 是否在 target 中，target 支持的类型 arrary,slice,map
func Contain(obj interface{}, target interface{}) (bool, error) {
	targetValue := reflect.ValueOf(target)
	switch reflect.TypeOf(target).Kind() {
	case reflect.Slice, reflect.Array:
		for i := 0; i < targetValue.Len(); i++ {
			if targetValue.Index(i).Interface() == obj {
				return true, nil
			}
		}
	case reflect.Map:
		if targetValue.MapIndex(reflect.ValueOf(obj)).IsValid() {
			return true, nil
		}
	}

	return false, errors.New("not in array")
}

[luguhu]

因为 channel 没有 Close 吧

[hsczy]

@luguhu 使用 channel 需要 close 么？我看教程上面没有显式关闭的模式。如果要关闭的话 是在 wg.wait()之后关闭么？

[darksword21]

我觉得还是 python 好写一些。。

[hsczy]

@darksword21 Python 的 exe 包要根据目标环境的 windows 版本和位数一样才行，我只有 Mac0.0，太难了。

[ahsjs]

😓
// 加上这个
close(fileChan)

wg := sync.WaitGroup{}
wg.Add(totalFileNum)
for filePathName := range fileChan {

go func() {
ReadExcelFile(filePathName)
wg.Done()
}()
}

[ahsjs]

@ahsjs wg.Done 放外面

[luguhu]

for filePathName := range fileChan {
go utils.ReadExcelFile(filePathName, &wg)
}

[luguhu]

这里会 hang 住
# 5 正解

[hsczy]

@ahsjs 谢谢大佬。这个地方为什么要显式的关闭 chan ？ chan 不是会在没有数据的时候自己关闭么？

[mybyons]

看的好乱 还是重构一下代码吧

```go
err := filepath.Walk(path, func() {
// skip
...
// do
result := doSomethig(path)
results = append(results, merge(result))
})

....
```

- Use channel when you know how to close it.
- Don't pass wg across the boundary.
- ....

暂时就这些吧 不要滥用 goroutine,

[ahsjs]

@hsczy 同在学习中的新手😓。channel 一般在几个协程中通信使用，你这里都可以字符串数组代替。
可以参考下官网文档 //golang.org/ref/spec#Channel_types
如果通道就 5 条数据，range 的时候到第六条就阻塞了。还有如果你这个发送方发送超过 5 条数据也会 deadlock(不是协程)。

[katsusan]

golang 里对 channel 的 range 要等到该 channel 被关闭才会终止。
考虑到 channel 的收发特性一般由 sender 端关闭。

而且我看了下 main 函数里 fileChan 容量只有 5，在工资表 xlsx 文件多于 5 个时
下面的 fileChan <- filePathName 操作像是会一直阻塞。

[littlewey]

windows 虚拟机里封一个 venv，配上 batch/powershell 调用，打包 zip，得了，不搞 exe 。

[supersu]

虚拟机装 win 呀，pyinstaller 打包 EXE 很成熟

[hsczy]

@mybyons 学艺不精，想着用 go 和 chan 来试试没想到自己差把火，还是老老实实 for 循环单线程把事情做完了。多谢大佬指点。

[hsczy]

@ahsjs 一起探讨，不知道我这个对不对。我的 chan 设置的缓存为 5，生产者发送第六条数据的时候不应该是在阻塞中，等到消费者消费了一条数据之后再向 chan 中发送一条数据，为什么回 deadlock 呢？

[hsczy]

@katsusan 多谢指点。所以 for range 来操作 chan 不是应该到 chan 关闭的时候才正常退出么？如果是多个 sender 对一个 chan 进行操作的话那应该怎么来控制关闭呢？

[jworg]

如果是我的话，这个 fileChan := make(chan string, 5) 绝不会只设置 5，至少 32 我才放心。然后也不会有 for filePathName := range fileChan 这个操作，直接起 CPU 个数的循环的 consumer 协程， 线程里 for 循环不停从 fileChan 取值，加个 select 检测 1s 超时，超时就 wg.Done，fileChan 里没值就应该 5 个 consumer 协程都 done 然后退出了。

[jworg]

到家后稍微写了下我的想法 https://gist.github.com/noyv/63be793ba6d884cde371fd49781fdacd

[hysys32]

简单 excel 处理 vba 不是更好的选择…

[hsczy]

@jworg 感谢 还是要多学学多练练啊

[abccccabc]

@hsczy 最终的方案就是去掉 go runtinue 了？

[777777]

golang 的并发很简单，但合起来就难了

[setsunakute]

1. 在 main 函数里的 fileChan 同时发送并接收就会导致 deadlock, channel 是不同 goroutine 之间进行通信的, 同一个 goroutine 里面就没必要使用 channel 了, append 到一个 slice 就行
2. ReadExcelFile 函数里面的 wg.Done() 最好放在函数第一行并用 defer 来执行, 要不然中间函数因为错误返回, wg.Done()就执行不到了, 会导致 main 函数里面 wg.Wait()会一直等待, 无法结束
3. ResultChan 要在发送端进行 close, 否则 MakeTotalExcel 这里的 range 会一直阻塞

[setsunakute]

你这个代码里面, fileChan 没有关闭, 于是同一个 goroutine 里面同时使用 channel 发送和接收最终会导致发送端和接收端都阻塞, 导致死锁. 可以在发送完之后, 把 fileChan close()掉, 就不会 deadlock 了, 不过还是推荐一个 slice 完事

[setsunakute]

@setsunakute 还是会死锁, 还是需要把 main 函数里面的 fileChan 去掉

[ZxykM]

我之前也遇到过，要记得把 channel 关闭掉

[no1xsyzy]

看到 chan 就先猜测滥用 chan
果然没错
还是 slice 吧

go 的 chan 设计有坑，能不用就不用，反正需要的时候转 chan 比较方便，但 chan 转成其他不方便。

#16 因为你阻塞了以后消费者还一个都没起来呢。你看一下代码，到死锁前没有一个 go 关键词

#17 再 go 个聚合器。这个其实是 chan 的设计缺陷之一，没有设计 “无生产者” 的状态，否则的话生产者各自退出，消费者直接捕获 “无生产者” 状态就行了 —— go 调度器拥有充分的信息来断定这个 chan 已经没生产者了、消费者不可能从这个 chan 得到更多消息了。这点被好像是提出 channel 概念的论文作者亲自说了（他表示 go 确实很不错，但 chan 实在坑，缺乏他当初的论文里提到的几个基础要求）

[seran7]

楼上都说的比较全了，再补充一个代码里容易被忽视的点吧。
utils.go 中通过 ResultChan 在 ReadExcelFile()和 MakeTotalExcel()之间传递信息，但在 ReadExcelFile()中，信息发送至通道后就执行了 wg.Done()。就算代码中没有任何错误，能够正常执行，这样的调用方式也很容易使得主程序中的 wg.Wait()等不到最后几个 MakeTotalExcel()执行完毕而提前退出。

[hsczy]

@abccccabc 对的 0.0 直接用 map 获取数据在集中处理了

[seran7]

可以找时间看看 Concurrency in Go 这本书的第三章（尤其是 WaitGroup 和 Channels 小节），里面讲得很详细。

[hsczy]

@setsunakute 是的 最后还是 slice 解决了问题。非常耐心感谢指导，我来消化一下

[hsczy]

@seran7 多谢，现在就啃

[hsczy]

@no1xsyzy 是的 第一次用就乱用一气 没有学扎实。最后还是用 slice 和 map 解决了

[hotsymbol]

一个函数超过 20 行。就不想想怎么重构吗？

[hsczy]

@hotsymbol 有道理。学无止境啊

[ji39]

头大，多线程好复杂