如何解决HttpClient 不遵循重定向，Azure 函数队列触发器？

我有一个 azure 队列，其中的消息是 uri 列表。 我使用队列触发器来从 uri 获取 csv。 我的批量大小为 6。 CSV 大小不一（2mb-4gb）。

我有一个使用 IHttpClientFactory 的 HttpClient。 我使用 HttpCompletionoption.ResponseHeadersRead 选项对某个 url 进行了 GetAsync。 我以流的形式阅读内容。

如果我从解决方案中调用：https://www.thedomaine.com 我得到 302 的响应状态代码。 标题中的位置属性是 https://thedomaine.com。

如果我使用开发者控制台检查网络，我确实得到了 302，然后是 200 到：https://content.thedomaine.com（第一次调用的响应头中的位置是：https://content.thedomaine.com）

网站总是触发重定向到 https://content...

我有大约 700 个调用（来自不同域）要做，以便下载 2mb - 4gb 之间的 csv。

QueueTrigger 和 HttpClient 有问题吗？ 我搞砸了配置吗？ 我不应该对 Parralel Queue 使用异步操作吗？

这是示例代码：

 public async Task TransformQueue([QueueTrigger("Feedtransformer-queue")] FeedTransformerDTO FeedTransformerData,ILogger logger)
    {
        try
        {
            var configuration = await _blobManager.ReadBlobConfigurationAsync(FeedTransformerData.Plateform,FeedTransformerData.Program);

            using HttpResponseMessage response = await Client.GetAsync(FeedTransformerData.UrlFeed,HttpCompletionoption.ResponseHeadersRead);
            using Stream stream = await response.Content.ReadAsstreamAsync();
            using StreamReader streamReader = new StreamReader(stream);


            if (response.IsSuccessstatusCode)
            {

                string header = await streamReader.ReadLineAsync();

                bool shouldWriteInBlob = _transformer.TryGetTransformedHeader(header,configuration.HeaderToReplaceByValue,out string transformedHeader);

                FeedTransformerData.Output = transformedHeader;

                if (shouldWriteInBlob)
                {
                    FeedTransformerData.Output = await _blobManager.WriteFeedGetUriAsync(configuration,transformedHeader,streamReader);
                }
            }
            else
            {
                FeedTransformerData.Output = $"Exception => {response.StatusCode}";
            }
          
            QueueClient queueClient = new QueueClient(_configuration["AzureWebJobsstorage"],_configuration["FeedTransformerAddInSheetQueue"]);
            queueClient.QueueMessage(FeedTransformerData);
        }
        catch (Exception ex)
        {
            throw;
        }
    }

顺便说一下，单元测试一堆 Uri (20) 确实有效。我得到了 csv，即使有重定向。

在批量大小为 1 的情况下，它运行良好。但是我的解决方案太慢了。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

python my_script.py > my_output.txt