GPT-4的使用场景和案例:基于Twitter热门推文的分析和中文总结

GPT-4的使用场景和案例:基于Twitter热门推文的分析和中文总结 - 掘金

最近在Twitter上探索时,我发现了许多关于ChatGPT的创新性应用和新颖玩法。然而,这些讨论主要是英文的,并且涉及大量重复的信息。因此,我想邀请ChatGPT帮助我深入分析和概括有关“ChatGPT-4创新应用与独特思路”的相关话题,以便更好地了解这些潜在的新兴领域。

最终结果

话不多说先看结果,最终数据内容有推特的URL,推特内容,英文总结,中文总结。



模型选定

目前,GPT-4是最强大的模型,其上下文关联性和推理能力在OpenAI中都是首屈一指的。然而,由于算力消耗极大,限制了请求频次。以前每4小时可以请求100次,现在每3小时只能请求25次。正如俗话所说:“好的工具要用在刀刃上。”在整个项目中,我们将编程上下文、环境处理、错误处理等方面的任务交给GPT-4模型处理。对于一般的方案查询,我们则采用GPT-3.5。无论是4.0还是3.5版本,它们的知识库都是截至2021年的数据。





我们使用Google的Colab来运行代码,因为免费。

开始问答

获取数据

首先我们使用3.5模型来搜索一下获取推特数据的python库。这里我们就随便选一个库,所以我就选了最后一个snscrape。



生成基本代码

一旦我们确定了语言并选择了适当的库,我们就可以重新进入强大的GPT4对话,并要求它创建一个使用snscrape获取Twitter内容的演示。



然后我们将生成的代码直接放入到colab中,发现直接报错,所以我们继续向它提问。



将代码放入到colab中运行,发现什么都没有输出,



所以这里我尝试删除查询query当中的中文,再次运行代码,这把有输出了



优化查询逻辑

虽然我们的代码已经可以通过指定查询关键词来抓取推特内容,但返回的结果却五花八门,包括各种类型的推文,如推销信息、广告等,其中包含许多杂乱无章的内容。而我们的重点在于寻找关于“GPT-4新使用方法和创意玩法”的信息。

为了解决这个问题,我们需要优化查询策略。然而,由于我并非爬虫领域的专家,我不确定如何设置更精确的过滤条件。因此,我们需要GPT-4的帮助来实现这个目标。



nice果然很棒!GPT4很快帮我们优化了查询语句,赶快运行一下查看效果。



这把输出的内容关联性就很高了,但是我还不满足,我需要的抓取的是热度最高的帖子,所以我继续对GPT4提问。果然是有求必应,很快就给我答案了。



内容总结

哎呀,面对这海量的推文数据,我可不是超人,哪有那么多时间一个个去看呀!这时候,我们的AI小助手就该露一手了,帮我总结一下推文内容,并以整齐的表格形式呈现给我。所以,没错,我又提出了一个“贪心不足”的请求,让AI来拯救我于信息洪流之中吧!



对于英语不是很好的我来说,即使AI给我总结出来了,我也看不懂呀,所以没错我的要求又来了



再次放入到colab中运行,查看openai给我总结的内容。



同时AI还很贴心给你生成了结果的csv文件,



当然你可以使用以下代码来进行下载结果

from google.colab import files
files.download("tweet_summaries.csv")

完整代码

所有代码都是GPT4写的!!!,我只是负责出提示

# 导入所需模块
import snscrape.modules.twitter as twitter
import pandas as pd
import openai
import logging
from googletrans import Translator

# 配置日志
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)

# 设置OpenAI API key
openai.api_key = "your openai key"

# 指定查询内容和要获取的结果数
query = "chatgpt4 (use OR uses OR using OR example OR examples OR scenario OR scenarios OR application OR applications)"
results_to_retrieve = 50

# 输出查询内容
logger.info(f"Searching for '{query}' on Twitter")

# 创建Twitter搜索爬虫
scraper = twitter.TwitterSearchScraper(query)

# 根据参与度(点赞数+转推数+回复数)对推文进行排序
tweets = sorted(scraper.get_items(), key=lambda x: x.likeCount + x.quoteCount + x.replyCount, reverse=True)

# 创建翻译器实例
translator = Translator()

# Modify this part of the previous code
tweet_data = []
for i, tweet in enumerate(tweets[:results_to_retrieve]):
    tweet_url = tweet.url
    tweet_content = tweet.content

    # 使用OpenAI GPT对推文进行摘要
    response = openai.Completion.create(
        engine="text-davinci-002",
        prompt=f"Please summarize the following tweet:nn{tweet_content}nnSummary:",
        max_tokens=30,
        n=1,
        stop=None,
        temperature=0.7,
    )

    summary = response.choices[0].text.strip()

    # 将摘要翻译成中文
    translated_summary = translator.translate(summary, dest="zh-cn").text
    print("here is summary",translated_summary);
    # 将获取到的数据添加到tweet_data列表中
    tweet_data.append((tweet_url, tweet_content, summary, translated_summary))

# 创建一个DataFrame对象,并将其保存为CSV文件
df = pd.DataFrame(tweet_data, columns=["Tweet URL", "Tweet Content", "Summary", "Translated Summary (Chinese)"])
df.to_csv("tweet_summaries.csv", index=False)

结尾

在这场信息的海洋中,我们历经波折,终于找到了解决方案。感谢AI的帮助,让我们能够以更高效、更聪明的方式应对挑战。如今,面对纷繁复杂的数据,我们不再惧怕,因为我们知道,有AI陪伴在身旁,共同成长,共创美好未来。让我们一起迈向智能时代,探索更多有趣、有益的知识与技能,为明天的世界添砖加瓦!

展开阅读全文

页面更新:2024-03-14

标签:中文   关联性   爬虫   英文   放入   模型   场景   案例   热门   代码   内容   数据   信息

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top