要解决不同网站上的重复数据的问题，可以使用Elasticsearch来进行数据去重。下面是一个使用Elasticsearch进行数据去重的代码示例：

1. 首先，确保你已经安装了Elasticsearch并且启动了Elasticsearch服务。

2. 创建一个新的Python文件，例如deduplicate.py。

3. 导入必要的库：

from elasticsearch import Elasticsearch

4. 连接到Elasticsearch：

es = Elasticsearch()

5. 创建一个新的索引（如果不存在）：

index_name = "your_index_name"
if not es.indices.exists(index=index_name):
    es.indices.create(index=index_name)

6. 定义一个函数来检查数据是否已经存在于Elasticsearch中：

def is_duplicate(data):
    query = {
        "query": {
            "match": {
                "content": data
            }
        }
    }
    result = es.search(index=index_name, body=query)
    return result['hits']['total']['value'] > 0

7. 定义一个函数来将数据添加到Elasticsearch中：

def add_data(data):
    if not is_duplicate(data):
        es.index(index=index_name, body={"content": data})
        print("Data added successfully.")
    else:
        print("Data already exists.")

8. 使用add_data函数将数据添加到Elasticsearch中：

data = "your_data"
add_data(data)

通过使用上述代码示例，你可以将不同网站上的数据添加到Elasticsearch中，并且避免重复数据的出现。请注意，这只是一个简单的示例，你可以根据自己的需求进行调整和优化。